微軟推出首款電腦操作專用開源智能體小模型Fara-7B
IT之家11月25日消息,當(dāng)?shù)貢r間11月24日,微軟正式發(fā)布全新開源小型語言模型Fara-7B,這款模型定位為專注于計算機操作的"Agentic"智能體,能夠借助鼠標(biāo)和鍵盤完成各類網(wǎng)頁任務(wù)。
作為微軟首次推出的面向電腦使用場景的小模型(SLM),F(xiàn)ara-7B擁有70億參數(shù),在同參數(shù)規(guī)模模型中性能處于領(lǐng)先水平,并且支持設(shè)備端本地運行,可實現(xiàn)更低的響應(yīng)延遲和更可靠的隱私保護(hù)。

據(jù)介紹,F(xiàn)ara-7B與傳統(tǒng)聊天模型依賴文本交互的方式不同,它通過視覺分析網(wǎng)頁截圖,直接在屏幕上執(zhí)行點擊、輸入、滾動等操作,無需依賴額外的可訪問性樹(Accessibility Tree)或多個大模型協(xié)同工作。

為訓(xùn)練該模型,微軟構(gòu)建了全新的合成數(shù)據(jù)生成流程,用于模擬復(fù)雜的多步驟網(wǎng)頁任務(wù),數(shù)據(jù)來源涵蓋真實用戶需求和真實網(wǎng)頁內(nèi)容。該流程基于Magentic-One框架,包含任務(wù)生成、任務(wù)求解和軌跡驗證三個階段,最終用于訓(xùn)練的數(shù)據(jù)集包含14.5萬條任務(wù)軌跡、100萬操作步驟,還附帶定位、描述及視覺問答等輔助任務(wù)數(shù)據(jù)。

IT之家從微軟官方了解到,F(xiàn)ara-7B基于Qwen2.5-VL-7B底座模型開發(fā),支持最長128k的上下文長度。在執(zhí)行任務(wù)過程中,模型會在預(yù)測動作前輸出推理內(nèi)容,調(diào)用的操作包括Playwright標(biāo)準(zhǔn)操作(如click(x,y)和type())以及網(wǎng)頁宏操作(如web_search())。其訓(xùn)練方式以監(jiān)督微調(diào)為主,未采用強化學(xué)習(xí)技術(shù)。

測試結(jié)果顯示,F(xiàn)ara-7B在WebVoyager、Online-Mind2Web、Deepshop等多項公開基準(zhǔn)測試,以及微軟新發(fā)布的WebTailBench基準(zhǔn)中表現(xiàn)出色,部分任務(wù)性能優(yōu)于同參數(shù)模型UI-TARS-1.5-7B,甚至能與更大規(guī)模、通過復(fù)雜提示驅(qū)動的系統(tǒng)(如采用Set-Of-Marks的GPT-4o)展開競爭。
此外,微軟第三方合作機構(gòu)Browserbase通過人工驗證方式對Fara-7B進(jìn)行評測,結(jié)果顯示該模型在WebVoyager基準(zhǔn)上的通過率達(dá)到62%(包含重試情況)。

微軟方面強調(diào),F(xiàn)ara-7B目前仍處于實驗性發(fā)布階段,在復(fù)雜任務(wù)準(zhǔn)確性、指令遵循度和減少幻覺等方面存在局限,未來將持續(xù)優(yōu)化改進(jìn)。
考慮到電腦操作智能體模型的特殊風(fēng)險,微軟為Fara-7B加入多項安全措施:涉及敏感操作(如提交個人數(shù)據(jù)或不可逆行為)時,模型會暫停在"關(guān)鍵點"(Critical Point)并征求用戶同意;所有操作均會被記錄;模型需在沙盒環(huán)境中運行;訓(xùn)練數(shù)據(jù)中加入拒絕執(zhí)行不當(dāng)任務(wù)的示例。在WebTailBench-Refusals的111個紅隊測試任務(wù)中,F(xiàn)ara-7B的拒絕率達(dá)到82%。
目前,F(xiàn)ara-7B已通過MIT許可在Microsoft Foundry和Hugging Face平臺開源發(fā)布,同時整合到Magentic-UI研究原型中。
微軟還宣布將提供量化版本和面向Copilot+ PC的優(yōu)化版本,用戶可通過VSCode的AI Toolkit下載,在Windows 11系統(tǒng)本地運行,支持NPU加速。微軟表示,未來端側(cè)CUA模型仍有提升空間,包括依托更優(yōu)秀的底座模型,以及在真實和沙盒環(huán)境中應(yīng)用強化學(xué)習(xí)技術(shù)。
本文僅代表作者觀點,版權(quán)歸原創(chuàng)者所有,如需轉(zhuǎn)載請在文中注明來源及作者名字。
免責(zé)聲明:本文系轉(zhuǎn)載編輯文章,僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布,請及時與我們聯(lián)系進(jìn)行審核處理或刪除,您可以發(fā)送材料至郵箱:service@tojoy.com



