Table of Contents
ScaleCUA 代表了電腦使用代理的突破性進展，解決了與 GUI 互動的 AI 系統訓練資料有限的挑戰。其創新的跨平台資料收集管道結合自動化代理和人類專家，從多個作業系統收集多樣化的互動資料。產生的模型在 GUI 理解、元素定位和任務完成基準測試中展現卓越效能。關鍵發現突顯了跨平台資料、統一動作空間和明確推理對增強代理能力的重要性。透過開源釋出他們的模型、資料集和方法論，研究人員為推進 AI 驅動電腦自動化領域提供了寶貴資源。
ScaleCUA 代表了電腦使用代理（CUAs）領域的重大突破——這些 AI 系統被設計來像人類一樣與圖形使用者介面（GUIs）互動。與過往往往依賴專有模型或有限資料集的方法不同，ScaleCUA 解決了這個領域的根本挑戰之一：缺乏高品質的訓練資料來教導 AI 導航多樣化的電腦介面。
ScaleCUA 的核心創新在於其跨多個作業系統的全面資料收集和模型訓練方法。研究人員創建了一個系統性管道，結合自動化代理和人類專家，從 Windows、macOS、Linux、Android、iOS 和網頁平台收集多樣化的互動資料。這種跨平台方法使得產生的模型能夠在不同介面間進行泛化，使其比以往限制於特定環境的系統更加多功能。
這項工作對 AI 社群特別有價值的是其開源性質。作者不僅釋出了他們的模型，還有廣泛的資料集和訓練方法，讓其他研究人員能夠在他們的工作基礎上進一步推進電腦自動化領域。
研究摘要
ScaleCUA 專案解決了開發有效電腦使用代理的關鍵瓶頸：GUI 中心訓練資料的有限可用性。雖然網路上有大量的圖像-文字配對可供一般視覺-語言模型使用，但電腦互動資料稀少、收集成本高昂，且隨著軟體介面演進而快速過時。
研究人員開發了一個創新的「跨平台互動資料管道」，包含兩個協同組件。首先，「代理-環境互動循環」讓自動化代理能夠與六大平台的多樣化 GUI 環境互動。其次，「代理-人類混合資料獲取循環」整合專家標註的軌跡，確保全面覆蓋和品質。這種雙循環方法產生豐富的螢幕狀態觀察、元資料（包括無障礙樹和 DOM 結構）以及互動軌跡。
基於這個資料收集框架，團隊創建了涵蓋三大任務家族的全面訓練資料集：
- GUI 理解（471K 範例）– 教導模型理解介面元素、格局和文字
- GUI 定位（17.1M 範例）– 實現基於描述的 UI 元素精確定位
- 任務完成（19K 軌跡）– 訓練代理執行多步驟互動以達成目標
使用這個資料集，研究人員基於Qwen2.5-VL 架構訓練了一系列稱為 ScaleCUA 的模型。這些模型支援三種不同的推理範式：
- 定位模式 – 專注於精確定位 UI 元素
- 直接動作模式 – 不經中間推理直接生成可執行動作
- 推理動作模式 – 在生成動作前產生思考過程
結果顯示相較於先前最先進系統的大幅改善。ScaleCUA 在MMBench-GUI L1-Hard（GUI 理解基準）達到 94.4% 準確率，在OSWorld-G（定位基準）達到 60.6%，在 WebArena-Lite-v2（端到端任務完成基準）達到 47.4%——以顯著差距超越先前模型。
關鍵發現與貢獻
這項研究提出了幾個重要發現，推進我們對電腦使用代理的理解：
1. 跨平台資料對通用 CUAs 至關重要
研究證明，在多個作業系統的多樣化介面上訓練能顯著增強泛化能力。在 ScaleCUA 跨平台資料集上訓練的模型在所有基準測試中都顯示一致的效能改善，證實接觸多樣化 GUI 模式能實現更好的遷移學習。
2. 統一動作空間實現無縫跨平台操作
研究人員設計了一個標準化動作空間，涵蓋核心操作（點擊、輸入等），同時容納平台特定動作。這種統一方法讓模型能夠泛化核心行為，同時保持利用環境特定動作的靈活性，大幅簡化下游策略學習。
3. 資料增強和弱語義軌跡改善效能
簡單的資料增強技術，如元素裁剪和螢幕截圖串接，在定位基準測試中提升了約 3.5% 的效能。此外，納入「弱語義軌跡」（沒有明確高層級目標的互動序列）為學習導航模式提供了有價值的低成本監督。
4. 明確推理增強任務完成
研究發現，在「推理動作模式」下運作的模型（在動作前生成明確推理步驟）在所有基準測試中都持續超越「直接動作模式」。這表明納入結構化思考過程有助於維持任務一致性，並減少長期互動中的錯誤傳播。
5. 通用與 GUI 特定效能之間的權衡
研究人員觀察到，增加通用多模態資料的比例能改善通用視覺-語言基準測試的效能，但會降低 GUI 特定的準確率。這突顯了需要仔細平衡的訓練策略，以保持 GUI 專業化同時維持一般推理能力。
這些發現共同為開發更有能力的電腦使用代理提供了路線圖，強調多樣化資料、明確推理和平衡訓練方法的重要性。ScaleCUA 模型、資料集和訓練程式碼的開源釋出對研究社群是重大貢獻，讓進一步探索和改善這項技術成為可能。
這項工作證明，以有針對性、領域特定的方式擴展訓練資料，即使使用相對簡單的模型架構，也能在 AI 能力上產生實質收益。這種方法為開發能像人類一樣有效與數位介面互動的 AI 系統提供了有前景的方向，正如The AI Agent Blueprint 和Transformers for Natural Language Processing and Computer Vision 等書籍所探討的。
