[論文] 透過持續預訓練擴展 AI 代理能力

這篇突破性研究論文「透過持續預訓練擴展代理能力」提出了一種變革性方法，透過根本性地重新設計這些系統學習使用工具和執行複雜任務的方式，來開發更有能力的 AI 代理。這篇由阿里巴巴通義實驗室研究人員於 2025 年 9 月發表的論文，提出了 AgentFounder——一個深度研究代理，透過實施名為代理持續預訓練（Agentic CPT）的新穎訓練階段，在多個基準測試中達到最先進的效能。

這項研究證明，目前建構 AI 代理的方法存在根本性限制，因為它們試圖在後訓練階段教導通用語言模型複雜的代理行為，造成模型必須同時學習能力和對齊的內在矛盾。透過在微調之前引入專門針對開發代理行為的中間訓練階段，研究人員在代理效能上取得了顯著改進，特別是在涉及網路搜尋、瀏覽和多步驟推理的深度研究能力方面。

這篇論文的核心在於挑戰大型語言模型的傳統兩階段訓練範式，該範式通常包含在多樣化文本資料上的預訓練，接著是包括監督微調（SFT）和強化學習（RL）的後訓練。相反地，作者提出了一種三階段方法，在預訓練和後訓練之間加入代理持續預訓練。這個額外階段使模型能夠在針對特定任務進行微調之前，先發展基礎的代理能力，如工具調用模式和多步驟推理鏈。

研究人員識別出現有方法的關鍵瓶頸：即使是領先的代理模型如 WebSailor（12.0）、GLM-4.5（26.4）和 DeepSeek-V3.1（30.0），與專有系統如 OpenAI 的 Deep Research（51.5）相比，在具挑戰性的基準測試上仍存在顯著的效能差距。這種效能差異源於後訓練方法應用於缺乏內在代理歸納偏差的基礎模型時的限制。

為了解決這個挑戰，AgentFounder 採用了兩種創新的資料合成方法。一階動作合成（FAS）將靜態知識轉換為模擬真實世界代理場景的多樣化訓練情境，使用實體錨定的開放世界知識記憶方法。這種方法在不需要昂貴 API 調用的情況下生成規劃和推理動作，使其具有高度可擴展性。高階動作合成（HAS）將軌跡重新建模為多步驟決策過程，在每個步驟擴展潛在的探索路徑，以增強模型的探索和決策能力。

訓練過程遵循兩階段策略：第一階段主要使用 FAS 資料和在 32K 情境視窗內的短 HAS 資料，而第二階段專注於具有擴展128K 情境長度的高品質 HAS 資料。這種漸進式方法讓模型能夠有效吸收不同類型的代理資料。

評估結果令人印象深刻，AgentFounder-30B 在BrowseComp-en 上達到 39.9%，在 BrowseComp-zh 上達到 43.3%，在 GAIA 上達到 72.8%，在 HLE 上達到 31.5%，在xbench-DeepSearch 上達到 73.0%。這些分數相較於現有開源模型有顯著改進，甚至超越了一些專有系統。值得注意的是，AgentFounder-30B 成為首個在具挑戰性的人類最後考試（HLE）基準測試中突破 30 分門檻的開源模型。

這項研究也探索了代理能力的擴展定律，確認模型大小和訓練資料量都遵循對數擴展模式。隨著訓練資料從 0B 增加到 315B 個 token，效能改進持續穩定提升，最顯著的增益出現在初始 15B 個 token 內。這個發現表明代理行為可以透過目標性預訓練有效獲得。

此外，作者證明代理持續預訓練顯著提升了微調效率。在後訓練之前經歷代理持續預訓練的模型，在監督微調期間相較於基準模型持續顯示更低的損失值，表明預對齊的代理基礎模型能更有效地適應下游代理任務。

或許最有前景的發現是，AgentFounder 在其專業深度研究技能之外，還保持了強大的通用工具使用能力。這表明有潛力開發能在廣泛任務範圍內表現良好的通用代理，而不是局限於特定領域。

這項研究的意義超越了所提出的特定模型。透過重新定義代理對齊的訓練流程，作者開闢了一條開發更有能力的 AI 系統的新路徑，這些系統能夠自主導航複雜的資訊環境、透過多步驟問題進行推理，並提供更可靠的答案。隨著 AI 持續朝向能夠自主解決問題的更具代理性系統演進，這項工作代表了將這些強大工具與人類意圖和期望對齊的重要里程碑。

這篇論文是AI 研究領域的重要貢獻，展示了持續預訓練如何能夠彌合基礎模型和專業代理之間的差距，可能加速朝向更通用且有能力的 AI 助手的進展，幫助人類導航日益複雜的資訊環境。隨著通義實驗室對開源開發的承諾，這些進展可能很快就會讓全世界的研究人員和開發者都能使用，促進代理 AI 系統的進一步創新。