[論文] WebSailor-V2：透過合成資料與可擴展強化學習跨越專有代理的鴻溝

在自主AI代理的重大突破中，研究人員開發了WebSailor-V2，這是一種革命性方法，有效縮小了開源與專有深度研究系統之間的效能差距。這項發表在arXiv上的最新論文，介紹了一套全面的後訓練方法論，使較小的開源模型能夠達到過去只有OpenAI的DeepResearch等封閉專有系統才具備的能力。

WebSailor-V2代表了AI研究的卓越進展，證明了一個相對精簡的30B參數模型，能夠透過精密的資料生成和強化學習技術，在具挑戰性的基準測試中勝過更大型的模型（包括671B參數的DeepSeek-V3.1）。研究人員創建了一套完整的流程，涵蓋從資料建構到監督式微調和強化學習的所有環節，打造出一個能與頂級專有代理匹敵的系統，同時保持完全透明並向社群開放。

論文強調了歷來限制開源深度研究代理的兩大主要挑戰：訓練資料多樣性不足，以及缺乏可擴展的強化學習環境。作者透過創新的資料生成和訓練方法來解決這些挑戰。他們方法論的核心是SailorFog-QA-V2，這是一個建立在密集互連知識圖譜上的增強資料集，能更好地表現現實世界資訊複雜的循環特性。不同於過去主要生成樹狀或非循環知識結構的方法，SailorFog-QA-V2刻意創造資訊節點間更複雜的關係，以培養精密的推理模式。

WebSailor-V2的資料生成過程超越了過往研究常用的傳統混淆技術。雖然混淆（將特定實體替換為更一般性的描述）一直是引發複雜推理的標準方法，作者認識到這只是眾多可能不確定性類型中的一種。SailorFog-QA-V2引入了更廣泛的定義不確定性陣列，為模型在訓練期間創造更多樣化的推理挑戰。

在訓練組件方面，研究人員實施了強化學習的雙環境方法。他們開發了一個基於離線維基百科知識庫的模擬環境，能以低成本進行高頻率演算法實驗。這個環境在提供卓越速度和完全可控性的同時，達到了高保真度。此外，他們還創建了一個強健的真實網路環境，具備精密的錯誤處理和並發機制，確保儘管外部API具有固有波動性，仍能進行可靠的訓練。對於想要了解這項研究中使用的強化學習技術的讀者，可以參考Deep Reinforcement Learning Hands-On: A practical and easy-to-follow guide to RL from Q-learning and DQNs to PPO and RLHF。

結果不言而喻：WebSailor-V2-30B-A3B在BrowseComp-EN上達到35.3分，在BrowseComp-ZH上達到44.1分，在Humanity’s Last Exam (HLE)上達到30.6分。值得注意的是，這個30B大小的模型超越了先前表現最佳的671B大小LLM DeepSeek-V3.1，後者在BrowseComp-EN上得分30.0，在HLE上得分29.8。與專有代理在DeepResearch Bench上的直接比較中，WebSailor-V2達到了令人印象深刻的48.9分，僅次於Gemini-2.5-pro-DeepResearch（49.7分），並超越了眾多其他專有系統。

訓練動態揭露了強化學習如何影響模型能力的有趣模式。對於BrowseComp等困難基準，pass@1和pass@3分數同時改善，顯示RL確實擴展了模型的基本問題解決能力。對於較簡單的任務，RL的主要好處是改善採樣效率——幫助模型在首次嘗試時更一致地找到最佳解答。

WebSailor-V2特別值得注意的是採用了直接的ReAct框架作為基礎。研究人員刻意選擇簡潔性，而非依賴複雜的多代理設置或專門的提示工程。這個決定受到「痛苦教訓」原則的啟發，該原則認為利用可擴展運算的一般方法最終會勝過複雜的人工設計方法。透過專注於強大的基礎而非複雜設計，WebSailor-V2在保持適應性的同時達到了卓越效能。

論文也提供了在不穩定網路環境中進行強化學習的實務考量寶貴見解。研究人員發現，資料品質和訓練環境穩定性比演算法細節更為關鍵。他們開發了處理API故障、超時重試和服務降級的強健機制，創造了一個可靠的介面，保護訓練過程免受現實世界隨機性的影響。對於希望實施類似機器學習技術的讀者，Introduction to Machine Learning with Python: A Guide for Data Scientists提供了寶貴的實務指導。

另一個重要發現與監督式微調（SFT）作為強化學習前「冷啟動」的重要性有關。僅SFT階段就產生了一個超越許多完全訓練開源代理的模型，突顯了強大初始策略對於在具有稀疏獎勵的複雜領域中進行有效強化學習的重要性。

WebSailor-V2的影響遠超效能指標。透過證明較小、更高效的模型能夠達到過去認為需要大型專有系統才能實現的能力，這項工作讓更多人能接觸到先進的AI研究工具。方法論和模型權重的完全開源為更廣泛的研究社群創造了建構和擴展這些能力的機會。想要深入了解大型語言模型的讀者可能會發現Hands-On Large Language Models: Language Understanding and Generation特別有見地。

隨著AI系統持續朝向更通用的能力演進，自主進行深度研究的能力代表了一個關鍵里程碑。WebSailor-V2透過提供一套強健、透明的方法論來開發能夠系統性導航複雜資訊環境的代理，推進了這個前沿領域。結構化合成資料與可擴展強化學習的結合，為這個領域的未來工作提供了強大的範本，可能加速朝向更通用人工智慧的進展。

WebSailor-V2的成功最終強調了開發先進AI系統的關鍵洞察：雖然演算法創新很重要，但訓練資料的品質和結構以及訓練環境的強健性，往往是達成突破性效能的更決定性因素。這種AI開發的整體方法——將資料、環境和演算法視為整合系統來處理——為尋求建構日益強大自主代理的研究人員指明了前進方向。