THOR 是一個突破性的數學推理框架，透過階層式強化學習將外部工具與大型語言模型整合。它透過生成高品質資料、執行細粒度最佳化，以及利用即時回饋增強推論來解決工具整合推理中的關鍵挑戰。THOR 的創新組件包括用於資料生成的 TIRGen、雙重最佳化策略，以及推論期間的自我修正機制。在具挑戰性的數學基準測試評估中，THOR-Thinking-8B 在維持合理成本的同時超越了更大的模型。該框架的效益延伸到數學之外，在程式碼生成任務中也展現改善。THOR 代表了結合語意理解與精確執行的重大進展，有可能徹底改變 AI 處理需要創意和計算準確性的複雜推理任務的方法。
大型語言模型（LLM）在數學推理方面已取得顯著進展，但在高精度任務如數值計算、方程式求解和符號操作方面仍有困難。這些限制往往導致在處理複雜數學問題時出現事實性幻覺。為了解決這些挑戰，研究人員推出了一個名為 THOR（Tool-Integrated Hierarchical Optimization via RL，透過強化學習進行工具整合階層式最佳化）的新框架，在各種數學推理基準測試中達到了最先進的表現。
根據發表在 arXiv 上的研究，THOR 有效地將程式碼解釋器等外部工具與 LLM 的推理能力整合，同時透過階層式強化學習方法最佳化模型。該框架解決了工具整合推理中的三個基本挑戰：建構高品質的工具整合推理資料、執行細粒度最佳化，以及透過即時回饋增強推論能力。
THOR 的核心理念是認識到中間工具呼叫的成功與否強烈預測了最終答案的正確性。這個洞察驅動了整個框架，使得整體推理策略和特定程式碼生成能力都能得到更有效的最佳化。研究證明他們的方法在不同模型間具有良好的泛化能力，在推理專門化和通用 LLM 中都展現了效果，就如Hands-On Large Language Models: Language Understanding and Generation中討論的模型一樣。
THOR 的第一個組件是 TIRGen，這是一個演員-評論家資料生成管道，能創建高品質的工具整合推理路徑。不同於依賴簡單提示或基於規則方法的先前做法，TIRGen 使用演員來生成自然語言推理步驟，並使用評論家來識別可以轉換為可執行程式碼的操作。這個過程創建了與模型策略良好對齊的資料集，在微調期間產生更好的表現。
在模型最佳化方面，THOR 採用階層式強化學習策略，結合軌跡層級最佳化（專注於整體問題解決）和步驟層級最佳化（針對特定程式碼生成步驟）。這種雙重方法透過在程式碼執行成功或失敗時提供更頻繁的回饋訊號來解決長推理鏈中的稀疏獎勵問題，類似於Reinforcement Learning, second edition: An Introduction中描述的技術。
或許最具創新性的是 THOR 在推論期間的自我修正機制。當工具呼叫在問題解決過程中失敗時，模型不會簡單地放棄或繼續錯誤的推理。相反地，它會回溯到有問題的步驟，分割推理過程，並重新生成新的方法。這種動態修正過程在不大幅增加推論成本的情況下顯著改善了表現。
研究人員在具挑戰性的數學基準測試上評估了 THOR，包括MATH500（數學問題解決能力的綜合測試）、AIME 競賽（美國邀請數學考試）、AMC（美國數學競賽）、Minerva Math 和 Olympiad Bench。他們的方法取得了令人印象深刻的結果，THOR-Thinking-8B 在這些基準測試中平均得分 79.8%——在維持合理推論成本的同時超越了許多更大的模型。
這項成就特別值得注意的是，其效益延伸到了數學之外。研究人員觀察到在程式碼生成基準測試如 HumanEval+ 和 MBPP+ 上的一致改善，顯示 THOR 背後的原理在需要精確執行和邏輯推理的領域有更廣泛的應用，類似於Mastering Code Interpreter Prompts中探討的概念。
THOR 的效果突顯了 AI 研究中一個重要方向：將 LLM 的語意理解和創意推理能力與外部工具的精確執行能力相結合。透過開發一個同時最佳化推理過程和工具互動的框架，THOR 證明了即使是相對較小的語言模型，在適當的工具輔助和階層式強化學習訓練下，也能達到卓越的數學推理能力。
這項研究代表了解決 AI 中一個持續挑戰的重大進展：讓語言模型能夠執行需要概念理解和計算精度的複雜多步驟推理任務。隨著 AI 系統持續演進，像 THOR 這樣的框架可能對開發能夠可靠解決需要創意思考和嚴格計算問題的模型至關重要，有可能徹底改變數學推理領域。
