[論文] THOR:透過強化學習進行工具整合階層式最佳化的數學推理框架
THOR 是一個突破性的數學推理框架,透過階層式強化學習將外部工具與大型語言模型整合。它透過生成高品質資料、執行細粒度最佳化,以及利用即時回饋增強推論來解決工具整合推理中的關鍵挑戰。THOR 的創新組件包括用於資料生成的 TIRGen、雙重最佳化策略,以及推論期間的自我修正機制。在具挑戰性的數學基準測試評估中,THOR-Thinking-8B 在維持合理成本的同時超越了更大的模型。該框架的效益延伸到數學之外,在程式碼生成任務中也展現改善。THOR 代表了結合語意理解與精確執行的重大進展,有可能徹底改變 AI 處理需要創意和計算準確性的複雜推理任務的方法。










