FlowRL 在大語言模型強化學習領域引入了典範轉移，從獎勵最大化轉向獎勵分佈配對。這種新穎方法解決了現有方法普遍存在的模式崩塌問題，促進多樣化探索並防止收斂到有限的解決方案模式。透過將策略模型與完整獎勵分佈對齊，FlowRL 鼓勵涵蓋多種解決策略，從而產生更具泛化性的推理能力。實驗結果證明在數學和程式碼推理任務上持續優於基準方法，相較於基準方法有令人印象深刻的改善。FlowRL 生成大幅更多樣化推演的能力為訓練能夠適應不同問題設定的推理模型開啟了新的可能性，代表了在開發更強健和靈活的 AI 系統方面的重大進展。
近年來大語言模型（LLM）的重大進展，很大程度上得益於在初始預訓練階段後使用強化學習技術進行微調。然而，主流強化學習方法一直存在一個根本性限制：它們傾向於過度擬合主導性獎勵信號，忽略其他有效的推理路徑。論文 FlowRL: Matching Reward Distributions for LLM Reasoning 提出了一種突破性方法，透過從獎勵最大化根本性轉向獎勵分佈配對來解決這個關鍵問題。
作者證明 FlowRL 在數學和程式碼推理任務上都持續優於現有的強化學習方法，如 近端策略最佳化（PPO）和 群組獎勵策略最佳化（GRPO），在數學基準測試上相較於 GRPO 提升了 10.0%，相較於 PPO 提升了 5.1%，成果令人印象深刻。這些提升源於 FlowRL 促進多樣化探索並防止收斂到有限解決方案模式的能力，從而產生更具泛化性的推理能力。
傳統的大語言模型強化學習方法經歷了幾個關鍵階段的演進，從基本方法如 REINFORCE 到更精密的演算法如 PPO 和 GRPO。雖然這些方法在改善大語言模型推理方面取得了成功，但它們都有一個共同限制：其獎勵最大化目標傾向於導致模型過度擬合獎勵分佈的主導模式。這種「模式崩塌」現象導致生成的推理路徑多樣性有限，並降低了對較不頻繁但有效的邏輯結果的泛化能力。
FlowRL 透過在如何將強化學習應用於大語言模型方面引入根本性轉變來解決這個限制。FlowRL 不是最大化獎勵，而是將策略模型與完整的獎勵分佈對齊，鼓勵涵蓋多種解決策略。這是透過引入一個可學習的分割函數來實現的，該函數將標量獎勵正規化為目標分佈，並最小化策略與這個獎勵誘導分佈之間的反向 KL 散度。
FlowRL 背後的核心機制受到 生成流網路（GFlowNets）的啟發，這是由 Yoshua Bengio 及其同事開發的概率框架，用於訓練隨機策略以按給定獎勵的比例採樣離散物件。GFlowNets 平衡各狀態間的概率流，透過適當探索解決方案空間來促進發現多樣化、高獎勵的解決方案。FlowRL 將這些原則適應到大語言模型推理的情境中，在這種情境下，維持長鏈思考推理的多樣性對泛化至關重要。
為了使這種方法在長 鏈思考（CoT）推理的挑戰中變得實用，作者引入了兩個關鍵的技術創新。首先，他們實施長度正規化來解決變長推理鏈出現的梯度爆炸問題。其次，他們納入 重要性採樣來修正生成推演與目前策略之間的分佈不配對。這些增強功能使得在複雜推理任務上進行穩定訓練成為可能，回應長度可達 8,000 個標記。
論文提供了全面的理論分析，闡明了如何將 FlowRL 解釋為同時最大化獎勵和策略熵。這個雙重目標鼓勵策略探索更廣泛的高品質解決方案集合，在推理任務上實現更多樣化和可泛化的行為。作者證明最小化他們提出的 KL 散度在期望梯度方面等同於最小化 GFlowNets 中使用的軌跡平衡損失。
實驗結果證明了 FlowRL 在不同推理領域的有效性。在數學推理任務上，FlowRL 使用 7B 和 32B 模型規模在六個具挑戰性的基準測試中都取得了持續改善。在程式碼生成任務上，包括 LiveCodeBench、CodeForces 和 HumanEval+，FlowRL 同樣優於所有基準方法。使用 GPT-4o-mini 評估解決方案方法的多樣性分析證實，FlowRL 生成的推演比基準方法更加多樣化。
論文中一個特別具啟發性的案例研究比較了 GRPO 和 FlowRL 在代表性數學競賽問題上的行為。雖然 GRPO 表現出重複模式，多次應用相同技術並陷入循環，FlowRL 探索了更多樣化的行動，並透過不同方法成功解決了問題。這個例子突顯了 FlowRL 的分佈配對目標如何實現對替代解決路徑的策略性探索，而不是固著於熟悉的技術。
FlowRL 的重要性超越了其直接的效能提升。透過解決 大語言模型強化學習中的根本模式崩塌問題，這種方法為訓練能夠探索多種解決策略並適應不同問題設定的推理模型開啟了新的可能性。流平衡最佳化框架提供了一種有原則的方法來促進多樣性而不損害效能，這是以往方法難以達到的關鍵平衡。
對於有興趣深入了解強化學習基礎的讀者，Reinforcement Learning, second edition: An Introduction 提供了該領域核心概念和演算法的全面涵蓋。那些希望實作語言模型應用的人可能會發現 Building LLM Powered Applications: Create intelligent apps and agents with large language models 在實用指導方面特別有價值。
隨著大語言模型持續演進，像 FlowRL 這樣促進多樣化推理能力的技術，在開發更強健和可泛化的 AI 系統方面可能會扮演越來越重要的角色。透過從獎勵最大化轉向獎勵分佈配對，FlowRL 代表了朝向更靈活和強大的推理模型邁出的重要一步，這些模型能夠透過多樣化的解決策略來處理複雜問題，而不是依賴有限的方法集合。
對於有興趣在自己專案中實作鏈思考推理的開發者，Chain of Thought Reasoning: Mastering Logical AI Problem‑Solving 提供實用見解，而 Generative AI with Python: The Developer’s Guide to Pretrained LLMs 則為在 Python 中使用大語言模型提供實作指導。
