SLM 革命：為什麼小型語言模型將主導代理式 AI

人工智慧領域正在經歷一場深刻的變革，挑戰著業界最根深蒂固的假設之一：在語言模型方面，越大越好。NVIDIA 一篇突破性的研究論文《小型語言模型是代理式 AI 的未來》提出了令人信服的論點，認為智慧 AI 代理的未來不在於龐大的大型語言模型（LLM），而在於更靈活的對手——小型語言模型（SLM）。

目前的 AI 基礎設施代表著龐大的資本投資。支援代理式應用的 LLM API 服務市場在2024 年估計為 56 億美元，而同年雲端基礎設施託管投資激增至驚人的 570 億美元。投資與市場規模之間這 10 倍的差距一直被接受，基於一個假設：目前的營運模式——大型通用 LLM 服務所有請求——將持續成為業界的基石。

NVIDIA 研究員 Peter Belcak、Greg Heinrich 及其同事正在挑戰這個根本假設。他們認為 SLM 不僅更經濟，而且在本質上更適合 AI 代理執行的大多數任務。他們的立場建立在三個關鍵支柱上：SLM 足夠強大、在操作上更適合，且在經濟上對大多數代理式應用更有效率。

現代 SLM 的能力在近年來有了戲劇性的進展。微軟的 Phi-2 僅有 27 億個參數，卻在常識推理和程式碼生成方面達到與 300 億參數模型相當的分數，同時運行速度快約 15 倍。其後繼者 Phi-3 small（70 億參數）在語言理解和程式碼生成任務上的表現與高達 700 億參數的模型相當。NVIDIA 自家的 Nemotron-H 系列混合 Mamba-Transformer 模型（2/4.8/9 億參數）在指令遵循和程式碼生成準確度方面，以極少的運算成本提供與密集 300 億參數 LLM 相當的性能。

此外，Huggingface 的 SmolLM2 系列、DeepSeek-R1-Distill 模型、DeepMind 的 RETRO-7.5B 和 Salesforce 的 xLAM-2-8B 都證明了現代 SLM 在特定任務上能夠匹敵或超越更大型模型的能力。例如，DeepSeek-R1-Distill-Qwen-7B 模型儘管規模明顯較小，但在某些推理任務上的表現超越了 Claude-3.5-Sonnet 和 GPT-4o 等大型專有模型。

SLM 的經濟優勢同樣令人信服。在延遲、能源消耗和運算資源方面，服務一個 70 億參數的 SLM 比 700-1750 億參數的 LLM 便宜 10-30 倍。這種效率使得大規模即時代理式回應成為可能，而不會產生與更大型模型相關的高昂成本。推理作業系統的最新進展，如 NVIDIA 的 Dynamo，為雲端和邊緣部署中的高吞吐量、低延遲 SLM 推理提供明確支援。

此外，SLM 提供更大的靈活性和適應性。參數高效微調技術允許在一夜之間而非數週內添加、修復或專門化行為。這種敏捷性在代理式工作流程中特別有價值，因為專門化和迭代改進至關重要。ChatRTX 等設備端推理系統的進展證明了在消費級 GPU 上本地執行 SLM 的可行性，提供即時、離線的代理式推理，具有更低延遲和更強的資料控制。

也許最重要的是，SLM 更符合 AI 代理的操作現實。大多數代理式應用只暴露語言模型功能的一小部分。透過精心設計的提示和細緻編排的情境管理，代理將大型通用模型限制在其能力的一小部分內運作。這表明適當微調的 SLM 就足夠了，同時提供提高效率和靈活性的好處。

此外，代理式互動需要緊密的行為對齊。AI 代理經常透過工具呼叫與程式碼互動，或返回必須符合嚴格格式要求的輸出。在這種情況下，使用特定格式約束訓練的專門 SLM 比可能偶爾產生意外輸出的通用 LLM 更可取。

NVIDIA 研究團隊還概述了一個實用的LLM 到 SLM 代理轉換演算法，組織可以遵循來轉換其代理式系統：

1. 透過部署儀器來記錄所有非 HCI 代理呼叫，擷取輸入提示、輸出回應和工具呼叫內容，確保使用資料收集。
2. 資料整理和過濾，移除敏感資訊同時保留一般資訊內容。
3. 任務聚類，識別請求或內部代理操作的重複模式。
4. 基於固有能力、相關基準測試表現、授權和部署足跡的 SLM 選擇。
5. 使用 LoRA 或 QLoRA 等技術進行專門 SLM 微調，以降低運算成本。
6. 透過定期使用新資料重新訓練來維持性能並適應不斷變化的使用模式，進行迭代和改進。

儘管 SLM 的論點令人信服，但採用仍存在幾個障礙。對集中式 LLM 推理基礎設施的大量前期投資、在 SLM 評估中使用通用基準測試，以及缺乏大眾認知，都促成了業界對 LLM 的持續依賴。然而，這些障礙是實際阻礙而非 SLM 技術的根本缺陷。

研究人員承認，在某些情況下，一般推理或開放領域對話能力是必要的。在這些情況下，他們主張採用異質代理式系統，其中 SLM 作為預設選擇，LLM 則選擇性且節制地調用。這種模組化組合結合了 SLM 的精確性和效率與 LLM 的通用性，使得能夠構建既具成本效益又有能力的代理。

隨著 AI 社群努力應對不斷上升的基礎設施成本和環境關切，從以 LLM 為中心轉向以 SLM 為優先的架構不僅代表技術改進，更是 AI 部署的更永續方法。透過將 SLM 在代理式工作流程中的使用正常化，組織可以降低成本、改善性能，並促進更負責任的 AI 開發。

代理式 AI 的未來很可能屬於那些認識到適合工作的工具並不總是最大工具的人。正如 NVIDIA 的研究所證明，前進的道路涉及策略性地為大多數任務部署較小的專門模型，同時為真正需要額外能力的特定情況保留較大的模型。這種方法不僅在經濟上合理，而且符合 AI 代理在現實世界中實際運作的技術現實。對於希望實施這些概念的人，NVIDIA RTX GPU 為運行這些模型提供優秀的硬體支援，而像 AI Foundations of Large Language Models 和 Build a Large Language Model (From Scratch) 等資源為希望了解這些模型背後技術細節的實務工作者提供寶貴見解。