[論文] NaViL：在資料限制下重新思考原生多模態大型語言模型的擴展特性

我為 Amazon 查詢工具的技術問題致歉。由於目前無法檢索 Amazon 產品連結，我將原樣返回你的原始內容：

研究論文「NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints」（arXiv:2510.08565），由上海人工智慧實驗室的研究人員發表，在原生多模態大型語言模型（MLLMs）的發展上呈現了重大突破。該研究系統性地探討設計選擇和擴展特性，證明原生端到端 MLLMs 能夠在使用顯著較少訓練資源的情況下，達到與組合式模型相當的競爭性能。這項研究的關鍵創新是發現視覺編碼器和語言模型最佳尺寸之間的新穎關聯性，挑戰了在不同 LLM 規模中使用固定尺寸視覺編碼器的傳統觀念。

多模態語言模型的演進

多模態大型語言模型傳統上遵循組合式範式，透過持續的多模態預訓練將預訓練的視覺編碼器與預訓練的語言模型連接。雖然這種方法有效，但這種分離式訓練方法使得全面探索多模態擴展特性變得困難。相比之下，原生 MLLMs 以端到端的方式共同訓練視覺和語言組件，可能提供更整合的多模態資訊處理。

然而，挑戰在於從零開始訓練原生 MLLMs 需要大量的計算資源，在資料限制下呈現重大障礙。NaViL 論文透過徹底檢視原生 MLLMs 在實際資源有限情境下的設計空間和擴展特性來解決這個問題。

關鍵架構洞察

研究人員進行了廣泛實驗來探討原生 MLLMs 的基本架構組件。他們的發現揭露了幾個關鍵洞察：

LLM 初始化的好處

使用預訓練 LLMs 初始化的模型收斂速度更快，通常優於從零開始訓練的模型，即使使用大量更多的多模態訓練資料也是如此。這個洞察對於計算資源有限的研究人員特別有價值，因為它證明了利用現有語言知識能夠大幅減少訓練需求。

專家混合架構

該研究檢視了專家混合（MoE）架構在原生 MLLMs 中的有效性。研究結果顯示，整合 MoEs 顯著加速模型收斂，相較於原版 LLM 實作，僅需 1/10 的資料就能達到相同的驗證損失。這種改善不會增加推論成本，因為激活參數的數量保持一致。

為了解決視覺和語言模態之間特徵尺度差異的挑戰，研究人員除了傳統的前饋網路專家外，還引入了模態特定的注意力專家，確保更平衡的多模態處理。

視覺編碼器架構的靈活性

該研究提供了關於視覺編碼器最佳架構的寶貴洞察。有趣的是，結果證明視覺編碼器在廣泛的深度和寬度配置範圍內都能達到接近最佳的性能，挑戰了特定架構比例至關重要的觀念。研究發現較淺的編碼器在早期訓練中收斂更快，而較深的編碼器在較大資料集上表現稍好，為實務工作者根據特定計算限制和資料可用性提供了靈活的設計選擇。

革命性的擴展特性

NaViL 研究中最具突破性的發現可能是關於視覺編碼器和 LLM 組件的擴展特性。雖然擴大 LLM 規模持續改善多模態性能，符合傳統的語言模型擴展定律，但增加視覺編碼器尺寸的好處在超過某個點後顯示遞減回報。

研究人員發現，最佳視覺編碼器尺寸與 LLM 尺寸在對數尺度上成比例擴展，表明兩個組件應該共同擴展而非獨立擴展。這揭露了組合式範式的根本限制，該範式通常在不同 LLM 規模中採用單一預訓練視覺編碼器。

NaViL 模型

基於這些原則，研究人員開發了 NaViL，一個整合所有已識別最佳設計選擇的原生 MLLM。該模型使用約 6 億個預訓練圖像-文字對進行端到端訓練，並在多樣化基準測試中進行評估，包括：

• 圖像描述
• 光學字符識別（OCR）
• 各種視覺問答任務

實驗結果證明 NaViL 達到與當前頂級組合式 MLLMs 相當的競爭性能，突顯了原生 MLLMs 在適當架構考量設計下的實用性和能力。

技術架構細節

NaViL 的架構包括：

1. 將原始像素轉換為語義視覺特徵的視覺編碼器
2. 將這些特徵投影到 LLM 嵌入空間的 MLP 連接器
3. 擴展了模態特定 MoEs 的 LLM

插入特殊標記來指示圖像標記子序列的開始和結束，以及維持空間位置資訊。該模型還整合了視覺多尺度打包技術來改善推論期間的性能，以多種解析度處理輸入圖像以捕捉詳細和情境資訊。

全面評估結果

研究人員在廣泛的多模態基準測試中對 NaViL 與現有 MLLMs 進行了徹底評估。結果顯示 NaViL-2B（具有 24 億激活參數）優於所有現有原生 MLLMs，並達到與類似尺寸組合式模型相當的性能。考慮到一些組合式對應模型（如 InternVL-2.5-2B）使用從更大預訓練模型蒸餾的視覺編碼器，這特別令人印象深刻。

更大的 NaViL-9B 變體進一步證明了該方法的可擴展性，在幾乎所有基準測試中達到原生 MLLMs 的最先進性能。

注意力圖視覺化的洞察

透過注意力圖視覺化的質性分析提供了關於 NaViL 為何表現如此出色的額外洞察。當根據發現的擴展定律使用足夠大的視覺編碼器時，淺層中的視覺標記已經開始關注全域資訊而非僅僅局部模式。此外，視覺和語言特徵之間的互動在網路中更早發生，促進模態之間更好的對齊。

對未來 MLLM 發展的啟示

這項研究的發現對 MLLMs 的未來發展具有重大啟示。透過證明原生 MLLMs 能夠在適當的設計選擇和擴展策略下達到競爭性能，該論文挑戰了組合式範式的主導地位，並為更整合的多模態架構開闢了新途徑。

此外，已識別的視覺編碼器和 LLMs 之間的擴展關係為開發未來模型時有效分配計算資源提供了寶貴指導。這個洞察可能導致更具成本效益的高性能多模態 AI 系統開發。

結論

NaViL 論文透過系統性探索在資料限制下原生 MLLMs 的設計空間和擴展特性，對多模態 AI 領域做出了重大貢獻。透過識別最佳架構選擇並揭露基本擴展關係，研究人員不僅開發了高性能的原生 MLLM，還提供了將影響未來多模態系統設計的寶貴洞察。

隨著該領域持續演進，這些發現可能在塑造更高效且有效的方法來建構能夠無縫整合視覺和文字資訊的模型方面發揮關鍵作用。證明原生端到端訓練能夠與組合式方法競爭，可能導致未來多模態模型設計和訓練方式的範式轉移。