[論文] SigLIP 2：具備改良語意理解、定位與密集特徵的多語言視覺語言編碼器

SigLIP 2 在視覺語言模型領域代表了一項重大進展，在語意理解、定位能力和密集特徵提取方面提供了實質性的改進。這個由 Google DeepMind 於 2025 年 2 月發布的新多語言視覺語言編碼器家族，建立在成功的 SigLIP 架構基礎上，同時融入了多項創新技術，以提升在各種視覺語言任務上的表現。在這個全面性的概述中，我們將探討 SigLIP 2 如何實現這些改進，以及為什麼它代表了多模態 AI 系統的重要進步。

根據發表在 arXiv 上的論文，SigLIP 2 模型在眾多基準測試上都超越了前代模型和其他最先進的模型，包括零樣本分類、圖像文本檢索和視覺表示轉移。此外，這些模型在定位和密集預測任務上展現了顯著的改進，同時支援多種解析度並保持原生長寬比。模型的多語言能力和減少的偏見進一步增強了它們在各種應用中的實用性。

對於不想為商業 API 付費的研究人員和開發者來說，SigLIP 2 提供了一個具有最先進效能的開源替代方案，可以整合到各種應用中。

SigLIP 2 訓練配方：多面向方法

SigLIP 2 的改進源自於一個經過深思熟慮設計的訓練配方，結合了多種技術。該模型保持了原始的 SigLIP 架構以確保向後相容性，同時融入了額外的訓練目標：

1. Sigmoid 損失（來自 SigLIP）：訓練配方的基礎來自 SigLIP 的原始方法，透過將每個小批次中的每個圖像嵌入與每個文本嵌入結合，創造二元分類問題。與 CLIP 的對比損失不同，SigLIP 透過邏輯回歸訓練嵌入來分類匹配和不匹配的配對。
2. 基於解碼器的預訓練（來自 LocCa）：SigLIP 2 在視覺編碼器中加入了具有交叉注意力的 transformer 解碼器，允許同時進行三項任務的訓練：圖像描述、自動指稱表達預測（預測描述特定圖像區域的標題的邊界框座標），以及定位描述（給定邊界框座標預測區域特定的標題）。
3. 自蒸餾和遮罩預測（來自 SILC/TIPS）：在訓練的後期階段（完成 80% 後），SigLIP 2 融入了自監督學習技術來改善特徵表示的局部語意。這包括：
   • 局部到全域一致性損失，其中學生網路看到圖像的部分視圖，必須匹配教師從完整圖像得出的表示
   • 遮罩預測，其中 50% 的圖像塊被遮罩，學生必須預測教師在這些位置的特徵

這種結合的方法使 SigLIP 2 能夠發展出豐富的視覺表示，在高層語意任務和細粒度定位任務上都表現出色，解決了先前模型主要在語意匹配上表現優異但在空間理解上有困難的限制。

模型變體與適應

SigLIP 2 有兩個主要變體，各自針對不同的使用情境進行最佳化：

1. 固定解析度（FixRes）：這個向後相容的變體保持了原始 SigLIP 將圖像調整為固定正方形尺寸的方法。模型檢查點在多種解析度下可用，讓使用者能夠平衡效能和計算需求。
2. 原生長寬比和可變解析度（NaFlex）：這個創新變體保持輸入圖像的原生長寬比，同時支援多種預定義的序列長度。NaFlex 透過調整圖像大小使高度和寬度都是塊大小的倍數，將長寬比失真降到最低，同時確保序列長度不超過目標。這種方法對於 OCR 和文件理解等長寬比至關重要的任務特別有益。

此外，SigLIP 2 包含了透過主動數據策劃進行蒸餾的模型，以最大化較小模型的效能，使它們更有效率而不會顯著影響品質。

多語言能力與公平性

SigLIP 2 的一個突出特色是其改進的多語言能力。該模型使用詞彙量為 25.6 萬的 多語言 Gemma 分詞器，並在包含 100 億張圖像和 120 億個替代文字、涵蓋 109 種語言的 WebLI 資料集上進行訓練。為了平衡英語和多語言任務之間的效能，訓練混合包含 90% 來自英語網頁的內容和 10% 來自非英語來源的內容。

研究人員還應用了數據去偏見技術來減輕表示偏見和與敏感屬性的問題關聯。在像 Crossmodal-3600 這樣的多語言檢索基準測試上的評估顯示，SigLIP 2 在非英語語言上顯著超越了 SigLIP，同時在英語任務上保持優異的效能。

不同任務的效能表現

SigLIP 2 在多個任務類別上展現了令人印象深刻的效能改進：

1. 零樣本分類和檢索：SigLIP 2 在 ImageNet、ObjectNet、COCO 和 Flickr 基準測試上超越了 SigLIP 和其他基線模型，儘管支援的語言比大多數競爭對手多得多。
2. VLM 的視覺編碼器：當與 Gemma 2 LLM 結合時，SigLIP 2 視覺編碼器在各種下游任務上實現了比其他視覺編碼器（如 SigLIP 和 AIMv2）更好的多模態效能。
3. 密集預測：在語意分割、深度估計和表面法向量估計等任務上，SigLIP 2 顯著超越了先前的開放權重模型。
4. 定位：在指稱表達理解和開放詞彙檢測方面，SigLIP 2 相較於 SigLIP 和其他基線模型展現了實質性的改進。
5. 文化多樣性：SigLIP 2 在像 Dollar Street 和 GeoDE 這樣的文化多樣性資料集上展現了更好的效能，顯示了在不同文化背景下的改進理解。

效能背後的架構

SigLIP 2 保持了原始 SigLIP 的 Vision Transformer（ViT）架構和學習位置嵌入。視覺和文本塔使用相同的架構，除了 g 大小的視覺編碼器與 So400m 大小的文本編碼器配對。視覺和文本表示使用 MAP 頭（注意力池化）進行池化。

該模型提供四種大小以適應不同的計算需求：

• ViT-B（8600 萬參數）
• ViT-L（3.03 億參數）
• ViT-So400m（4 億參數）
• ViT-g（10 億參數）

此外，還提供各種塊大小（14 和 16）和解析度（224、256、384、512）供不同應用使用。

實際應用與未來方向

SigLIP 2 的多功能性和改進能力使其適用於廣泛的應用：

1. 需要跨多種語言運作的視覺搜尋和檢索系統
2. 需要準確物體定位和描述的無障礙工具
3. 受益於改進語意理解的內容審核系統
4. 依賴精確定位和深度估計的自主系統
5. 需要保持長寬比的文件理解應用
6. 更專業下游任務的基礎模型

隨著這個領域的研究持續進展，我們可以期待像 SigLIP 2 這樣的視覺語言模型在效率和能力方面的進一步改進，可能會產生針對特定產業或任務最佳化的更專業變體。

SigLIP 2 作為開放權重模型的發布，讓更多人能夠使用尖端的視覺語言技術，使研究人員和開發者能夠在這些進展的基礎上繼續發展，而不必依賴封閉的商業系統。這種方法不僅加速了研究，也確保了這些技術進步的好處能夠更廣泛地分布。

對於有興趣了解更多視覺語言模型及其應用的讀者，Large Vision-Language Models: Pre-training, Prompting, and Applications 提供了對這個快速發展領域的全面見解。

憑藉在廣泛任務上的出色效能、強大的多語言能力和創新的架構特色，SigLIP 2 代表了視覺語言模型演進中的重要里程碑，並為多模態 AI 的未來發展提供了堅實的基礎。對於希望實作這些技術的實務工作者，Transformers for Natural Language Processing and Computer Vision 提供了使用生成式 AI 和大型語言模型的實用指導。

SigLIP 2 中使用的技術建立在已確立的 transformer 架構基礎上，這些架構在 Mastering Transformers: The Journey from BERT to Large Language Models and Stable Diffusion 中有詳細說明。對於希望理解這些強大模型演進的讀者來說，這個資源特別有價值。

對於有興趣在生產環境中實作多模態 AI 解決方案的讀者，Multimodal Generative AI 提供了開發能夠跨不同模態處理和生成內容的系統的實用方法和最佳實務。