[論文] StreamingVLM：無限影片串流媒體的即時理解技術

視覺語言模型（VLMs）在理解視覺內容方面取得了巨大進展，但在處理即時、無限影片串流媒體時卻面臨重大限制。最近發表的論文「StreamingVLM: Real-Time Understanding for Infinite Video Streams」來自MIT Han Lab，為這個關鍵挑戰引入了突破性解決方案。這項於 2025 年 10 月發布的研究提出了一種創新方法，讓 VLMs 能夠處理無限影片內容，同時維持穩定效能和低延遲——這些能力對於 AI 助理、自主代理和即時影片分析等實際應用至關重要。

現有視覺語言模型的根本問題在於處理長影片時的低效率。目前的模型要麼使用隨影片長度呈二次方增長的全注意力機制（快速耗盡記憶體並在超出訓練長度後效能下降），要麼採用滑動視窗方法，這些方法要麼破壞情境連貫性，要麼因冗餘計算而承受過高延遲。StreamingVLM 透過創新架構解決了這些限制，該架構透過智慧重用注意力錨點的狀態、近期視覺 token 的短視窗，以及文字 token 的較長視窗，來維持緊湊的鍵值（KV）快取。

StreamingVLM 特別優雅的地方在於其訓練方法。研究人員並未要求過長的訓練情境，而是開發了一種監督微調（SFT）策略，在短而重疊的影片片段上使用全注意力。這種方法有效模擬了推理時的注意力模式，而無需在極長序列上訓練的計算負擔。透過在這些重疊片段上訓練，模型學會在時間邊界間維持連貫理解——這是無限串流媒體處理的關鍵能力。

研究人員透過微調Qwen-2.5-VL-7B-Instruct建構了他們的模型，創造出能夠理解無限影片串流媒體並即時回應的系統。為了適當評估他們的方法，他們建立了 Inf-Streams-Train，一個包含超過 4,000 小時內容的體育評論 SFT 資料集，以及 Inf-Streams-Eval，一個以平均超過兩小時的影片為特色的基準測試，要求影格與文字之間精確的每秒對齊。這個評估框架提供了對模型在極長時間段內維持連貫理解能力的實際測試。

結果令人印象深刻：當由 GPT-5 評判評論品質時，StreamingVLM 對GPT-4o mini達到了 66.18% 的勝率。此外，它在單張 NVIDIA H100 GPU 上以高達每秒 8 影格的速度維持穩定的即時效能。或許最值得注意的是，所採用的 SFT 策略不僅實現了無限影片處理，還在沒有任何 VQA 特定微調的情況下增強了一般影片問答（VQA）能力，在LongVideoBench上提升了 +4.30，在OVOBench Realtime 上提升了 +5.96。

StreamingVLM 背後的技術創新在於三個關鍵元件。首先，其串流媒體感知 KV 快取在推理過程中重用先前狀態，大幅降低計算成本，同時維持與更昂貴方法相當的效能。其次，它採用連續旋轉位置嵌入（RoPE）來防止 token 驅逐後的位置漂移，確保位置保持數值連續且在有界範圍內。第三，其重疊片段、全注意力監督的訓練策略密切近似推理時的有效注意力模式，教導模型發展預期的近期偏好。

對於實際應用而言，StreamingVLM 為連續、即時影片理解開啟了新的可能性。體育評論、監控監視、自動駕駛和人機互動都可以從能夠處理無限影片串流媒體同時維持連貫理解的模型中受益。此外，模型知道何時該說話、何時該保持沉默——與影片串流媒體同步——的能力使其特別適合互動應用。

雖然目前的 VLMs 在處理超過幾分鐘的影片時遇到困難，StreamingVLM 展現了在數小時內容上的穩定效能。這代表了朝向影片理解技術實際、真實世界部署的重大進展。研究人員將訓練與推理模式對齊並維持緊湊而有效情境視窗的方法，提供了可能影響未來高效、串流媒體能力 AI 系統工作的寶貴見解。

StreamingVLM 解決了目前 AI 視覺系統的根本限制：無法在不降級或過度資源消耗的情況下處理無限視覺輸入。透過實現無限視覺串流媒體的即時、穩定理解，MIT Han Lab 的這項研究讓我們大幅接近能像人類一樣持續感知和理解世界的 AI 系統——這是下一代智慧應用的必要能力。