[論文] StreamingVLM:無限影片串流媒體的即時理解技術
來自 MIT Han Lab 的突破性視覺語言模型 StreamingVLM,革命性地改變了即時影片處理技術。它透過有效處理無限影片串流媒體同時維持效能和低延遲,克服了現有模型的限制。該模型的創新架構使用緊湊的鍵值快取,智慧重用注意力狀態和 token 視窗。其訓練方法採用在重疊影片片段上的監督微調,模擬推理時的注意力模式。基於 Qwen-2.5-VL-7B-Instruct 建構的 StreamingVLM 在體育評論方面優於 GPT-4o mini,並增強了一般影片問答能力。在單張 NVIDIA H100 GPU 上以每秒 8 影格的穩定效能,它為各種應用中的連續、即時影片理解開啟了新可能性,讓我們更接近像人類一樣持續感知世界的 AI 系統。










