[論文] VChain：影片生成推理的視覺思維鏈

近期影片生成技術的進展在創造流暢且視覺吸引力的片段方面取得了令人印象深刻的成果，但這些模型與類人推理能力之間仍存在顯著差距。南洋理工大學和 Eyeline Labs 的一篇突破性論文透過名為 VChain 的創新框架來解決這個挑戰。這項研究於 2025 年 10 月 6 日發表在 arXiv 上，引入了一種新穎的推理時方法，將大型多模態模型的推理能力與影片擴散模型的生成能力相結合。

目前的影片擴散模型在創造視覺連貫內容方面表現出色，但在描繪邏輯因果關係和有意義的狀態轉換方面卻有困難。例如，當被要求生成「一個人掉落杯子，杯子撞擊地面，液體濺出」的影片時，這些模型可能會產生視覺流暢的序列，但會錯過關鍵的因果元素，如杯子在撞擊時的變形或液體以物理真實方式向外濺射的過程。結果往往是缺乏邏輯一致性和物理合理性的影片。

在影片生成器不足的地方，像 GPT-4o 這樣的大型語言和多模態模型展現了卓越的推理和理解因果關係能力。這些模型能夠推斷視覺狀態之間可能的轉換——理解如果玻璃杯傾倒，它可能會破碎，或者橡皮鴨會浮起而石頭會沉下去。VChain 框架利用這種推理能力來增強影片生成，而無需大量的模型重新訓練或大型資料集。

VChain 的核心創新在於其三階段方法。首先，在視覺思維推理階段，GPT-4o 分析使用者的文字提示，並將其分解為一系列稱為視覺思維的關鍵幀。這些關鍵幀代表重要的視覺狀態，捕捉場景的基本因果進展。例如，給定提示「一塊冰放在棕色紙張上，置於陽光下」，系統可能會生成顯示冰逐漸融化和紙張以物理準確序列變濕的關鍵幀。

在第二階段，稀疏推理時調整中，這些視覺思維作為監督信號來快速微調預訓練的影片生成器。這種稀疏方法不需要密集的逐幀監督，而是只專注於關鍵的視覺狀態，使其極為高效。微調過程使用低秩適應（LoRA），進一步減少計算需求，同時仍能有效引導模型朝向更具推理性的輸出。

最後，在影片採樣階段，微調後的模型基於每個視覺思維的串聯文字描述生成完整影片。結果是一個不僅看起來視覺吸引，而且忠實呈現邏輯狀態轉換和物理互動的影片。

作者進行了廣泛實驗，將 VChain 與幾個基準進行比較，包括未經修改的原始文字轉影片模型和提示增強版本。結果顯示，VChain 在多個維度上顯著優於這些替代方案，特別是在物理推理、常識推理和因果理解方面。值得注意的是，這些改進並沒有犧牲——在某些情況下甚至增強了——基本影片品質指標，如幀流暢度和時間對齊。

VChain 特別有價值的是其實用效率。整個過程在推理時運作，無需外部資料集或註釋。所有監督都是透過提示多模態模型即時合成的，相對於生成影片本身的成本，引入的計算開銷極小。這種方法代表了將推理能力整合到生成模型中的範式轉變——不是透過大量重新訓練或密集監督，而是利用多模態模型的智慧作為推理模組，補充現有的生成能力。

這項研究的影響超越了影片生成。VChain 框架展示了不同類型的 AI 系統如何協同工作，結合專注推理的多模態模型的優勢與擴散模型的視覺生成能力。這種不同 AI 範式之間的協作指向一個未來，專業化模型貢獻其獨特優勢來解決任何單一方法都無法獨自處理的複雜任務。

隨著影片生成持續演進，像 VChain 這樣增強邏輯一致性和物理合理性的方法，對於從教育內容到視覺敘事等應用將是必不可少的。透過在推理時將通用多模態智慧轉換為視覺思維鏈指導，VChain 為創造不僅視覺連貫而且智力健全的影片開啟了新的可能性。