OmniWorld 是一個突破性的 4D 世界建模資料集，解決了視覺智慧系統中的關鍵資料限制問題。由上海人工智慧實驗室和浙江大學的研究人員開發，它結合了 OmniWorld-Game 資料集與來自各個領域的公開資料集。這個全面性的資源提供了前所未有的規模、多樣性和模態豐富性，在大小和模態覆蓋範圍上都超越了現有的合成資料集。
世界建模技術的快速發展代表了視覺智慧系統演進中的重要里程碑。最近，來自上海人工智慧實驗室和浙江大學的研究人員推出了OmniWorld，這是一個突破性的大規模、多領域、多模態資料集，專門設計來解決 4D 世界建模中的關鍵資料瓶頸問題。這個全面性的資料集透過結合空間幾何和時間動態，讓機器能夠更好地理解、模擬並與物理世界互動。
OmniWorld 超越了傳統資料集，提供了前所未有的規模、多樣性和模態豐富性。其核心是新收集的OmniWorld-Game 資料集，在規模和模態覆蓋範圍上都超越了現有的合成資料集。當與來自各個領域的多個公開資料集結合時，OmniWorld 建立了一個強大的基準測試，揭示了當前最先進方法的限制，同時透過微調提供了顯著效能改善的途徑。
世界模型的發展已成為推進視覺智慧系統的核心，這些系統需要能夠對物理世界進行推理。這些系統需要超越靜態感知，能夠模擬動態環境、預測物體運動、推斷因果關係，並生成遵循物理定律的內容。反映模型世界建模能力的兩個基本任務已獲得廣泛關注：3D 幾何基礎模型和相機控制的影片生成模型。前者從 2D 圖像輸入中提取全面的 3D 幾何資訊，後者則專注於根據精確的時空指令生成動態影片內容。
然而，現有的基準測試和資料集面臨著重大限制。對於 3D 幾何基礎模型，目前的基準測試通常具有較短的序列長度，限制了對模型長期穩健性的評估。例如，廣泛使用的Sintel 資料集包含的影片平均只有 50 幀。此外，這些資料集中有限的運動幅度和單一動作類型無法全面評估模型在複雜動態環境中的表現。同樣地，在相機控制的影片生成方面，主流資料集如RealEstate10K主要由具有平滑相機軌跡的靜態場景組成，在資料集內容與真實世界場景之間創造了明顯的差距。
為了解決這些不足，研究人員建立了 OmniWorld，它包含兩個主要組成部分。首先是 OmniWorld-Game，這是一個大規模合成影片資料集，擁有超過 96,000 個片段和超過 1,800 萬幀，總時長超過 214 小時。這個資料集從多樣化的遊戲環境中擷取，包含 720P RGB 圖像、密集的真實深度圖、準確的相機姿態、文字說明、光流和前景遮罩。第二個組成部分涉及整合來自四個關鍵領域的資料集——模擬器、機器人、人類和網路——提供廣泛的真實世界和虛擬場景，增強資料多樣性。
讓 OmniWorld 特別有價值的是其豐富的多模態標註套件。該資料集提供跨多個模態的全面標註訊息，包括 RGB 圖像、深度圖、相機姿態、文字說明、光流和前景遮罩。這些標註對於詳細的世界建模任務至關重要。為了確保高品質，研究人員實施了精密的資料獲取和標註流程，採用針對不同資料領域量身定制的自動化和半自動化方法。
該資料集的統計數據令人印象深刻。OmniWorld 總共包含超過 60 萬個影片序列和超過 3 億幀，其中很大一部分具有 720P 或更高的解析度。人類領域佔最大比例，突顯了資料集在反映真實世界人類活動和互動方面的豐富性。此外，OmniWorld-Game 在多個維度上展現了卓越的多樣性，包括場景類型（戶外城市、戶外自然、室內和混合）、相機視角（第一人稱和第三人稱）、歷史時代（古代、現代和未來）以及主要物體類型（地形、建築、車輛和混合）。
基於 OmniWorld-Game，研究人員為3D 幾何基礎模型和相機控制的影片生成模型建立了新的基準測試。這個基準測試提供了具有挑戰性的複雜場景，能夠準確反映模型的真實世界能力。當在此基準測試上評估目前最先進的模型時，研究人員發現有顯著的改善空間，特別是在處理複雜動態和相機控制方面。
OmniWorld 價值最有力的證據來自微調實驗。研究人員為兩個核心任務——3D 幾何基礎模型和相機控制的影片生成模型——選擇了幾個最先進的模型，並使用 OmniWorld 對它們進行微調。結果一致顯示，在多個資料集和指標上，相較於原始發布版本都有顯著的效能改善。例如，使用 OmniWorld 微調的模型展現了增強的深度估計準確性、改善的相機姿態估計，以及在影片生成中更好地遵循相機控制指令。
OmniWorld 的推出代表了對4D 世界建模領域的重大貢獻。透過提供具有豐富標註的大規模、多領域、多模態資料集，它解決了限制該領域進展的關鍵資料瓶頸。此外，透過建立具有挑戰性的基準測試並展示使用 OmniWorld 進行微調的效果，研究人員為推進具有更強時空一致性的下一代模型提供了明確的途徑。
隨著世界建模持續演進為視覺智慧系統的核心追求，像 OmniWorld 這樣的資料集將扮演越來越重要的角色。它們不僅為開發更精密的模型提供必要的訓練資料，還建立了指導研究方向和衡量進展的基準測試。憑藉其前所未有的規模、多樣性和模態豐富性，OmniWorld 代表了讓機器更好地理解、模擬並與物理世界互動的重要進步。
研究社群現在可以使用這個強大的資源，加速開發更通用和穩健的模型來理解並與真實物理世界互動。OmniWorld 資料集和相關資源可透過專案的官方 GitHub 儲存庫取得，讓研究人員能夠在此基礎上進行視覺智慧系統的未來創新。隨著人工智慧持續朝向更精密的時空推理能力發展，像 OmniWorld 這樣的資源將在縮小虛擬模擬與物理現實之間的差距方面發揮關鍵作用，最終導向更有能力和適應性的AI 系統。
