[論文] GenExam：跨領域文字轉影像考試 – 測試 AI 專家級繪圖能力的全新基準

考試長期以來一直是衡量人類智慧的黃金標準。它們不僅測試記憶能力，更全面評估理解、推理和知識創意應用。這正是為什麼來自 OpenGVLab 的研究人員推出了 GenExam，這是第一個專門設計來評估 AI 模型處理跨領域文字轉影像考試能力的基準，推動人工通用智慧（AGI）朝向視覺創作的專家級能力發展。

與現有主要專注於測試 AI 理解能力或簡單概念圖解的基準不同，GenExam 提出了一個更具挑戰性的任務：AI 系統能否準確繪製需要深度學科知識的複雜圖表？該基準包含 1,000 個樣本，涵蓋 10 個學術領域，包括數學、物理、化學、生物、電腦科學（對於想深入了解該領域的讀者，電腦科學導論提供了絕佳的基礎）、地理、經濟、工程、音樂和歷史。

GenExam 特別嚴謹的地方在於其評估方法。每個提示都像真實考試題目一樣精心設計，要求 AI 不僅理解文字，還要透過推理產生精確的視覺回應。例如，化學問題可能要求模型繪製有機合成的逐步反應路徑（化學系學生可能會發現高等有機化學：第二部分：反應與合成特別有幫助），包括正確的分子結構、反應條件和中間產物。每個問題都附有詳細的評分要點，用於評估語義正確性和視覺合理性。

測試當前最先進模型的結果顯示，現今 AI 系統存在重大限制。即使是先進的商業模型，如GPT-Image-1（基於 GPT-4o）和Gemini-2.5-Flash-Image，在 GenExam 上的嚴格評分也不到 15%。大多數模型，包括許多最新的開源文字轉影像生成器和統一多模態語言模型，在嚴格標準下的得分幾乎為 0%。這顯示了跨領域影像生成對當前 AI 技術帶來的巨大挑戰。

閉源和開源模型之間的差距特別顯著。雖然 GPT-Image-1 達到了最高的嚴格評分 12.1%，但開源模型如BAGEL（由字節跳動 Seed 團隊開發）、Show-o2 和BLIP3o 無法產生任何符合嚴格要求的影像。這些結果突顯了在 AI 能夠真正在專家級別整合理解、推理和跨多個學科生成之前，還有很長的路要走。

GenExam 的評估框架相當全面，同時測量語義正確性（影像是否準確表達所要求的內容？）和視覺合理性（影像是否形式良好，具有正確拼寫、邏輯一致性和可讀性？）。該基準提供嚴格評分（任何缺陷都會導致失敗）和寬鬆評分，後者提供更細緻的性能衡量。

研究人員透過人類對齊研究驗證了他們的評估框架，顯示自動評估與人類判斷之間的強相關性。這確保了基準提供對模型能力的有意義洞察，而非僅是任意指標。

GenExam 揭露了當前文字轉影像模型的常見失敗模式。這些包括缺乏領域知識（誤解關鍵概念或結構）、推理錯誤（無法正確推斷空間關係或互動）和執行問題（產生不合邏輯或渲染不佳的影像）。例如，模型可能繪製化學結構（使用有機化學分子模型套件等工具更容易視覺化這些概念）時鍵結錯誤，或數學圖形座標位置錯誤。對於學習這些數學概念的學生，圖論導論為這個領域提供了寶貴見解。

隨著 AI 持續朝向更通用的能力發展，像 GenExam 這樣的基準為進步提供了關鍵指標。整合跨學科深度知識與複雜推理和精確生成的能力仍然是前沿挑戰。透過將影像生成框架為專家級考試，GenExam 提高了我們對人工智慧的期望標準，並為未來發展提供了路線圖。

該基準是開源的，可在GitHub 和Hugging Face 上取得，讓研究人員能夠評估自己的模型並為推進跨領域 AI 影像生成領域做出貢獻。資料集具有詳細的評估指標和評分標準，能夠系統性評估模型在不同學術領域的表現。

隨著模型在未來幾年在 GenExam 評分上的改善，我們很可能會看到 AI 系統朝向能夠真正像人類專家一樣跨不同知識領域思考和創作的重大進展。這個基準代表了朝向人工通用智慧旅程中的重要一步，這種智慧不僅能理解，還能以專家級精確度視覺化傳達複雜想法。