視覺直覺推理的人機落差:人類 93.1,最強 AI 僅 53.6
Elorian 與 Scale AI 於 2026 年 10 月 12 日發布 Humanity's Sixth Sense(HSS)基準測試,含 522 題、288 張圖片與 17.6 小時影片,專測模型能否從視覺暗示(而非畫面直接呈現的資訊)推理場景意圖。
標題
視覺直覺推理的人機落差:人類 93.1,最強 AI 僅 53.6
正文(已通順正確,請做編輯優化)
重點摘要
- Elorian 與 Scale AI 於 2026 年 10 月 12 日發布 Humanity's Sixth Sense(HSS)基準測試,含 522 題、288 張圖片與 17.6 小時影片,專測模型能否從視覺暗示(而非畫面直接呈現的資訊)推理場景意圖。
- 人類受測者 pass@1 為 93.1;最高分的 AI 系統 GPT 6 Astra 僅 53.6,中國開源模型 GLM-5.3-flash 僅 26.8、Kimi K3 僅 25.5。
- AI 在 HSS 上最常犯兩類錯誤:一是漏掉決定答案的關鍵細節(佔失敗原因 21%),二是認錯物件或角色(佔 20%),兩者合起來就占了近四成敗因。
Elorian 與 Scale AI 在 2026 年 10 月 12 日聯合發布 Humanity's Sixth Sense(HSS,人類第六感)基準測試,用來測量 AI 模型能否從視覺場景中讀出「畫面暗示但沒有明說的東西」。書架還有空間再放一本書嗎?馬拉犁的鏈條承受得了阻力嗎?HSS 不問「圖裡有什麼」,而是問「圖裡的東西暗示了什麼」。測試集共 522 題,涵蓋 288 張圖片與 234 段合計 17.6 小時的影片,分成時間因果、物理空間、社會理解、抽象推斷四類。人類受測者整體 pass@1 是 93.1;迄今在 HSS 測出最高成績的 AI 系統 GPT 6 Astra,只有 53.6。
HSS 基準測試揭示了 AI 在視覺暗示推理上的顯著瓶頸,顯示出 AI 缺乏人類直覺且單靠推理鏈無法彌補底層感知的缺口。
HSS 測的是什麼?和一般視覺問答差在哪?
傳統視覺問答(VQA)多半問可以直接從畫面確認的事實。HSS 要求模型先理解場景,再從沒有明說的部分推論。四個維度拆開來看:「時間因果」問的是畫面發生之前與之後的狀態;「物理空間」問的是什麼放得進去、誰的視線能到哪;「社會理解」測的是角色的意圖、注意力與歸屬關係;「抽象推斷」追問場景暗示的規律或規則。
這種設計更接近人類日常的視覺直覺,不是識別,而是推論。從人類的子類別成績看,四個維度都在高位:圖片 94.1、影片 91.9、時間 97、空間 94.9。GPT 6 Astra 的對應成績則分別是 55.6、51.1、58.2、53.6,每個維度都落後大約 40 個百分點,而且四類的分布相當均勻,沒有哪一類特別突出,也沒有哪一類特別差。這種極其均勻的表現落差反映的不是單一推理能力受挫,而是整體視覺暗示的理解層尚未貫通。
GPT 6 Astra 都只有 53 分,AI 到底卡在哪?
HSS 統計了最常見的兩類失誤。第一類是「漏掉決定答案的關鍵細節」,佔所有失敗的 21%;第二類是「認錯物件、人物或角色」,佔 20%。兩類合計接近所有失敗的四成,性質卻截然不同。
漏掉關鍵細節出在注意力分配:模型雖然看到了畫面,卻沒有停在要緊的地方。認錯物件或角色則是更根本的理解偏差,只要一開始看錯場景,後續推論就會跟著垮掉。這兩種失誤在「進入推理階段前」就已然發生,顯示單靠延伸思考鏈(如 Chain-of-Thought)無法解決問題,缺口更可能出在底層的感知機制。
中國開源模型的成績則呈現出另一層對比。GLM-5.3-flash 拿到 26.8,Kimi K3 拿到 25.5,兩者都不到 GPT 6 Astra 的一半,也低於人類基準三分之二以上。具體原因目前沒有公開說明,但這個落差如果可信,開源模型在暗示推理這個能力上,和前沿商業模型之間的差距,可能比多數一般性基準測試揭示的還要深。
「視覺推理需要專門世界模型」這個假設還站得住嗎?
HSS 的成績除了顯示 AI 的缺口,也讓一個長期爭論有了更具體的資料點。過去許多人認為,真正的視覺推理必須依賴能建立 2D 或 3D 空間表示的「世界模型」元件,純語言模型辦不到這件事。GPT 6 Astra 和 Claude 在 HSS 上的表現,多少反駁了這個立場。
53.6 對比 93.1 是很大的差距,但它不是 0。一個沒有明確設計世界模型的系統,能在「書架還能不能塞書」這類題目上答對超過一半,看起來某種物理與空間直覺已內嵌在大語言模型的參數裡,只是目前還不完整。Import AI 把這件事定性為「世界模型是否湧現」的反向證據,也就是語言模型在訓練過程中,可能已隱式地學到了某種版本的世界模型,不一定得從頭設計一套。
對工程師來說,這個落差代表現成的前沿模型雖然已有初步的暗示推理能力,但可靠度還不足以勝任高風險應用,不能直接信任,仍需針對具體情境測試與補強。而要跨越目前這條線,問題的根源不太可能只是推理鏈不夠長,更可能是訓練資料在場景暗示這一層的系統性缺失。把這種推理型態納入訓練過程的設計,可能比把既有架構再推大一輪更有效。HSS 這類基準測試把「視覺直覺的能力邊界」量化得更具體,這本身就讓接下來的研究有了更清楚的目標。


