何愷明團隊的 VISTA：當視覺記憶成為 Agent 架構的核心

重點摘要

• 2026 年 10 月 11 日，何愷明（Kaiming He）團隊發布論文「VISTA: A Visual Harness for Reasoning in an Interactive World」，提出視覺原生的 agent harness，無需重新訓練底層模型
• 搭配 VISTA，Claude Opus 5.0 完成 ARC-AGI-3 全部 25 個公開遊戲，相對人類動作效率得分滿分 100，步數比第一次遊玩的人類基線少 57.4%；GPT-5.6 Sol 同樣全數通關，得 99 分
• VISTA 的關鍵做法是不預先判斷畫面重要與否：全部存下來，讓模型要用時自己找，不提前拿摘要蓋掉原始視覺資訊

2026 年 10 月 11 日，何愷明（Kaiming He）團隊發布論文「VISTA: A Visual Harness for Reasoning in an Interactive World」，提出一套在互動視覺環境裡執行任務的 agent 架構。論文主張：現有多模態模型的感知能力不是主要瓶頸，真正的問題是架構層缺了視覺記憶管理機制，沒辦法讓模型在需要時回頭看舊畫面。在不重新訓練底層模型的前提下，VISTA 用三個組件解決這個問題。評測結果上，Claude Opus 5.0 搭配 VISTA 完成 ARC-AGI-3（一套互動式視覺推理基準測試）全部 25 個公開遊戲，相對人類動作效率得分滿分；GPT-5.6 Sol 同樣全數通關，得 99 分。

VISTA 證明了 Agent 的瓶頸往往不在模型自身的感知力，而在於架構層缺乏無損的視覺記憶管理。

Harness 是什麼，為什麼它比模型本身更值得工程師關注？

「Harness」在 agent 開發裡指的是圍繞模型搭建的任務執行架構：狀態管理、工具定義、上下文切換邏輯等，通常不動底層模型的權重。2025 年 11 月，Anthropic 以長時間編程任務為例，說明了文字 harness 的運作方式：用任務清單記錄尚未完成的事項，用進度檔案和程式碼備份保存已完成的工作，讓模型進入新上下文視窗時能讀取這些外置狀態，知道從哪裡繼續、接下來要做什麼。

這套設計關鍵在於：把任務狀態移出模型的上下文視窗、存進外部檔案系統，直接繞開上下文視窗的容量限制。對純文字的程式開發任務，這個方法夠用，因為程式碼、測試結果、任務清單都能用文字精確表達，不太有「描述不完整」的問題。Anthropic 展示的這套文字 harness，是目前這波 agent 能力成長的重要基礎之一。

但從文字環境移到視覺環境，問題的性質就不一樣了。視覺資訊原本就不以文字為介質，把它轉成文字描述不是「換個格式保存」，而是一個有損轉換。在視覺任務裡，文字 harness 沿用的那套「提前描述→存檔→事後讀取」邏輯，會在「提前描述」這一步就開始掉資訊。VISTA 從這裡出發，把 harness 設計的重心移向視覺記憶的管理。

對工程師而言，agent 系統的競爭力焦點已從模型選型轉向架構優劣。用同一套 harness 分別搭配 Claude Opus 5.0 和 GPT-5.6 Sol，兩個結果都接近滿分，這個現象說明在 ARC-AGI-3 這類任務上，harness 帶來的效能差距，可能比模型版本的差距更顯著。這個結論有其場景限制，但它給了一個具體的參照點。

為什麼文字記憶在視覺環境裡會掉資訊？

理解 VISTA 要解決的問題，先看一個具體的場景。ARC-AGI-3 的某些關卡裡，畫面上的一個小格子印著方向標記，標記的朝向決定了後續的規則；這個細節在畫面上只佔幾個像素，大小和位置在第一次觀察時不一定引人注意。模型第一次看到整個畫面，不知道這個細節後來會成為解題關鍵，所以也不太可能特別把它記進文字筆記。等到需要確認這個細節時，原始畫面已被推出上下文，文字記錄裡沒有這筆資訊，模型就只能靠隱性記憶猜，或者重新做動作再觀察一次，多花步數。

這個問題有一個更根本的層次。要把視覺資訊轉成文字描述，必須提前決定哪些細節值得記，但這個決定本身需要對任務有完整理解才能做，而那正是 agent 在探索過程中還沒有的東西。「值得記什麼」這個問題，沒辦法在蒐集階段就正確回答，提前決定本身就帶著不確定性。

在 ARC-AGI-3 這類基準測試裡，一種已有的處理做法是把畫面轉成數字文字網格，再讓模型寫程式模擬環境規則、驗證行動方案。在規則結構相對清晰的關卡，這個路徑有效；但在外觀細節決定規則的場景，「能不能把畫面無損轉成文字」本身就是個難題，而且這類轉換通常需要任務特定的設計，不容易複用。隨著互動歷史越來越長，早期畫面還會進一步被移出上下文或被文字摘要取代，模型想回頭確認早期細節時，原始資訊已經不在了。

VISTA 徹底顛覆了這套邏輯的起點：不預先判斷什麼重要，全部無損留存，交由模型在真正需要時主動檢索。

VISTA 的三個組件如何接起這個缺口？

視覺觀測是輸入層。在 ARC-AGI-3 的實驗設定裡，VISTA 把官方提供的 64×64 解析度畫面放大為 512×512 的 PNG 圖片，保留物體的顏色、輪廓和空間關係，讓模型的視覺輸入有足夠的解析度去分辨局部細節。64×64 和 512×512 在細節可辨度上有實質差異，這個放大步驟本身是 harness 設計的一部分，而不是模型的內建行為。

無損視覺記憶是存檔層。每次執行動作之後，VISTA 把環境回傳的所有畫面完整儲存，包括動作過程中的動畫中間幀，並按回合號和幀號建立索引。「無損」的意思是：不做壓縮，不做摘要，不預先篩選。把「這個重要嗎」的判斷推遲到「我現在需要確認什麼」的時間點，和文字摘要的思路相反。

主動視覺檢查是工具層。透過 inspect 工具，模型可以指定歷史回合號把對應畫面調回當前上下文，也可以進一步裁剪局部區域放大、一次調出多幀並排比對、或讀取具體的像素值。在 ARC-AGI-3 的場景裡，這意味著模型可以主動決定「我要再看一次第 3 回合的第 2 幀，把左上角那個標記放大確認朝向」，而不是依賴系統自動決定哪些畫面留在上下文裡。

這三個組件搭配兩份文字筆記。GUIDE.md 記錄跨關卡可複用的規則和發現；WORKING.md 記錄當前關卡的狀態、進度和後續計畫。當上下文接近上限，模型負責整理交接。這裡文字筆記和視覺存檔各有定位：文字記錄的是「當下的理解和計畫」，視覺存檔保留的是「可以重新驗證理解的原始依據」。理解可能出錯，所以才需要原始依據。

執行循環上，每個回合模型先觀察當前畫面和可用動作，結合先前積累的理解提出對環境狀態的假設。如果現有資訊不足，就調用 inspect 回看歷史畫面、放大局部、讀取像素值。確認依據之後，模型先預測這次動作預計帶來什麼變化，再執行。執行完成後把預測和實際結果對比，如果有落差，修正對遊戲規則的理解，再進下一輪。「假設、找依據、執行、比對」這個迴圈讓模型在每次動作之後都多一點對規則的理解，而不是每回合重新猜。

數字說了什麼，邊界在哪裡？

ARC-AGI-3 用兩個維度衡量 agent 表現。通關率是基本門檻；相對人類動作效率得分比較的是 agent 步數相對於「第一次遊玩該遊戲的人類基線」，得分 100 代表效率等同或優於人類基線，得分越低代表用了更多步數。

搭配 VISTA，Claude Opus 5.0 完成全部 25 個公開遊戲，相對人類動作效率得分滿分 100，步數比人類基線少 57.4%。換成 GPT-5.6 Sol，同樣全數通關，相對人類動作效率得分達到 99。步數更少代表推理路徑更直接。可以這樣理解：有了可以按需調取的視覺記憶，模型不需要額外的探索步驟來補回遺漏的細節，也不需要重複確認已經觀察過的狀態，推理路徑因此縮短。

兩個不同廠商的模型配上同一套 harness，在同個基準測試上居然都拿到接近滿分。這說明在 ARC-AGI-3 這類任務上，效能瓶頸更多在架構設計，而不在模型本身的能力差異。這個觀察需要有保留：ARC-AGI-3 是特定的像素益智場景，不代表所有視覺推理任務。

邊界也同樣清楚。VISTA 目前的驗證範圍是螢幕視覺環境：ARC-AGI-3 的像素益智遊戲，以及瀏覽器遊戲、迷宮和連線題。何愷明團隊把更接近物理世界的具身任務（embodied tasks）列為後續研究方向，但在這篇論文的範圍內沒有提供相關資料。把 VISTA 的結果外推到機器人控制或實體操作場景，目前沒有依據。