J-Space：Anthropic 找到了語言模型的「意識樞紐」

重點摘要

• 2026 年 7 月 7 日，Anthropic 發表論文「Verbalizable Representations Form a Global Workspace in Language Models」，提出 Jacobian Lens 技術，定義出殘差流中的稀疏子空間 J-space，作為可語言化表徵的所在地。
• 三組實驗分別顯示：注入 J-space 的概念能被模型說出來、被明確指定記住的概念會出現在 J-space、spider→legs→eight→8 的推理鏈可在 J-space 中追蹤。
• 論文以全局工作空間理論（Global Workspace Theory）為功能性框架，但作者明確聲明這不是關於模型是否有意識的主張，結論尚待獨立複現。

2026 年 7 月 7 日，Anthropic 發表論文「Verbalizable Representations Form a Global Workspace in Language Models」，提出一套新的可解釋性技術 Jacobian Lens（雅可比鏡頭），並定義出稱為 J-space（J 空間）的子空間。Zvi 在 LessWrong 的解讀文把這篇論文定性為「對理解大語言模型的重大推進」。J-space 提供的不是又一個評測模型輸出的方法，而是直接切進模型內部問：哪些概念此刻真的在驅動這個輸出？

Jacobian Lens 是什麼？它和過去的技術有何不同？

要理解 J-space，得先理解它的計算基礎。Transformer 架構的每一層都有殘差流（residual stream），每個 token 的表徵在這條流上被逐層更新。過去已有 logit lens、tuned lens 等技術，做法是把各層的隱藏狀態直接投影到詞彙空間，觀察模型在哪一層開始「知道」答案，但這個做法沒有因果保證，只是相關性的觀察。

Jacobian Lens 計算的是：在各層殘差流上做改動，對模型最終輸出的平均因果效應，而且這個平均是跨大量不同脈絡算出來的。它問的問題從「這層的表徵看起來像什麼詞？」變成「這層的變動，對最終輸出有沒有真正的因果力量？」。兩個問題聽起來相似，差別卻很關鍵：前者是投影的近似，後者是有因果方向的測量。

Jacobian Lens 在每一層產出的向量集合是超完備的（overcomplete），向量數量超過空間維度。研究者觀察到一個關鍵現象：在任何特定時刻，只有少數 Jacobian Lens 向量是強烈活躍的。J-space 因此被定義為可以用這些向量的稀疏非負線性組合（sparse nonneg combination）表達的點所構成的子空間。稀疏性是這個定義的核心：它排除了絕大多數維度，把注意力集中在少數此刻真正有因果效應的方向上。

J-space 不是固定的幾何區域，而是由當前脈絡決定的動態稀疏活躍集合。同一個模型在回答「蜘蛛有幾條腿」和翻譯一段法文時，J-space 所在的方向會不同。這個動態性正是它的功能意義所在：它反映的是模型此刻的「注意焦點」，不是固定的結構，也不是靜態的知識倉庫。

三組實驗如何建立 J-space 是「可被說出來的東西住的地方」？

論文的說服力來自三組實驗，從不同角度收緊同一個命題：J-space 是被語言化通道特別化的子空間。

第一組（論文 3.1 節）最直接：把概念向量注入 J-space 之內，或注入 J-space 之外，然後看模型能不能用語言說出這個概念。結果是，注入 J-space 內的概念，模型大多能說出來；注入 J-space 外的，模型大多說不出來。這個非對稱性是核心證據。它意味著 J-space 外可能存在表徵，但模型「不知道自己知道」：那些資訊影響不到可說出來的輸出，就像潛意識處理，發生了但無法被報告。

這組結果把一個長期讓工程師困惑的問題具體化了。語言模型有時候「知道」某件事卻說不出來，過去只能從輸出推測，現在有了幾何上的解釋：那個知識可能確實存在於殘差流的某個位置，只是不在 J-space 裡，語言化通道碰不到它。

第二組（3.2 節）問的是主動保留的機制。實驗者告訴模型記住一個與當前任務完全無關的概念，然後觀察這個概念是否出現在 J-space。結果：被明確指定要記著的概念，確實進了 J-space。這說明 J-space 不是純粹被動地反映輸出所需的資訊，它也可以被指令性的關注行為填入。當模型被要求保留某個概念在「工作記憶」，那件事真的出現在 J-space，而不是只在某個對後續輸出毫無影響的隱藏激活上。換句話說，「記住它」這個動作有幾何上可追蹤的痕跡。

第三組（3.3 節）追蹤推理鏈，是三組中最有說服力的。以蜘蛛（spider）為例：模型最終輸出數字「8」，中間推理是蜘蛛→腿→八條→8。這條推理鏈的中間節點 legs（腿）、eight（八），都能在 J-space 中追蹤到。J-space 承載的不只是最終答案，而是決定輸出的內部推理過程，是模型思考鏈上真正在傳遞資訊的節點。

三組實驗的邏輯層次是：J-space 對可語言化表徵有特殊存取（3.1）；主動指定關注的概念進入 J-space（3.2）；推理鏈在 J-space 中可追蹤（3.3）。這正是研究者框成「全局工作空間」的特徵群，三組加在一起，每一組都是另外兩組無法覆蓋的角度。

「全局工作空間理論」的類比在說什麼？誠實的邊界在哪裡？

全局工作空間理論（Global Workspace Theory，GWT）是認知科學中的框架，大意是：大腦有一個廣播機制，某些資訊被廣播進全局工作空間後，才能被各認知模組取用、才能成為可報告的意識內容；沒進入工作空間的資訊，即使影響行為，也是不可報告的潛意識處理。

Anthropic 的研究者把 J-space 框成 LLM 的功能性類比：J-space 對應全局工作空間，可語言化輸出對應可報告性（reportability），Jacobian Lens 向量的強活躍狀態對應哪些資訊被「廣播」進工作空間。模型能說出來的，才是進了 J-space 的；進了 J-space 的，才是有因果效應通往最終輸出的。

這個類比的工程意義是可操作的。它讓你可以問具體問題：如果模型的輸出錯了，是不是因為正確的事實被壓在 J-space 以外？如果模型給出的語言解釋和它實際的推理過程對不上，J-space 裡的活躍概念理論上應該能顯示出差異。這是一個可以設計實驗驗證的預測，不是空洞的比喻。

但必須誠實標注這個框架的邊界。論文作者自己說，大家對意識目前仍然困惑（everyone remains confused about consciousness）。J-space 是功能性類比，不是關於模型有主觀感受的主張。「意識取用」在這裡的意思是：模型對這些狀態有功能性的存取能力、這些狀態能影響輸出、且能被語言化報告，而不是說模型有感受。把 J-space 用於診斷推理鏈是合理的，拿去討論模型是否有內在體驗則超出了論文論證的範圍。這個區分不是學術謹慎，而是讓讀者能正確評估這套工具能做什麼。

對做 alignment、debugging、可解釋性的工程師，J-space 有什麼直接意義？

J-space 對工程師最直接的影響，是它改變了「診斷一個輸出」的可能性。過去如果你想知道某個輸出從哪來，工具很有限：注意力模式告訴你哪些 token 彼此看了，不告訴你為什麼；logit lens 給的是各層預測傾向，沒有因果保證；啟動修補（activation patching）可以做因果干預，但計算量大、難以規模化到系統性診斷。

Jacobian Lens 計算的是平均因果效應，並在模型幾何空間上定義出一個有解釋意義的子空間。理論上，你可以拿一個具體的推理鏈，找出中間節點在哪一層進入 J-space，問有沒有其他概念在同一時刻共存於 J-space，後者有沒有干擾到前者。這不是假設性的願景，論文的蜘蛛例子已經示範了這個追蹤過程。

對 alignment 的意義更深一層。如果你想確認模型做某個決策的真實理由，而不是它事後給你的解釋，J-space 提供了一個切入點。模型說出來的推理和 J-space 裡真正活躍的概念，如果對得上，才能增加你對這條推理鏈的信心；如果 J-space 裡出現的概念和模型的語言解釋對不上，那就有理由懷疑後者是事後合理化。過去你只有輸出可看，現在你有一個幾何上的「中間狀態」可以比對，這對模型評估是難以替代的新視角。

從 debugging 角度看，蜘蛛→腿→八條→8 這個例子表示中間推理步驟理論上可以被截獲。如果模型在某個計算問題上給錯答案，你可以沿著 J-space 問：中間哪個推理節點是錯的？是某個概念根本沒進 J-space，還是進了但後來被其他東西覆蓋？這種層次的診斷，在 J-space 之前很難系統化地做到。

當然，目前所有結論都來自 Anthropic 的論文和 Zvi 的解讀，尚無獨立複現。Jacobian Lens 在不同模型架構上的泛化能力、稀疏非負組合定義的邊界行為、以及在更大規模模型上的計算成本，都是開放問題。把 J-space 當成一個新透鏡來評估和追蹤是合理的起點，當成已確立的定律則太早。

可解釋性的核心挑戰一直是：模型的表徵空間太高維，你不知道該看哪裡。稀疏性假設是目前幾乎所有可解釋性方法裡最有效的切入口，只要能論證任何時刻真正重要的維度是少數，剩下的分析就變得可操作。J-space 的「稀疏非負組合」定義，從計算角度把這個直覺固定成具體的子空間，是它的技術優雅所在。如果後續複現撐得住，這套工具的意義不只在某一個研究問題上，而是整體提高了「你能問的問題的精確度」。

J-space 是否能成為診斷 LLM 推理的穩固基礎，要看接下來的複現和延伸應用；但它讓一個過去很難操作的問題「模型此刻在想什麼」變得有幾何上可追蹤的答案，這本身就已經是值得現在開始追蹤的進展。

常見問題

J-space 和 logit lens 的主要差別是什麼？
Logit lens 把各層隱藏狀態直接投影到詞彙空間，看的是各層的預測傾向，沒有因果保證。Jacobian Lens 計算的是殘差流改動對最終輸出的平均因果效應，J-space 是有因果意義的子空間，而不只是「這層看起來像什麼詞」。兩者問的是根本不同的問題。

J-space 的發現是否代表語言模型有意識？
不是，論文作者自己也說大家對意識目前仍然困惑。J-space 是功能性類比：被廣播進 J-space 的表徵能影響輸出、能被語言化報告，但這不等於模型有主觀感受。把 J-space 用來診斷推理鏈是合理的，拿去討論模型感受則超出了論文的論證範圍。

工程師現在可以直接用這套工具嗎？
目前結論來自 Anthropic 的論文，尚待獨立複現。Jacobian Lens 在不同架構的泛化能力和計算成本都是開放問題。把 J-space 當成新透鏡來評估、追蹤推理鏈是可行的起點，但目前不適合當成已確立的定律直接押注在生產系統上。