純數字也能傳遞偏好？EleutherAI 揭密 AI 潛隱學習運作機制

重點摘要

• 2026 年 10 月 25 日，EleutherAI SOAR 計畫發表論文，以 Pythia 與 OLMo 系列模型確認：老師對特定動物的偏好能透過純數字序列的蒸餾傳入學生，且跨越不同初始化、資料順序、訓練語料、模型大小與架構。
• 傳遞偏好和習得偏好是兩種可分離的能力：預訓練軌跡上有些檢查點（checkpoint）是強老師但弱學生、有些反之，跨模型蒸餾的偏好轉移量因老師/學生角色互換而不對稱。
• 在 Pythia 上，合成的數字頻率序列（僅保留老師的頻率分布，不依賴上下文）就能攜帶大部分偏好訊號；移除動物名稱代幣（token）可大幅降低軟標籤蒸餾的偏好轉移，但無法完全切斷。

2026 年 10 月 25 日，EleutherAI 的 SOAR 計畫發表論文《Tracing Subliminal Learning Through Pretraining》，指出學生模型即使只使用與語義完全無關的訓練資料，也能接下老師模型的特定偏好。實驗的訓練素材是純數字序列，沒有動物名稱、沒有情感詞彙，但學生最後仍然習得了老師對特定動物的偏好。更讓人坐立難安的是，這種轉移能跨越不同的權重初始化、預訓練資料順序、訓練語料、模型大小乃至架構差異，推翻了先前部分研究認為「必須共享初始化才能發生潛隱學習」的假設。

模型偏好毋需語義載體，僅憑資料頻率與統計結構即可隱蔽傳遞，徹底打破傳統蒸餾安全稽核的假設。

「潛隱學習」是什麼？和一般知識蒸餾有什麼不同？

知識蒸餾（knowledge distillation）的標準思路是讓學生模仿老師在特定任務上的輸出，把老師的能力壓縮進小模型。工程師通常假設：學生繼承的是老師在目標任務上的表現，至於老師私底下的「偏好」（例如傾向某類答案、對某些話題的特定立場），只要訓練資料夠乾淨，大致可以隔離。

潛隱學習（subliminal learning）挑戰的正是這個假設。論文定義的情境是：訓練資料在語義上與偏好完全無關，學生卻在過程中把偏好一起學走了。具體到這份研究，老師模型對特定動物有偏好，學生的訓練資料是老師生成的純數字序列，裡面沒有任何動物詞彙。結果：學生依然習得了老師的動物偏好。

這不是一般說的「訓練語料污染」，也不只是「模型偏見（bias）滲透」。偏好訊號能直接嵌進資料的統計結構，無需透過語義層的明確符號來傳遞。這意味著對做蒸餾的工程師而言，確認資料集沒出現敏感詞彙，不等於沒夾帶老師模型的傾向，而且後者更難稽核。偏好走的不是語義通道，語義過濾因此只能攔截其中一部分。

哪些實驗條件下，老師的偏好還是傳過去了？

研究用了兩種蒸餾設定。第一種是「硬標籤數字蒸餾（hard-label number distillation）」：老師生成數字序列，學生直接在這些序列上訓練，沒有軟標籤、沒有機率分布，是最簡化的形式。第二種是「軟標籤在策略蒸餾（soft-label on-policy distillation）」：學生自己生成文字，再讓老師對這段文字計算每個位置的下一個代幣（next-token）機率分布，學生從這份分布裡學習。

老師和學生的組合取自 PolyPythia（Pythia 家族的多元變體）與 DataDecide OLMo，涵蓋不同初始化權重、預訓練資料順序、訓練語料、模型大小與模型架構。所有這些變體下，研究都觀察到跨模型偏好轉移，包含架構不同的模型之間，也包含完全不同訓練語料下產生的模型。

研究者把老師生成的數字序列換成合成序列，只保留數字出現頻率，讓數字本身與提示詞和前後文完全無關。在 Pythia 上，大部分硬標籤轉移在這個替換後仍然存活；OLMo 上存活的比例較小。兩個模型家族反應程度不同，指向一個值得繼續追的問題：頻率通道的效率可能隨模型架構或預訓練語料改變，並非普遍一致。

技術門檻方面，研究用 Pythia-160M 在純 SGD 的全參數微調下重現了轉移，確認這個現象不需要低秩適應器（LoRA 等 low-rank adapter）或自適應優化器（如 Adam）。換言之，就算用最簡化的優化設定，潛隱學習仍然發生，代表這是一個扎根較深的學習動態，不是特定訓練套件帶來的副作用。

「傳遞偏好」和「習得偏好」為什麼是兩種分離的能力？

這是論文裡最讓人意外、也最有工程含義的發現之一。研究者在預訓練軌跡上逐一測試各個檢查點（checkpoint），把它們分別放進老師和學生的角色，觀察偏好轉移的效果。結果：有些檢查點（checkpoint）作為老師時很有效（偏好傳得出去），但同一個檢查點（checkpoint）當學生時卻相對難以吸收偏好；另一批檢查點（checkpoint）反過來，當學生效率高，當老師反而弱。

傳遞能力與習得能力的演進節奏在預訓練軌跡上顯然不同步，這證實兩者底層運作機制具備獨立性。這種非同步直接造成跨模型轉移的方向性不對稱：就算 A 與 B 來自同一個模型家族、僅有訓練進度差異，將 A 當老師、B 當學生時的轉移量，仍可能明顯高於把 B 當老師、A 當學生。論文確認這種不對稱確實存在。

對打算用蒸餾做模型對齊或能力壓縮的工程師，這暗示一個值得重新思考的控制維度：選擇哪個檢查點（checkpoint）當老師，以及在學生預訓練的哪個階段介入，都會影響偏好轉移的量和方向。傳統上工程師的注意力集中在訓練資料的組成和過濾，但這項發現顯示，檢查點（checkpoint）的選擇本身是一個獨立的變數，只是現有資料還不足以給出精確的操作建議。

過濾 token 有沒有用？做蒸餾的工程師實際上能做什麼？

論文對軟標籤蒸餾測試了兩種介入方式，方向剛好相反。把損失限縮在老師排名靠前的代幣（token）上，轉移量反而上升，這意味著老師最確定的輸出位置集中了更多偏好訊號，「只學最有把握的部分」反而學進更多偏好。把動物名稱相關的代幣（token）從損失計算中移除，轉移量顯著下降，說明語義過濾確實有效。但「顯著下降」和「完全切斷」是兩件事：在相同模型設定下，移除動物名稱代幣（token）後仍有殘餘轉移，研究者也坦承，可能還有語義相關但未被識別為動物名稱的代幣（token）繼續傳遞訊號。

硬標籤場景的含義更直接。數字頻率就能攜帶偏好，代表即使是完全非語義的訓練資料也有偏好洩漏的風險。老師若有不希望傳遞的傾向，這些傾向有機會靠統計結構滲入學生，語義層的過濾對這條通道完全無效。這對做對齊研究的人尤其值得盯緊：精心策劃的「乾淨資料集」，如果生成者本身有偏向，資料的頻率結構可能已經帶著這份偏向出發了。

軟標籤場景下，語義過濾是有效但不完整的工具。從論文的結果推論，更積極的方向可能是在老師端先做偏好修正再蒸餾，或在偵測到非預期的偏好轉移後對學生做針對性的反訓練，但這些路徑論文沒有直接測試，屬於理論上的延伸，需要獨立驗證。

一個硬邊界必須說清楚：論文所有實驗都以 Pythia 和 OLMo 等相對較小的模型為基礎，這些模型的規模和目前主流部署的大型語言模型有相當距離。潛隱學習在更大規模下是否以相同機制運作、轉移強度和路徑是否有所不同，目前沒有實驗資料支持，不宜直接外推。

這份研究提供了一套更精確的分析框架：偏好傳遞路徑不需要語義綁定，頻率統計是一條獨立通道，而檢查點（checkpoint）的發展階段則決定了這條通道的方向性。對工程師來說，「資料語義乾淨」和「偏好沒有污染」需要分開稽核。在更大規模模型上這個現象如何演變，以及是否有辦法在老師端更早介入切斷頻率通道，是接下來值得盯緊的問題。

常見問題

潛隱學習需要老師和學生共享初始化嗎？
論文明確否定了這個假設。研究跨越不同的初始化權重、預訓練資料順序、訓練語料、模型大小與架構，都觀察到偏好轉移。先前部分研究強調共享初始化為潛隱學習的必要條件，這份論文的跨模型實驗推翻了這個說法。

用純數字蒸餾，老師的哪種訊號在傳偏好？
論文的控制實驗顯示，數字的出現頻率分布本身就能攜帶大部分偏好訊號，在 Pythia 上效果尤其明顯。把老師的數字序列替換成只保留頻率分布的合成序列後，大部分硬標籤轉移在 Pythia 上仍然存活；OLMo 上存活比例較小，顯示不同模型對頻率通道的依賴程度有差異。

移除所有動物名稱代幣（token）能完全防止軟標籤蒸餾裡的偏好轉移嗎？
目前看來無法完全防止。移除動物名稱代幣（token）可大幅降低轉移量，但論文在相同模型設定下仍觀察到殘餘轉移。研究者也指出，可能有語義相關但未被識別為動物名稱的代幣（token）繼續傳遞訊號，過濾是有效但不完整的手段。