能力退化還是被壓抑？Off-Model SFT 的移除代價與解法

AI 控制研究裡有一類核心工具，叫做 off-model SFT：用另一個模型產生的標籤來微調目標模型，藉此改變它的行為，不需要直接重設目標函數。這個做法的主要應用場景，包括對抗 exploration hacking（模型在訓練過程中學到繞過監督的行為模式），以及清除被植入的後門。它不需要你知道「壞行為的實際觸發邏輯」，只需要有一個能給出「正確行為」的 teacher 模型。

這個做法有一個代價，而且代價不小：off-model SFT 往往大幅降低模型能力。根源在於你用的是「另一個模型」的輸出，而那個模型的推理品質不一定比得上目標模型。當 student 模型被迫用 teacher 的輸出做訓練，自己原本的推理先驗會被逐漸覆蓋。後門消了，但能力也跟著退化。

這個問題的真正關鍵，是一個更基本的假設之爭：能力的消失，是真的被刪除了，還是只是被壓抑？如果是被刪除，那現有的能力退化就是取捨的必然成本，無路可走。但先前的研究暗示可能是後者。如果能力只是被壓抑，它理論上仍然潛藏在模型權重裡，只是沒有被正確喚起，那就代表有機會透過後續訓練把它喚回，同時不重建被清除的壞行為。這個區別決定了 AI 控制工程的設計空間有多大。

這篇研究用 Qwen3-30B-A3B 作為 student、Llama-3.1-8B 作為 teacher，在 15 組 trigger-backdoor 對上做實驗，baseline 是用 alpaca 通用聊天資料跑的 pirate SFT。測試了兩種主要改進方向。

第一種叫做「reminder training」，目前看來是成效最好的做法：先跑完 off-model SFT，再從原本的後門模型自行生成少量 on-policy 資料，做第二輪 SFT。邏輯是：第一輪已把後門行為蓋掉，第二輪讓模型重想起自己的推理先驗。因為這些 on-policy 資料來自後門模型在正常分佈下的輸出，不含 trigger，所以理論上不會重建後門。第二種叫做「two-distribution training」：訓練資料分成兩條分佈，一條是 alpaca 問題搭配 Llama-3.1-8B 的回答，另一條是 `<alt_mode>` 前綴加上 alpaca 問題搭配後門模型的回答。設計意圖是讓模型在正常模式下從 teacher 那裡學到「清除後門後的行為」，在 `<alt_mode>` 模式下保留原本的能力。

和 baseline 相比，這兩種方法的改進都是針對「先移除再喚回」的邏輯做設計，而不是重新設計整個訓練流程。Baseline 的 pirate SFT 只是單純的 off-model SFT，直接用 teacher 輸出覆蓋 student 的訓練分佈，結果是後門消失但能力一起退化。Reminder training 把改進放在 off-model SFT 之後，加一個修復步驟，這個修復不需要額外人工標記資料，只需要讓後門模型自己生成幾步 on-policy 輸出，成本相對低。Two-distribution training 則是把訓練資料本身結構化，讓兩個行為目標各自對應不同輸入分佈，試圖讓能力保留和後門清除不互相衝突。

風險在於：這整套藍隊策略目前沒有測試紅隊的反制。最直接的威脅是，紅隊可以對藍隊用來做 reminder training 的自產資料下毒。如果後門模型在「正常模式」下生成的資料裡藏了隱性模式，藍隊用這些資料做 reminder training，就等於替紅隊重建了部分後門。這不是理論上的遠端威脅，研究本身直接指出這個問題，並說明 data poisoning 的賽局樹相當複雜，值得作為獨立議題研究。目前的實驗結論只適用於「藍隊單方面操作、紅隊不主動反制」的情境，這個邊界要記清楚。

「能力是被壓抑還是被刪除」決定了 AI 控制工程師有多少解法可以選，現在的實驗結果傾向「可喚回」，但在紅隊主動反制的場景下，這個結論是否成立還沒有答案。