理論說「吸引力驅動聚類」,真實模型說:不對
1/ Geshkovski 等人把 attention 建模成球面上的動力系統,預測 token 會聚類並漂向共識,並在途中出現 metastable 雙時間尺度結構。
1/ Geshkovski 等人把 attention 建模成球面上的動力系統,預測 token 會聚類並漂向共識,並在途中出現 metastable 雙時間尺度結構。核心假設:Q=K=V=單位矩陣。把這套理論搬進訓練好的 transformer,三條預測存活,兩條崩掉。
2/ 存活的三條都很乾淨。跨層 token 表示聚類,在每個測試模型、每個真實 prompt 上皆成立;這些聚類以 metastable 平台的形式跨多層持續、再重組;快速形成與緩慢合併的雙時間尺度,在超過深度門檻後確實分離。結構預測,準。
3/ 第一條崩:理論要求交互能量單調遞增,但在每個模型、每個 prompt、每種溫度下都出現下降。聚類是真實的,但背後不是理論描述的純吸引梯度流。這是普遍性的反例,不是邊緣案例。
4/ 第二條崩在機制層。崩塌速度不由模型維度或深度決定,而是由 value matrix 的譜半徑主導,維度較高的模型反而崩塌較慢,與 Theorem 6.1 的預測完全相反。V 矩陣才是關鍵,不是架構規模。
5/ 收束:聚類是真的,但驅動它的機制不是理論說的純吸引梯度流。理論抓到了現象的形狀,卻猜錯了引擎。
相關公司
Meta
本文由 DeltaMedia 編輯團隊審核後發布 · 編輯原則
