DeltaMedia
2026-11-22
晶片算力

加個 LoRA 就像開掛!27B 模型成功率狂飆 16 個百分點、Token 用量直接砍半

Hugging Face 在 2026 年 11 月 20 日發布實驗結果:對 Qwen3.8-27B 凍結基礎權重,只在 pi harness 內以 RL 訓一個 LoRA adapter,Terminal-Bench 2.1 的 pass@1 從 39% 升到 55%,平均每筆任務 token 用量從 2.9K 降到 1.5K。

加個 LoRA 就像開掛!27B 模型成功率狂飆 16 個百分點、Token 用量直接砍半

重點摘要

  • Hugging Face 在 2026 年 11 月 20 日發布實驗結果:對 Qwen3.8-27B 凍結基礎權重,只在 pi harness 內以 RL 訓一個 LoRA adapter,Terminal-Bench 2.1 的 pass@1 從 39% 升到 55%,平均每筆任務 token 用量從 2.9K 降到 1.5K。
  • 效率提升的主因不是模型「更聰明」,而是在特定 harness 下推理步驟減少、工具呼叫次數降低、一次完成的比例提高。
  • 分別針對 Pi、OpenCode、Hermes Agent 三個 harness 訓的 LoRA,可合併成一個 super adapter,在三個 harness 下均維持各自的優化效果。

Hugging Face 在 2026 年 11 月 20 日的部落格上發布一份 harness adapter 的實驗報告,以 Qwen3.8-27B 為基礎模型,在 pi harness 裡跑強化學習(RL)、只更新一個 LoRA,結果 Terminal-Bench 2.1 的 pass@1 從 39% 升到 55%,每筆任務的平均 token 用量從 2.9K 降到 1.5K。這兩個數字同向改善,不是拿效率換準確率。每天跑幾千筆 agent 任務的團隊,每筆省下 1.4K 個 token,能直接反映在推論帳單上,完全是看得見的省錢指標。

Harness adapter 是什麼?跟一般 fine-tune 差別在哪?

通用模型的訓練目標是包辦各種能力,沒有針對特定 agent harness 或任務分布優化。Harness adapter 的做法是:凍結基礎模型的全部權重,只訓練一個 LoRA(Low-Rank Adaptation)模組。訓練訊號來自 RL,而且關鍵在於 rollout 完全發生在 harness 內,reward 根據這個 harness 的真實任務完成率計算。訓出的 adapter 不是通用能力的加強版,而是針對「這個 harness + 這個任務分布」去掉多餘步驟的精簡版。

和一般 SFT fine-tune 的差別在於,SFT 靠靜態資料集用示範答案告訴模型「正確答案長這樣」;RL in-harness 是讓模型在你的真實環境裡反覆嘗試,根據任務完成與否得到回饋。Hugging Face 在此前的工作裡已驗證這套做法在資料分析和程式碼建構任務上有效;這次的報告把規模推到 27B、換成更難的真實軟體工程任務,橫跨 Pi、OpenCode、Hermes Agent 三個不同 harness,做了一次較系統性的壓力測試。

通用模型和特定 harness 之間為什麼會留下這麼多餘裕?

把 Qwen3.8-27B 直接接進 pi harness,Terminal-Bench 2.1 的 pass@1 是 39%,每筆任務平均花 2.9K tokens。從結果反推,基礎模型在這個環境裡繞了超過必要的路才到終點,或者根本沒到。模型不知道這個 harness 的工具呼叫格式和任務完成路徑,只能用對「一般 agent 任務」有效的通用策略應對,往往在該直接行動時先多推理幾步,或重複呼叫工具確認狀態。

Hugging Face 把 pass rate 和 token 用量同時改善的來源歸結為三件事:推理少了、工具呼叫少了、一次完成率高了。RL in-harness 訓練讓模型反覆在這個特定環境裡嘗試,逐漸找到「在這個 harness 裡什麼路徑會拿到 reward」,不必要的步驟自然被篩掉。這代表性能還有空間,不是因為模型能力不夠,而是通用訓練目標跟特定部署環境本來就有落差,而且換了 harness 或任務,落差長得都不一樣。RL in-harness 厲害的地方,在於能把學習訊號直接鎖定這段落差,而不是盲目地讓模型「整體變強」。

RL in-harness 實際上怎麼跑:GRPO 與 LoRA 的配合

Hugging Face 這次使用 TRL 的 AsyncGRPOTrainer,搭配 OpenEnv 和 harbor,在 Hugging Face Hub 的 Jobs 環境裡跑 rollout 與訓練。AsyncGRPOTrainer 是為更有效率的 GRPO 訓練而設計;資料集生成、訓練和 agent rollout 全都在 Hub 上跑,整個流程有可複製的基礎設施,不需要另外建一套獨立的訓練管線。Pi、OpenCode、Hermes Agent 各訓一份 adapter,每份在各自的 harness 下都打贏了基礎模型,在性能和效率兩個維度都是。

由於只更新 LoRA 而不動基礎模型,所需的算力遠低於全量 fine-tune。這讓 harness adapter 在更新頻率上有一個實際優勢:當基礎模型發布新版本時,只需要重新訓一個輕量 LoRA,而不是重新 fine-tune 整個 27B 模型。LoRA 的插件式設計也讓它可以在推論時動態載入,不需要為不同 harness 維護三個不同版本的模型主體,這在自建 agent 基礎設施的運維上有具體意義。

Super adapter 是什麼,對自建 agent 的成本意涵是什麼?

三個 harness 各自訓了一個 LoRA 之後,Hugging Face 把它們合併成一個 super adapter,在 Pi、Hermes Agent 和 OpenCode 下都能直接跑,不需要根據 harness 切換 adapter,而且各自的優化效果都還在。從部署角度看,這把三套 adapter 的維護複雜度壓回一套,對多 harness 架構的 agent 基礎設施來說,版本管理和上線流程相對單純。

成本算術上:Pi harness + 基礎 Qwen3.8-27B 是 2.9K tokens/task,加上 adapter 後是 1.5K tokens/task,每筆少了約 48%。每天跑一萬筆任務的規模下,節省的量是相當具體的數字。重點是 pass@1 同時從 39% 升到 55%,兩個方向都在改善,不是以品質換效率。

Hugging Face 把所有訓練產出(adapters、GGUFs、RL 任務設定、safeagents 外掛)打包在公開的 collection 裡,完整流程可以復現。但這份報告的結論嚴格限定在 Qwen3.8-27B 配合三個特定 harness 和 Terminal-Bench 2.1 等 benchmark 的觀測,Hugging Face 並未宣稱此方法對其他模型或任務分布有同等效果。報告本身也留下一個開放問題:「模型究竟學到了什麼?」這是作者自己提出的,說明這套做法的內部機制尚未完全解釋清楚,可複製的配方和理論透明度之間仍有距離。

自建 agent 的團隊最需要看清這套工程邏輯:原廠模型追求的是全面表現,但你的 agent 只運作在特定的 harness 裡。中間這段落差現在有了填補路徑,而且比全量 fine-tune 輕巧許多。配方已公開,下一步是確認自己的任務分布夠集中,讓 RL 訓練的信號有地方收斂。

常見問題

Harness adapter 和一般的 LoRA fine-tune 差別在哪?
一般 LoRA fine-tune 靠靜態資料集做監督學習,用示範答案告訴模型「正確答案長這樣」。Harness adapter 用 RL,訓練訊號來自模型在你的 harness 裡實際跑任務的結果,reward 是任務完成與否。最關鍵的差別是 rollout 發生在 harness 內,所以模型學到的是「在這個特定工具環境和呼叫格式下,哪條路徑會真正完成任務」,而不是靜態資料集裡的示範行為。

Token 用量減少,是不是意味著模型輸出品質下降了?
報告的數據顯示 token 減少和 pass@1 提升同時發生,兩個方向都在改善。Hugging Face 把效率提升歸結為推理步驟減少、工具呼叫次數降低、一次完成率提高,而不是「模型給更短但更差的答案」。不過這個結論僅限於 Terminal-Bench 2.1 的觀測,不同任務型態下的效率與品質關係需要自行評估。

這套做法能直接用在我自己的模型和 harness 上嗎?
Hugging Face 提供了一份可復現的完整配方,所有訓練產出和工具鏈設定都已公開。但報告的結果限定在 Qwen3.8-27B 與三個特定 harness 上,能否套用到你的模型和任務分布,取決於任務是否夠集中、RL 訓練能否從你的 reward 設計得到足夠的學習訊號。報告本身也明確指出模型實際學到的機制尚未完全釐清,這一點值得留意。

相關公司 Alibaba HuggingFace
本文由 DeltaMedia 編輯團隊審核後發布 · 編輯原則