用 $16 和一段 Prompt 造出只屬於你的小模型

重點摘要

• 2026 年 10 月 8 日，Hugging Face 部落格記錄一位開發者透過 ML Intern 將 Qwen-Image 2.1 的 9B 提示詞改寫器蒸餾成 0.8B 版本，從下達需求到取得可部署模型只花了一天。
• 0.8B 版能跑在 CPU 上，有效輸出率 99.7%，消耗 token 量約為教師模型的四分之一；含 8,797 筆標注在內的全程 compute 費用 USD 16。
• 節省 compute 的核心手法：把已驗證事實集中在「Verified facts, do not re-derive」區段省掉代理人重查、訓練前強制取得 zero-shot 基線分數、先跑 50 步 smoke test 確認權重確實更新再付費跑完整訓練。

2026 年 10 月 8 日，Hugging Face 部落格刊出一篇實戰紀錄。作者想要 Qwen-Image 2.1 內建提示詞改寫器的輕量替代品，官方版本是 9B 參數模型，需要約 20 GB 記憶體，每次推論要思考幾千個 token 才能輸出結果；Hub 上找得到的只有同一個 9B 的壓縮版，沒有更小的選擇。他在 HuggingChat 切換到 ML Intern，把需求描述清楚，隔天就拿到一個 0.8B 的版本，能跑在 CPU 上、有效輸出率 99.7%、消耗的 token 量約為教師模型的四分之一。含 8,797 筆訓練樣本標注在內的全程 compute 費用 USD 16。接下來幾天，他用相同方式又做了五個模型，每一個都從一則 HuggingChat 訊息開始，最後以公開發布到 Hugging Face Hub 並附上評估結果收尾。

9B 壓縮到 0.8B，USD 16 實際買到什麼？

過去這類工作都要工程師手動排程、監控、驗證；現在 ML Intern 一起包辦，包括把預期費用告知作者、取得批准之後再啟動作業。

0.8B 的部署意義比速度更根本。9B 模型需要伺服器 GPU，0.8B 可以在筆電 CPU 上跑，這個差距直接決定了應用場景能不能成立，而不只是跑起來快不快。本機推論、邊緣裝置整合、低成本基礎設施，這些在 9B 版本下都行不通的架構，換成 0.8B 就能重新評估可行性。有效輸出率 99.7% 的意義也在這裡，幾乎不需要另外寫後備邏輯，模型可以直接嵌進生產流程。

ML Intern 接管了哪些事？

ML Intern 在 HuggingChat 裡以工具的形式啟用，接手後負責完整的訓練專案流程：規劃步驟、在任何費用發生前取得預算批准、跑小規模測試、執行完整訓練、評估模型，最後把模型和評估卡一起發布到 Hugging Face Hub。作者只需要做兩件事：寫好第一則訊息，以及在幾個關鍵節點核准繼續。

「先問預算再動作」這個設計細節很關鍵：代理人不是拿到需求就直接開跑，而是規劃完、告知預期費用，等作者批准才繼續。這個機制讓作者能守住決策權，也讓代理人在明確的費用限制內自主運作。但批准之後的品質，完全看你第一則訊息寫了什麼，這也是接下來要討論的重點。

那幾行 Prompt 在做什麼？

作者第一個提示詞約 450 字，到第六個專案時增長到約 2,000 字。多出來的 1,550 字完全來自每次專案新增的預防措施，不是廢話膨脹。七個完整的提示詞都公開在 GitHub（yvrjsharma/ml-intern-prompts），可以直接對照研究不同專案之間怎麼演進。

「Verified facts, do not re-derive」這個區段是設計上最直接的省錢手段。作者把已查核的技術事實集中在這裡，例如哪個訓練器剛加了透明圖片支援、哪些 open GitHub issues 讓備用訓練器有風險。代理人讀到這個標題就略過重查，省下的 compute 預算去做真正的工作。這展現了很具體的人機分工：人先做好查核，機器只負責執行。

兩行強制要求直接影響輸出的可用性。第一行要求訓練前先取得 zero-shot 基線分數；沒有這行，訓完只有一個絕對數字，不知道到底進步了多少，還是根本退步了。第二行要求先跑 50 步訓練、確認儲存的權重和初始值確實不同，再付費啟動完整訓練。設定錯誤、路徑寫錯、結果沒寫入，這些問題在實務上不算少見，50 步的費用遠低於發現問題太晚的代價。提示詞末端再列出預期交付物與費用上限，作為最後一道確認。

自建小模型的成本結構，過去幾年沒有根本性的改變：需要懂訓練流程的工程師、資料工程的工具鏈、評估指標的腳本、發布的設定，以及幾天到幾週的來回。這條路夠長，讓大多數「只是想要一個更合適的小模型」的需求在還沒開始之前就消失了，因為代價遠大於用現成 API 湊合著過。

這篇實戰紀錄打破了過去的算計方式。起點是一則訊息，終點是 Hub 上有評估卡的公開模型，中間的執行全部交給代理人，compute 以幾十美元計。同一位作者在幾天內做出六個模型，這個速度本身就是最直接的回答。但有一個前提不能省：第一則訊息的品質。任務定義模糊、訓練資料沒說清楚、邊界條件沒交代，代理人就算流程跑對，最後拿到的也不是你想要的東西。自動化讓執行成本大幅下降，把問題想清楚的成本一分都沒少。對想在自己的應用裡嵌入特定能力的工程師來說，那個「一直想要但懶得做」的小模型，現在唯一真正的阻礙只剩一件事：你有沒有辦法把需求寫清楚。