甩開「假開源」！Swiss AI 開大招，Apertus 1.5 訓練資料與細節全揭露

2026 年 10 月 15 日，Swiss AI 發布 Apertus 1.5。這次以 Apertus 1.0 為基礎，針對 8B 模型再訓練 4 兆個 tokens，累積總量達 19 兆；70B 模型則新增 2 兆，累積至 17 兆。相較於業界僅釋出模型權重的做法，Apertus 1.5 同時公開訓練資料來源、模型權重與完整訓練細節，這意味著工程師理論上能從頭驗證整個訓練管線。這次更新把上下文視窗比 Apertus 1.0 擴大四倍至 262,144 tokens，並新增 thinking mode 與原生多模態輸入支援。

多模態的具體實作方式是早融合（early fusion）：影像和音訊直接轉成離散 tokens 放進同一個文字序列，而不是掛獨立的視覺編碼器。影像透過 Emu3.5 tokenizer 處理，一張 512×512 圖片轉成 1,024 個 tokens；音訊透過 WavTokenizer，每秒轉成 40 個 tokens。因為只擴充詞彙表、不動架構，訓練速度也和純文字相近。訓練分四個階段：先用非配對的文字、圖片和音訊讓模型認識新模態（Unpaired），接著用圖文配對與音訊逐字稿對齊語意（Paired），再進高品質資料的 Cooldown 階段，最後把上下文視窗從 8k 逐步拉到 262k。整體訓練語料超過一半仍是純文字，以保留語言能力；新增文字資料來自 FineWeb2-HQ+、FinePDFs 和 Nemotron-CC。音訊輸入目前仍屬實驗功能。

Apertus 系列的核心主張就是主打開放。僅提供權重，外部工程師既無法驗證資料來源的授權狀況與偏差，也無法複現訓練過程；唯有同時開放資料與訓練細節，獨立審計才有技術依據，完整複現也才可行。這次更新還強化了對 Apertus Charter 的遵循，Charter 明確規範模型的價值觀與原則，展現出具體的透明度承諾。對於需要自行微調、甚至重訓基礎模型的研究者與企業而言，透明可查的訓練管線本身就是一種降低採用風險的實質信號。Thinking mode 加 262k 上下文，推理任務與長文件處理在規格上具備競爭力；改進的工具呼叫能力，套進 agent 架構理論上也會更可靠。各基準測試的實際表現，還需要社群完成評測才有依據。