MIT：AI 免訓練改權重，Qwen 數學成績從 7.9% 升到 48%
麻省理工學院電腦科學與人工智慧實驗室（MIT CSAIL）研究團隊 11 月 2 日發表部落格文章，讓 OpenAI 的 GPT-6 Astra 直接讀取、改寫另一個神經網路的權重，過程不跑訓練，也不用梯度。其中一項實驗，Astra 只改了 Qwen3.5-0.8B 模型 0.016% 的權重，數學測驗 MATH-500 的成績就從 7.9% 升到 48.1%。
團隊把這種做法稱為「權重空間程式設計」（Weight-Space Programming）。作者是 Rikiya Takehi、Jayden Teoh、Alex Zhang 與 DSPy 框架作者 Omar Khattab，四人都掛名 MIT CSAIL。文章頁面標明尚未正式發表，也沒有 DOI，也就是還沒經過同儕審查。
只改 0.016% 權重，Qwen 數學成績從 7.9% 升到 48.1%
這項實驗用的是阿里巴巴開源的 Qwen3.5-0.8B（8 億個權重、24 層，開啟思考模式）。團隊給 Astra 一個載入模型權重的 Python 環境，外加 GSM8K 與 MATH 的練習題，並限制它最多只能讓模型實際跑 50 次（每次最多回答 512 題）。訓練與梯度都不准用，評測用的 MATH-500 等題目 Astra 也看不到。
廣告 - 內文未完請往下捲動
Astra 先發現，原版模型答數學題時常陷入重複思考的迴圈，一直寫到 32,768 個 token 的上限都沒有給出答案。練習題前 96 題就有 85 題跑到上限，Qwen 官方模型卡也提醒過這個模型容易出現思考迴圈。
Astra 追查後，把迴圈歸到第 15 層與第 19 層多層感知器（MLP）寫出的同一個方向，再從這兩層各 64 個輸出欄位中把這個方向減掉，總共改動 131,072 個權重。過程中它還換成隨機方向做對照組，確認效果來自這個特定方向，對照組只多了 1.6 個百分點。
給足 50 次執行額度時，改過的模型 MATH-500 從 7.9% 升到 48.1%，GSM8K 從 13.8% 升到 67.1%。迴圈不只出現在數學題，衡量是否照指令作答的 IFEval 也從 21.0% 升到 62.3%。MATH-500 答案跑到 token 上限的比例則從 93% 降到 33.1%。
額度只有 10 次或 25 次時，迴圈幾乎沒有消失，MATH-500 只分別升到 12.3% 與 14.1%。
Astra 只看權重數字，就能說出網路玩的是哪款遊戲
Qwen 實驗之前，團隊先在小型網路上測試 Astra 能不能「讀懂」權重。他們用強化學習演算法 PPO 訓練四個結構完全相同的小網路，分別玩自製的打磚塊、乒乓、小精靈與過馬路遊戲，再把每個網路的 17,253 個權重以文字形式貼給 Astra。沒有提示選項，也不准用工具，Astra 四個都答對了。
改權重方面，一個 PPO 訓練 10 億步的車輛控制網路始終開不上斜坡，256 回合都沒成功過。Astra 在不用工具的情況下一次改掉 3.5% 的權重，讓車子先倒退取得助跑距離，1,024 回合全部成功。
從零寫網路的實驗中，Astra 拿到遊戲規則與原始碼，所有權重從 0 開始，沒有資料、沒有訓練，一次寫出三款 MinAtar 遊戲的網路。三款都贏過 PPO 訓練 1 億步的網路；對上訓練 5 億步的版本，打磚塊得分是對方的 20 倍，Asterix 接近，Seaquest 約六成。
也有沒過關的測試。團隊微調兩個 Google Gemma 3 270M，一個照實回答、一個總是附和使用者的猜測，Astra 只看權重的四次嘗試都分不出哪個是附和型。放寬條件讓它查看注意力分布後，三組才全部認對。
修好的是推理迴圈，換到 Gemma 3 就沒有效果
團隊在文中說明，修掉迴圈讓模型寫完原本會算但被迴圈卡住的答案，並沒有讓它的數學能力變強。Astra 自己的分析也指出，救回的 579 題中有 576 題原本是被截斷的回答，原本就寫完的回答整體正確率沒有變化。
為了驗證這點，團隊再拿很少陷入迴圈的 Gemma 3 270M 測試，它只有 8.5% 的答案跑到上限。Astra 找到的錯誤是算術錯誤、代數步驟不合法這類一般推理錯誤，沒有單一元件可以關掉，改完後 MATH-500 最多從 6.8% 升到 7.7%，Astra 自己也回報無法確認有改善。團隊的結論是，改權重可以移除遮住能力的障礙，但沒辦法加入模型原本沒有的能力。
這些結果目前還沒有其他團隊用同樣方法獨立複現。團隊在 GitHub 公開每個實驗的完整紀錄，改過的 Qwen 模型也放上 Hugging Face。Hugging Face 的 Ahsen Khaliq 依紀錄重建模型、重跑評測並做了線上展示，但這仍是重跑同一份結果。
華頓商學院教授 Ethan Mollick 轉貼這項研究時寫道：「還在等複現，但這是相當重大的事。」團隊表示，正在為這類能力建立評測基準與測試環境。
過去幾年研究者多用大型語言模型優化提示詞與程式等文字成品，例如 GEPA 這類不更新權重的方法，神經網路權重則一直交給梯度下降等演算法處理。團隊在文中把這次實驗定位為推理驅動的最佳化開始延伸到權重本身的早期結果。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
