研究員從權重找出晶片指紋,指中國六款 AI 模型用 Blackwell

Elponcrab
分享
研究員從權重找出晶片指紋,指中國六款 AI 模型用 Blackwell

曾任 OpenAI 研究員的 Will DePue 發表一份鑑識報告,主張只靠中國 AI 公司自己公開的模型權重,就能看出模型是在哪一種輝達晶片上建立的。報告點名 DeepSeek、月之暗面(Moonshot AI)、MiniMax 與螞蟻集團共六款新模型,初始權重都吻合美國禁止出口中國的輝達 Blackwell 晶片。

DePue 台灣時間 13 日清晨在 X 上公布這項結果,報告全文也公開了方法與程式。但報告自己也寫明,這只能證明這些模型「接觸過」Blackwell,看不出晶片在哪裡、屬於誰,不能據此認定有人走私或違反出口管制。

報告點名六款模型:DeepSeek-V4、Kimi K3、MiniMax-M3 都對上 Blackwell

報告列出的六款模型是 DeepSeek-V4-Flash 與 DeepSeek-V4-Pro、月之暗面的 Kimi K3 與 Kimi K3.1-Pro、MiniMax-M3,以及螞蟻集團的 Ling-3.1-flash,都是 2026 年 4 月之後釋出。其中 DeepSeek-V4-Flash 與 MiniMax-M3 吻合 B200 或 B300,其餘四款吻合輝達旗艦機櫃系統用的 GB200 或 GB300。

廣告 - 內文未完請往下捲動

報告也比對了同一批公司的舊模型。DeepSeek 到 2024 年 12 月的 V3、月之暗面到 2026 年 1 月的 Kimi K2.5、MiniMax 到 4 月的 M2.7,讀出來都是上一代 Hopper 架構;DeepSeek 與月之暗面過去也自己說過用 H800 訓練。換句話說,這幾家是今年才轉到 Blackwell。

不是每家中國實驗室都換了晶片。報告指出,阿里巴巴通義千問、智譜、騰訊、小米與階躍星辰的最新模型,讀出來都還是 Hopper;美團說 LongCat-2.0 全程用自家 AI 晶片訓練,報告也沒在權重裡找到輝達的指紋。

怎麼從權重看出晶片:同一個種子,不同 GPU 排出不同指紋

AI 模型訓練前,要先替數十億個權重填入隨機的起始值。主流框架 PyTorch 會用一個「種子」數字產生這些亂數,再分給 GPU 上的大量執行緒同時填寫。報告指出,執行緒總數取決於晶片的運算單元數量:Hopper 是 132 個,B200/B300 是 148 個,GB200/GB300 是 152 個。

同一個種子換到不同晶片上,產生的數字一樣,但填進的位置會不同,起始權重的排列就像晶片留下的指紋。有些權重在訓練中從未被用到,例如保留給沒出現過的字詞的欄位,會幾乎原封不動保留起始值;被訓練過的權重也會殘留微弱的痕跡。

DePue 說他搜尋了約 6 兆種「種子加晶片排列」的組合,再拿去比對公開模型。報告估算,在這麼大的搜尋裡,純靠運氣最多只會碰到約 8 個標準差的吻合,六款模型的最強證據則在 49 到 1,385 個標準差之間,最弱的單項測試也有 20 個標準差。

報告還用實體晶片驗證。DeepSeek 的種子是 953049583,在 B300 上用未修改的 PyTorch 能逐位元重現 DeepSeek-V4-Flash 未被訓練過的起始權重,換成 H100 就重現不了;租來的 GB200 則以 0.999995 的相關係數重現了 Kimi K3。

報告另外拿 24 個開發者自己公開過訓練硬體的模型測試,結果全部一致,例如 Meta 的 Llama 3.1 讀出 H100、輝達自家 Nemotron-3 Ultra 讀出 GB200。不過報告也說明,這些模型彼此並非完全獨立,這是一致性檢查,「不是實測的準確率」。

報告自己寫的限制:看不出晶片在哪,也不能證明走私

報告強調,這套方法只能判斷「建立起始權重」用的是哪種晶片,不代表整個訓練都在同一批晶片上進行;實驗室也可能在一套系統產生權重,再搬到另一套系統訓練。報告認為這「強烈暗示」訓練也在同一批硬體上,但權重本身無法排除其他可能。

更關鍵的是,報告寫道權重「無法顯示晶片屬於誰、位在哪裡」,Blackwell 系統可以在中國境外的資料中心租用,「這份證據本身不能證明晶片被走私進中國,或發生了違反出口管制的行為」。中國 AI 公司近來積極搶租海外的輝達算力,正是這個灰色地帶。

報告也測試了其他可能:較舊的輝達晶片排不出 148 或 152 的排列,中國特供版 Blackwell 顯示卡也不行;AMD MI300X 若刻意設定成 148 或 152 個單元可以做到,但 DeepSeek-V4-Flash 的數值細節指向輝達,其餘五款報告認為可能性很低。DeepSeek 9 月發布的 V4.1-Flash 則找不到任何 GPU 指紋,報告說這不代表任何結論。

訓練規模方面,報告估計 Kimi K3 與 DeepSeek-V4-Pro 各用了約 4,500 與 3,000 張 Blackwell GPU、訓練兩到三個月,五個訓練案合計約 1.2 萬張。報告第一版寫的是最大兩案各 2,000 到 3,000 張,11 月 12 日已修正;作者也坦言對這些估計「沒有把握」,因為各家都沒公布訓練效率與時長。

DePue 在 X 上說,結果已經過 OpenAI 與 Anthropic 資深研究員獨立驗證,但沒有說明是誰,兩家公司也沒有公開表態。鏈新聞發稿前,未查到 DeepSeek、月之暗面、MiniMax、螞蟻集團或輝達對這份報告的公開回應。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。