騰訊開源旗艦模型 Hy4:770B 參數,授權改設商業門檻

Elponcrab
分享
騰訊開源旗艦模型 Hy4:770B 參數,授權改設商業門檻

騰訊混元 11 月 20 日在官方 X 帳號宣布開源旗艦模型 Hy4 的權重。依 Hugging Face 模型卡,這次釋出 Hy4、FP8 量化版 Hy4-FP8 與預訓練基礎模型 Hy4 base,同步放上 ModelScope 與 GitCode,並附上含安全評估的系統卡。

Hy4 語言主幹總參數 770B,每個 token 啟用 49B,上下文長度 100 萬 token,可以理解文字、圖片與影片。騰訊說,它在 9 月開源的 Hy4 preview 基礎上大幅擴大預訓練與後訓練,加入視覺能力,指令遵循、長文本、長流程任務與深度研究都有明顯進步。

參數規模和 preview 相同,多了 1.23B 視覺編碼器

對照兩版模型卡,Hy4 和 preview 一樣是 78 層混合專家架構,第一層是稠密前饋網路,其餘 77 層各有 256 個路由專家加 1 個共享專家,每個 token 啟用 8 個路由專家。差別在多了 1.23B 參數的視覺編碼器;注意力模組採用參考 DeepSeek 與智譜 GLM 設計的稀疏注意力,另內建 3.3B 參數的 DFly2 草稿模型做推測解碼,騰訊說可以讓長文本推論的成本維持固定。

廣告 - 內文未完請往下捲動

模型卡列出的預訓練基礎模型成績,Hy4 base 在 MMLU 得 91.6、SimpleQA 得 57.2,高於騰訊表格中 DeepSeek-V4-Pro-Base 的 91.1 與 52.1,但程式題 MBPP-plus 是 74.0,低於 DeepSeek 的 79.1。這些都是騰訊自己的評測,騰訊也在模型卡註明,基礎模型在訓練中期接觸大量合成指令資料,少樣本測試時偶爾不照格式作答,分數可能失真。

授權從 Apache 2.0 改成騰訊自訂條款

最大的差別在授權。Hy4 preview 用的是 Apache 2.0,這次 Hy4 改用以 Apache 2.0 為基礎改寫的「Tencent Hy License 1.0」,授權條款第 10 節加了商業限制:用 Hy4 提供 API 等模型即服務(MaaS)的業者,只要全球營收在連續 12 個月內超過 5,000 萬美元,或產品單月活躍用戶超過 1 億,就要另外向騰訊取得書面授權。

條款也寫明,只把模型功能限定在特定用途的終端產品,或純粹轉接第三方模型服務的,不算 MaaS;企業純內部使用、模型與輸出都不提供給第三方,也不受這項限制。騰訊 11 月 16 日推出的低價版 Hy4 flash,當時表示之後也會開放權重。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。