DeepSeek 公開代理訓練沙盒 DSec 論文,梁文鋒列名作者

Elponcrab
分享
DeepSeek 公開代理訓練沙盒 DSec 論文,梁文鋒列名作者

DeepSeek 發表新論文,公開自家用來訓練 AI 代理的沙盒基礎設施。根據 arXiv 上的論文《DeepSeek Elastic Compute (DSec)》,這套系統用來支撐大規模的代理訓練與評估,創辦人梁文鋒也列名作者。

一套 SDK 管四種沙盒

論文指出,用大型語言模型做大規模代理訓練與評估時,模型需要在隔離且保有狀態的執行環境裡檢視程式庫、呼叫工具、執行指令並與任務相關的服務互動。這類工作負載會在短時間內大量建立沙盒,功能與隔離需求各不相同,還要在長時間互動中保留狀態,並從龐大的映像檔庫取用,重複使用率卻不高。因此論文認為,支撐這些工作需要的是有彈性的執行平台,而不是單一種沙盒執行環境。

DSec 的做法是用統一的 SDK 提供四種後端:函式呼叫、容器、微型虛擬機與完整虛擬機。系統負責在叢集中安排放置與生命週期管理,把環境由各自獨立版本控管的層組合起來,並結合記憶體共享、回收與 CPU 排程來提高執行密度,映像檔資料則按需從叢集級分散式檔案系統 3FS 載入。

廣告 - 內文未完請往下捲動

與強化學習框架共同設計,把有狀態的推演和可被搶占的訓練分開

論文說明,DSec 與強化學習(RL)框架是共同設計的:把有狀態的推演執行,與可被搶占的 GPU 訓練解耦,並讓沙盒的生命週期與訓練協同,在回收閒置資源的同時保留推演狀態,也處理代理行為失當的問題。

根據 TechNode 報導,一個生產規模的單位約由 160 個節點組成,每天可支撐約 300 萬個沙盒,同時執行超過 38 萬個沙盒,每秒能建立超過 5,000 個沙盒。這篇論文的作者超過 130 人。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。