Perplexity執行長：企業傾向開源模型產生Token價值、中國問題讓黃仁勳回答

2 小時前

Perplexity 執行長 Aravind Srinivas 接受 CNBC 專訪，介紹全新模型編排器之餘，更透露其基於中國開源 AI 進行開發的策略考量。他表示「每瓦 Token 價值」將是決定下一輪 AI 賽道勝負的指標，反映出 AI 的競爭核心已由「參數規模」轉向「效率、成本與部署」。專家分析，在封閉式與開源模型差距抹平的趨勢下，企業正加速擁抱模型編排器與本地運算。未來市場的商業化關鍵，就在於如何用最低的功耗，壓榨出最高的運算效益。

Table of Contents

模型編排器重塑市場成本架構

企業對於人工智慧的應用模式正經歷顯著轉變，不再單一依賴少數前沿實驗室的閉源模型。Perplexity 執行長 Aravind Srinivas 與 Benchmark 合夥人 Peter Fenton 指出，市場正廣泛採用「模型路由器」或「編排器」架構，此架構利用規模較小的開放權重模型處理日常任務，僅在遭遇極度複雜的運算需求時，才調用成本較高的前沿模型。

這項轉變背後伴隨着顯著的經濟壓力。根據專家觀測，目前採用領先模型產生 Token 的成本，是開源權重模型的 3 到 5 倍。以 Perplexity 的實務經驗為例，透過後訓練（Post-Training）中國的 GLM 模型，能以 Opus 模型三分之一的成本達到同等表現，專家預測在未來 18 到 24 個月內，超過 90 % 的 Token 將由開源模型產生，顯示開源生態在成本節約與性能調整上已具備實質替代能力。

廣告 - 內文未完請往下捲動

低延遲需求驅動企業自主化部署

除了預算考量，基於保護數據主權與內部智慧財產，是 Fortune 500 等大型企業轉向開源模型的另一大主因。Ollama 執行長 Jeff Morgan 強調，企業傾向將高價值的內部工作流程與數據保留在自身的基礎設施或本地環境中，避免將敏感資料回傳至閉源實驗室。這種在地運行的模式，確保了資料不會離開企業的控制範圍。

在效能表現方面，開放權重模型提供了更高的自由度。企業能夠針對特定業務場景進行精調（Fine-Tuning），使中小型模型在特定領域的表現超越通用型大模型。此外，針對特定任務優化的模型在運算時能大幅縮短延遲，達到幾個數量級的效率提升，更能滿足像是 DoorDash 代碼審查系統等商業應用對即時反應的要求。

中國開源權重模型在混合運算架構中的作用

在 AI 開源的發展過程中，源自中國的 GLM、DeepSeek 等高效開源權重模型正扮演重要角色。儘管市場上存在關於安全與合規性的討論，但專家在訪談中表示，美國企業目前的技術策略重點，在於如何確保這些模型能夠在自身的安全基礎設施與防火牆內穩定運行，藉此汲取開放原始碼帶來的技術紅利。

技術進步使得開源模型與像是 GPT- 4 這類封閉模型的代差縮小至 3 到 6 個月，這讓技術應用的門檻顯著降低。當開源模型的表現已達到「夠用就好」的商業標準，大宗的推理業務自然會朝向開源生態轉移，這種趨勢推動了混合運算（Hybrid Compute）的興起，讓人工智慧的價值能夠更廣泛地擴散至中小型企業，打破過去由大型科技公司壟斷算力資源的局面。

當 CNBC 主持人問到使用中國 AI 可能會產生的資安疑慮時，Srinivas 表示這個問題可以讓輝達執行長黃仁勳解決，黃仁勳曾在過去接受專訪時表示過度限制晶片出口到中國，只會讓中國更加速開發本地晶片，似乎已經看到了未來中國有可能迎頭趕上 AI 賽道。

(Perplexity 用中國 GLM：對標 Opus 4.8、成本 1/3)

什麼是「每瓦 Token 價值」，為什麼它對企業很重要？

每瓦 Token 價值是一個衡量 AI 運算效率的關鍵指標，指的是在 AI 推理過程中，每一瓦電力消耗所能產生的投資報酬率（ROI）或產出價值。

隨著 AI 進入 Post-Frontier Era「後前沿時代」，這項指標對企業至關重要，原因如下：

克服電力供應瓶頸：目前 AI 發展面臨的最大限制是電力短缺。數據中心的擴建受到電力供應的嚴重制約，因此企業必須在有限的電力預算內，極大化其 Token 的產出與價值。
優化投資報酬率（ROI）：企業關注如何以最低的功耗完成最高價值的任務。專家指出，未來能在市場勝出的企業，將是那些能為用戶實現最大化「每瓦 Token 價值」的公司。
推動本地與混合運算：為了提升電力效率，企業開始轉向本地運算（Local Compute）。相較於數據中心，具備統一記憶體架構的本地設備，可以避免數據在 CPU 與 GPU 之間移動時產生的電力浪費，使運算更加省電。
實現 AI 價值的廣泛擴散：若 AI 價值僅鎖定在昂貴的領先實驗室，小企業將難以負擔。提高每瓦 Token 價值能讓 AI 變得更實惠，使小企業和個人能在自己的設備上高效運行模型，確保數據主權並降低長期成本。
簡言之，當電力成為稀缺資源時，「每瓦 Token 價值」決定了企業 AI 應用的經濟可行性與競爭力。

每瓦 Token 價值決定競爭力

隨着人工智慧推理需求暴增，數據中心的擴建正面臨嚴峻的電力供應限制。這促使業界提出每瓦 Token 價值的新型評估指標，用以衡量每瓦電力消耗所能產生的投資報酬率與產出價值，未來的競爭關鍵在如何在有限的電力預算內進行運算極大化。

為了克服電力瓶頸、提升「每瓦智慧」，企業正加速導入本地運算解決方案。例如採用具備統一記憶體架構（Unified Memory）的硬體設備像是輝達的 DGX Spark，在設備本地端直接運行模型。這種做法能有效避免數據在 CPU）與 GPU 之間頻繁移動造成電力浪費，在確保數據隱私的同時，也優化了長期營運的能源經濟效益。