Google 推 Genie 4 世界模型:打字即時改場景,角色會說話

Elponcrab
分享
Google 推 Genie 4 世界模型:打字即時改場景,角色會說話

Google DeepMind 美國時間 10 月 27 日發表新一代世界模型 Genie 4。根據 Google DeepMind 官方部落格,使用者可以用鍵盤在生成的環境裡移動,並隨時打字改變場景,Genie 4 也會同步生成環境音、音樂與角色對話。

世界模型是能模擬環境如何隨時間與互動變化的 AI 模型。Genie 4 目前以研究預覽形式,先開放給少數受信任的測試者。

打字就能即時改天氣與鏡頭,Gemini 在背後維持場景連貫

官方表示,使用者可以用自然語言即時修改模擬中的世界,例如改變天氣、移動鏡頭,或加入新的人物與物件,Gemini 會依周遭場景調整指令內容。在使用者兩次輸入之間,Gemini 也會持續監看並引導場景,讓世界連貫地往下發展。

廣告 - 內文未完請往下捲動

Genie 4 建立在 Gemini 系列的能力上:Gemini Omni 負責讓模擬的外觀與行為貼近真實世界,其他 Gemini 模型則提供維持連貫所需的推理。

處理較複雜的多步驟事件時,Gemini 3.8 Flash 會擔任引導代理,一邊觀察 Genie 4 即時生成的畫面,一邊把目標拆成步驟、檢查每一步是否完成;使用者中途介入時,它也會即時調整計畫。

物理方面,官方稱 Genie 4 能模擬空氣動力、碰撞等情境,最大的進步在於人物,角色動作更自然,也會對環境做出反應。

第一個原生生成聲音的即時世界模型,角色能即時對話

官方說明,Genie 4 是 Google DeepMind 第一個能原生生成聲音的即時世界模型,每個場景都帶有自己的環境音,從樹林的風聲到海浪拍岸。角色也能即時對話,回應使用者的輸入或場景中發生的事件。

Google 表示,模擬世界是邁向通用人工智慧(AGI)的關鍵一步,可以用來建立機器人與 AI 代理的訓練環境。官方展示了以 Gemini 4 Argon 搭配 Genie 4,模擬 Apptronik 的 Apollo 人形機器人下西洋跳棋,由 Argon 把任務拆成步驟,再交給 Genie 4 即時呈現。

Google DeepMind 也說明早期測試者的用法。電影工作者把它當成前期構想的草稿工具,在即時模擬中反覆調整鏡位、燈光、對白與動作;攝影記者測試把一張歷史照片轉成該地點的模擬場景;遊戲開發者則用它在寫程式之前,先做出可探索的原型。

先開放少數測試者,官方坦言長時間模擬仍會走樣

Google 表示,Genie 4 已開放給少數受信任的測試者,接下來會開放給 Project Genie 的 Google AI Ultra 訂閱者,以及 Gemini API 與 Google AI Studio 的早期合作夥伴,目前可以加入等候名單。

Genie 4 生成的所有影像與聲音都會加上 Google 的 SynthID 隱形數位浮水印,用來辨識 AI 生成內容。官方也表示,開放預覽前已做過內部安全評估。

官方坦言 Genie 4 仍是早期的實驗模型。模擬時間一長、經過多次複雜修改,或在場景中四處移動後,畫面細節與物件可能會逐漸偏移;複雜的物理互動、即時聲音的準確度、畫面中的文字,以及長時間的一致性,都還在研究中。

華頓商學院教授 Ethan Mollick 試用後在 X 上表示,Genie 4 還有些小毛病,但跟幾年前相比,已經是難以想像的進步。

風險提示

加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。