Google DeepMind、会話や環境音も生成する世界モデル「Genie 4」を一部のテスターに研究プレビューで提供

Google DeepMindは10月27日、世界モデル「Genie 4」を発表した。音楽や環境音、登場人物の会話の音声も、映像の世界と同時に生成できるようにした。まず研究プレビューとして一部のテスターへの順次提供を始めた。
利用者はキーボードで移動や視点を操り、文章の指示で場面の流れを変える。天気の変更やカメラの移動、新しい人や物の追加をその場で指示でき、Geminiが指示を周囲の場面に合わせる。同社によると、Genie 4は同社のリアルタイムの世界モデルとして初めて音声を直接生成し、風や波など場面に合った音を付ける。人物は利用者の操作や世界の出来事に合わせ、その場で話したり反応したりする。
Genie 4は、Geminiのモデル群の能力を取り込んだ。「Gemini Omni」が映像を現実の見た目や動きに近づけ、ほかのGeminiのモデルが場面の一貫性を保つ助けになる推論を受け持つ。何段階もの出来事を模擬するときは、「Gemini 3.8 Flash」が案内役のエージェントとして場面を見続け、目標を手順に分けて、手順ごとに成否を確かめる。
同社はクリエイティブ産業や報道などのテスターと試している。同社が挙げた例では、映画の製作者が構想段階の下書きとして場面を生成し、カメラの角度や照明、せりふなどを変えながら撮り直しを繰り返す。
一方で同社は、Genie 4はまだ初期の実験段階のモデルだとしている。短い時間なら一貫した環境を保てるが、時間がたつと見た目の細部や物の存在が変わったりずれたりすることがあり、とくに長く動かしたときや複雑な指示の変更を重ねたとき、場面の中を動き回るときに起きやすい。同社は、リアルタイムの音声の正確さなどを研究中の課題に挙げた。
Genie 4が作る映像と音声のすべてに、人が気づかない電子透かしの技術「SynthID」を入れる。
近く、Google AI Ultraの加入者にはProject Genieで、早期アクセスの提携先にはGemini APIとGoogle AI Studioで提供する予定だ。Genie 4の順番待ちは、Project Genieで登録できる。Googleは5月19日の発表で、Project GenieをGoogle Labsの実験的な研究用の試作品と説明していた。
【関連サイト】Google DeepMind「Genie 4: A new generation of world simulation」
【関連サイト】Google「Simulate real-world places with Project Genie and Street View」









