Gemini DeepMindがGenie 4の新機能とデモを初公開、リアルタイム・オーディオ・対話対応のワールドモデルを解説

Release Notesの新エピソードで、Google DeepMindのGenie 4がプロジェクトとAPIを通じて初めて公開されます。開発者4人が、Genie 1からGenie 4までの開発経緯を振り返りながら、オーディオ生成、Geminiのインループ制御、フォトリアリズムなど、このワールドモデルの新機能をライブデモ付きで解説します。

■ ワールドモデルの基礎と開発の歩み
- ワールドモデルの定義と、言語モデルとの違い
- Genie 1（2D環境生成）からGenie 4に至る各世代の特徴と進化

■ Genie 4の主な新機能
- 映像と音声を同時に予測するオーディオモダリティの追加
- 音楽・環境音・キャラクターとの対話音声の実演
- フォトリアリズムの向上と、第一人称視点・カメラ操作による操作性の拡張
- 文字プロンプトによるリアルタイムのシナリオ誘導（一時停止・再開を含む）

■ Geminiとの統合と応用分野
- Geminiがシーンの文脈を読み、登場人物の反応や指示を生成する仕組み
- ロボティクス向けの訓練データ生成と、教育・映像制作（プリビズ・絵コンテ）での活用

■ 実装・運用に関する論点
- フレームレートとレイテンシのトレードオフ、評価手法の課題
- SynthID透かしと、リアルタイム環境における安全性ガードレールの設計
- Project GenieおよびAPIでの提供開始と、今後の展開

ワールドモデルや生成AI、特にリアルタイム・インタラクティブなシミュレーションに関心がある方、開発者向けにAPIで何を構築できるか知りたい方に向いています。ライブデモを通じて、Genie 4がどの場面で、どのように動作するのかを具体的に確認できます。まずはお試し利用を検討し、APIで試せるユースケースを考えてみるのがおすすめです。