📺 Building real-time vision & edge navigation with Gemini Live
本体が自力で光を求めてオフィス内を移動し、水分が必要になると音声で合図する植物ロボット「Sprout」の製作プロセスを紹介します。本体は実際に生きたモンステラを乗せたTurtleBot 4ベースで、開発期間は約2週間。Geminiを中核に視覚認識・セグメンテーション・音声対話などを組み合わせる構成と、実装の進め方を解説します。
■ ハードウェア構成
- TurtleBot 4をベースにした移動ロボットの仕組み(カメラ・LiDARによる地図作成と障害物回避)
- 顔と目を表現するPixel 11の役割と、植木鉢に組み込んだ水分センサー
■ AIとソフトウェア
- Geminiを用いた開発環境と、約2週間で構築できた開発スピード
- Gemini Flashによる視覚認識、ER 2.0によるセグメンテーション、Gemini Liveによる音声対話の使い分け
- Geminiの画像生成機能を用いた外装シェルのデザイン
■ 動作デモ
- オフィス内で他の植物を認識して移動する様子
- 光を自力で見つける行動や、必要時に音声で要求を伝える挙動
- 音声アシスタントとしての対話・ダンスなどの応答
ロボット製作や生成AIとのハードウェア統合に関心があるエンジニア・メイカーに向けた内容です。実機を使った開発ワークフローと、短期間で組み上げられるシステムの全体像が確認できます。まずは本体の構成要素とGeminiの使い分けから押さえてみてください。
この動画を紹介した Google for Developers の最新動画も、紹介付きで読めます。
いつも見ているチャンネルも、同じように紹介できます。
いつも見ているチャンネルを追加する📄 このページの紹介文は AI が独自に生成したものであり、著作権をはじめとする他者の権利(商標権・名誉権・プライバシー等)を侵害しないよう配慮しています。動画の著作権は各作成者に帰属します。