[レベル: 上級]
スマートフォンのスクリーンに写っているものや撮影中の映像について、リアルタイムでやり取りする Gemini Live の機能拡張を Google は発表しました。
画面を Gemini と共有する Screenshare
スマホで今見ているページ（以外でも）について、Gemini とやりとりできます。
Screenshare（スクリーンシェア）と呼ぶ機能です。
Screenshar のデモ動画です。
スクリーンに写っているジーンズのコーディネートについて、ユーザーが Gemini にアドバイスを求めている場面です。
ユーザーと Gemini が次のようにリアルタイムで会話しています。
ユーザー：このパンツに合うコーディネートのアイデアはある？
Gemini：このジーンズはカジュアルでリラックスした雰囲気です。ラフなスタイルなら、シンプルな白いTシャツや、タイトな黒のタートルネックと合わせるのがおすすめです。
ユーザー：タートルネックはいいね。でも、ジャケットは何を着ればいいかな？パンツのシルエットがすごくゆったりしてるんだよね。
Gemini：ジーンズがすでにゆったりしてるから、デニムジャケットかボンバージャケットを合わせると、カジュアルでおしゃれになりそうです！
動画を映しながら Gemini に相談する Live Video
リアルタイムで映している動画についても Gemini Live でやりとりできます。
自分で焼き上げた花瓶に合う釉薬について、動画に映しながら Gemini に相談している場面のデモ動画です。
📝すずき補足：釉薬（ゆうやく、うわぐすり）は素焼きの段階の陶磁器の表面に塗る薬品。表面に光沢を出し、液体のしみ込むのを防ぐ
ユーザーと Gemini が次のようにリアルタイムで会話しています。
ユーザー：えっと、この花瓶を焼き上げたんだけど、他にこの2つの作品があるの。ミッドセンチュリーモダンっぽい雰囲気にするには、どの釉薬が一番合うと思う？
Gemini：写真の色合いを見ると、オリーブグリーンか落ち着いたブルーのタイルがミッドセンチュリーモダンな雰囲気にいちばん合いそうです。
ユーザー：じゃあ、その 2 つのうち、すでに釉薬をかけた作品と相性がいいのはどっちかな？
Gemini：オリーブグリーンと落ち着いたブルーなら、オリーブグリーンの方がいいと思います。写真の 2 列目のいちばん左のやつです。
ユーザー：オッケー、ありがとう、Gemini！
画面共有とライブ動画は Project Astra として試験が続いていた機能です。
SF 映画に出てくるような AI アシスタントとしてスマホが機能します。
今月（3月）後半から Android デバイス向けの Google One AI Premium プランに含まれる 1 機能として、Gemini Advanced の利用者に順次提供開始される予定です（言及はないけど、おそらく英語のみのサポートになると予想）。
デモのように本当に賢く機能するのか早く試してみたいものです。