[レベル: 上級]
Google レンズからの検索で AI Mode が機能するようになります。
Gemini のマルチモーダル機能により画像を理解
テキストに加えて画像や動画など複数のフォーマットの情報を理解するマルチモーダル (multimodal) という機能が Gemini には備わっています。
このマルチモーダル機能を採用して、その場で映している被写体やデバイスからアップロードした写真について Google レンズを通して AI Mode に検索させることができます。
こちらは、Google レンズから AI Mode を呼び出しているデモです。
本棚の本を Google レンズで映し、同じようなジャンルの本を探すように指示しています。
そして AI Mode が、映っている本を分析し、同系統の本をウェブから見つけ出します。
Google によれば、独自のクエリ ファンアウト (query fan-out) 技術を用いることで、画像全体およびその中の物体に関する複数のクエリを AI Mode が発行します。
この処理により、従来の Google 検索よりも広範かつ深い情報へのアクセスが可能になるとのことです。
Google レンズからも AI Mode で検索できるのは面白い機能です。
実際に試してみたのですが、AI Mode は起動しませんでした（AI Overview は出てきたけれど）。
環境が合致していないためなのかロールアウト中のためなのか、あるいは他に原因があるのかはわかりません。
なお、AI Mode の利用には当初は、Google One AI プレミアムユーザーという条件がありましたが、現在はこの条件は撤廃されています。
ただし、米国の英語ユーザーで、Search Labs からオプトインするという条件はそのままです。
AI Mode に対するユーザーの反応
AI Mode のマルチモーダル対応をアナウンスした記事の冒頭で Google は AI Mode に対するユーザーの反応を次のように紹介しています。
Since launching AI Mode to Google One AI Premium subscribers, we’ve heard incredibly positive feedback from early users about its clean design, fast response time and ability to understand complex and nuanced questions. On average, AI Mode queries are twice as long as traditional Search queries on Google. People are using AI Mode for help with exploratory and open-ended questions, along with more complicated tasks — like comparing two products, exploring how-tos and planning a trip.
Google One AI プレミアム登録者向けに AI モードの提供を開始して以来、そのすっきりとしたデザインと高速な応答時間、そして複雑でニュアンスのある質問を理解する能力について、非常に肯定的なフィードバックが初期ユーザーから寄せられています。AI モードでのクエリは、Google の従来の検索クエリと比較して平均して、2 倍の長さになっています。2 つの製品の比較やハウツー（手順や方法）の調査、旅行の計画といったより複雑なタスクを含む探索的で自由回答形式の質問に AI モードをユーザーは活用しています。
ユーザーの反応は上々のようです。
ただし、AI Overview の評価と同じように、具体的な数字を出さない単なる自画自賛かもしれませんが。
クエリが長くなるという状況には納得がいきます。
チャット形式のプロダクトなので、会話形式の自然言語での質問が一般的に用いられるからでしょう。
AI Mode はまだ試験が始まったばかりです。
今後も多くの改良が加えられていくことは間違いありません。
注目に値する新しい情報が入ったら、ブログで共有します。
多くのデモを交えながら AI Mode を解説する動画をアップロードしています。
AI Mode の理解を深めたいという方は参考にしてください。