MUMとGoogleレンズを連携した革新的な検索機能👕🌺🧦をGoogleが導入予定 #SearchOn

[レベル: 上級]

Google は、 9 月 29 日(太平洋時間)にオンラインで開催した Search On ’21 イベントで MUM を利用した新しい検索機能について発表しました。

MUM とは

まず MUM についておさらいしておきます。

MUM(マム)は “Multitask Unified Model”(マルチタスク・ユニファイド・モデル)の略です。
2021 年 5 月の Google I/O で発表された革新的な AI 技術です。
ものごとに関するあらゆる情報を結びつけて理解し、複雑な質問にも回答できます。

たとえば、ライオンに関する次のようなさまざまな形式の情報を関連付けして理解します。

  • 文字によるライオンの説明
  • ライオンの写真
  • ライオンの鳴き声(音声)
  • ライオンの動画

また MUM は言語に依存しません。
発表当初は 75 の言語において学習し、蓄積している情報は翻訳することなく別の言語に変換します。

一言では答えられない複雑な質問に答えられるのも MUM の際立った特徴です。

たとえば、「去年アダムス山に登ったことがあって、次は富士山に登るつもり。アダムス登山のときとは違う準備にはどんなのがある?」といった、入り組んでいて多様な回答が存在する質問にも回答します。

さらに、言語を理解するだけではなく言語を作り出すことも MUM はできます。

Google 検索に初めて MUM が利用されたのは、新型コロナウィルスのワクチンに関係する検索です。
極めて高い信頼性が求められる検索です。

50 の言語で 800 を超えるワクチン名のバリエーションをわずか数秒で MUM は識別しました。
以前の AI 技術では数百時間かかっただろう処理です。

この MUM を利用した今後続々と登場する新しい検索機能が Search On で紹介されました。

Google レンズと連携、花柄シャツとおそろのソックスを簡単に見つけられる

MUM を利用した新しい検索の新機能の 1 つは Google レンズとの連携です。

次の写真に写っている人が着ている花柄シャツと同じ模様のソックスが欲しいとしたら、どんなクエリで検索したらいいでしょうか?

花柄シャツ

この花柄を言葉で説明するのはほとんど無理ですよね。
これがもし実店舗にいるのならば、店員さんに写真を見せて「このシャツの模様と同じソックスは売ってますか?」と聞くだけです。

同じことが Google レンズで可能になります。

Google レンズを起動してシャツを選択し、”socks with this pattern”(この模様のソックス)と入力します。
すると、同じ模様のソックスを MUM が見つけ出してくれます。

金谷さんも大喜びの機能です🥳

ほかには、次のようなケースでも MUM が Google レンズと連携して問題解決を手助けしてくれます。

自転車のチェーンが外れてしまいました。
修理方法を検索して探そうとしますが、うまい言葉が思い浮かびません。
そんなときでも、チェーンが外れているギアを Google レンズに写して “how to fix”(直し方)と打ち込むだけです。

外れたチェーンの修理方法を説明した動画や記事を見つけ出してくれます。

カメラに写っている被写体が表す内容と、質問の意味を理解したうえで、ウェブに存在するテキスト情報・写真・動画などの情報をすべて網羅的に関連付けて蓄積している MUM だからこそなせる技です。

ここで紹介した MUM と Google レンズの連携機能は今後数か月後(来年)に導入予定です。
実用化のメドはたっていますが、厳格なテストを経て確実な状態にしてからとのことです。

サポートする言語については言及がありませんでした。
いつものように英語からとも思うのですが、MUM 自体は言語に依存しません。
なので、ともすれば日本語でもすぐに利用できるかもしれません。
正式導入を楽しみに待ちましょう。