Google Now on TapがOCRをサポート、写真内の文字で関連カードを表示

[レベル: 上級]

Now on TapがOCRに対応しました。
画像に写っている文字を認識して関連するカードを表示します。

Now on Tapは、Android 6.0 Marshmallowから利用できる新機能です。
スマートフォンのスクリーンにそのとき表示されているコンテンツに関連した情報をカードとして提供します。
これまではテキストとして存在する文字コンテンツが対象でした。

画像内の文字を認識するNow on Tap

写真のなかの文字を認識してカードを表示するNow on Tapの例を3枚見せます。

1枚目は、Google for Mobile 2015のセッションで撮影した写真で起動したNow on Tapです。

OCRのNow on Tap

スピーカーがApp Indexingの成功事例を紹介しています。
この写真でNow on Tapを起動すると、写真のなかのスライドに書かれている「Ameba」を認識してカードとして表示しました。

2枚目は、SMX Milan 2015のパンフレットとネームバッジを撮った写真で起動したNow on Tapです。

OCRのNow on Tap

ネームバッジに書かれている僕の姓の「Suzuki」を認識して、自動車メーカーのスズキのカードを表示しました(おいおい)。
会社名の「FABER COMPANY」も認識して、こちらは正しく株式会社Faber Companyのカードを表示しています(大手企業でもないのに、自分の会社がきちんと出てくるのは嬉しいものですね)。

3枚目は、給湯器の配管カバーの写真で起動したNow on Tapです(給湯器を交換しようかと思っていて、今使っている製品の写真を送るように業者に指示されたw)。

OCRのNow on Tap

給湯器メーカーのリンナイを認識してカードとして表示しました。
さらにフリーダイヤルの番号も認識してカードとして表示しています。
タップすればそのまま電話をかけられます。

OCR自体は最新の技術でも何でもなく、昔からあり今では認識力も向上しています。
Now on TapがOCRの技術を取り入れても不思議なことではありません。
装飾された文字や写りが悪いと正しく認識されませんが、それでも写真に写った文字でNow on Tapが機能するというのは1つの進化ですね。

今は文字だけですが、いずれは画像そのものを認識するNow on Tapも実現するのではないでしょうか。
富士山の写真でNow on Tapを起動させたら、富士山に関するカードが出てくるでしょう。

Android 6 Marshmallow にアップデートできる端末も徐々に増えてきました。
あなたがNow on Tapを使える環境にあるなら、まずOCRのNow on Tapを体験してみてください。

P.S.
例では、自動車メーカーのスズキとして僕を認識してしまっていましたが、「Kenichi」を正しく文字認識できなかったからと思われます(姓と名で改行しているせい? 写りの角度のせい?)。
鮮明に写っている写真でNow on Tapを起動させると、僕のカードがきちんと出てきました(文字はテキストではなく画像の一部です)。

写真のKenichi Suzukiを認識したNow on Tap

TwitterGoogle+は僕のそれぞれのアカウントにつながっています。
サイトは僕のホームページにリンクしています。

[H/T] Android Police