3行でわかるこの記事
- 何が起きた？ Googleが9月版のAndroid Dropで、Gemini Liveに「Guided Vision」を加えました。
- 重要なポイント カメラの映像を見せると目の前にあるものを声で説明し、写し方がずれていれば直し方まで教えてくれます。
- なぜ注目？ 目の不自由な方やロービジョンの方に向けて設計された機能で、うまく写せない人でも答えにたどり着ける作りだからです。
はじめに
薄暗い店で渡されたメニューの字が小さい。スマホのライトを当てて目を細めても読み切れず、写真に撮って指で広げても、まだ足りない。注文する前に少し疲れます。
こういうとき困るのは、見えにくさだけではありません。カメラを向けて調べようとしても、近すぎたり傾いていたりで、うまく写せているかどうかが自分では分からない。返ってきた答えがずれていても、悪いのが自分の構え方なのかどうか、確かめようがありません。
Googleが9月1日に発表した9月版のAndroid Dropで、Gemini Liveに「Guided Vision」という機能が加わりました。Android Dropは、Androidのスマートフォンに新しい機能をまとめて届ける発表で、今回は5つが入っています。カメラを向けると何が返ってくるのか、そして自分のスマホでも使えるのか。順に見ていきます。
ひとことで言うと
カメラの映像を見せて聞けば、目の前にあるものをGeminiが声で説明してくれます。しかも写し方がずれていたら、そこも声で直してくれます。
カメラを向けると、何が返ってくるの？
Gemini Liveは、GoogleのAIであるGeminiと声でやり取りできるモードです。文字を打つ代わりに話しかけると、Geminiも声で返してきます。そのやり取りの最中に、スマホのカメラの映像を見せられます。ビデオ通話で「これ見て」とカメラを向けるのと同じ感覚です。
Guided Visionは、そこで見せた映像について、目の前にあるものの説明を話し言葉で返してくれる機能です。画面に文字が出るのを待つのではなく、耳で聞いて分かる形で答えが届きます。
設計されたのは、目の不自由な方やロービジョンの方のコミュニティに向けてです。ロービジョンは、眼鏡やコンタクトを使っても見えにくさが残る状態を指します。つまり、カメラを構えた本人に画面が見えていなくても成り立つように作られている、ということです。
「もう少し引いて」。カメラの構え方まで声で直してくれる
面白いのはここです。カメラの向きが合っていないとき、Guided Visionは的外れな答えを返す代わりに、声で直し方を教えてきます。もう少し引いて。スマホをゆっくり動かして周りを写して。その物を画面の真ん中に寄せて。返ってくるのはこの3つの指示です。
写真に撮って調べるとき、近すぎてラベルが切れていれば、返ってくる答えもそのぶんずれます。それでも画面が見えていなければ、どこが足りなかったのかは分かりません。Guided Visionは、その分からない部分を先に埋めてきます。うまく写せる自信がなくても、言われたとおりに手を動かせば答えにたどり着ける。カメラの使い方を先に覚えなくていい作りです。
ただしGoogleは、この機能を医療機器や移動補助の道具、安全に移動するための手引きの代わりにはしないでほしい、と明記しています。目の前のものを教えてくれる相棒であって、道を渡る判断まで預ける相手ではない、という線引きです。
どんなときに助かるの？
Googleが挙げている使い道は3つです。食品ラベルの細かい字を読むとき、薄暗いレストランでメニューから注文するとき、そして家の中で物を見つけるときです。
3つとも、視力の話というより、明るさと文字の大きさの話です。原材料やアレルギーの表示は、パッケージの裏でいちばん字が小さいところに並びます。飲食店の照明は料理をおいしく見せる明るさで、文字を読ませる明るさではありません。
家の中の物さがしの例に挙がっているのは、スパイスです。同じ形の瓶が棚に並んでいて、ラベルの向きも揃っていない。あの中から目当ての1本を選ぶのは、声で聞けたほうが早そうです。
自分のスマホでは、いつ使えるの？
対応はAndroid 9以降のスマートフォンで、Geminiが使える国に近日提供されます。Androidのバージョンは数字が大きいほど新しく、9はかなり以前の番号です。最新の1台だけが対象、という条件ではありません。対象は「Geminiが使える国」とだけ示されていて、国名までは出ていません。届く時期も、対応する端末と国と言語しだいで順に広がります。
呼び出し方は2つあります。ひとつはユーザー補助のショートカットで、Androidの設定にある、よく使う機能を素早く開くための入り口です。そこにGuided Visionを登録しておけます。もうひとつは、画面の内容を読み上げてくれるTalkBackのメニューで、こちらからは直接起動できます。新しいアプリを探して入れる手間はありません。
同じ日に届く残りの4つも生活寄りでした。Find Hubは物の置き場所を覚えてくれます。パスポートを寝室の引き出しに入れた、と話しかけて記憶させておく使い方で、対応はAndroid 16以降、日本を含むGeminiとFind Hubの両方が使える国が対象です。発表の時点ではまだ届いていませんでした。乗り物酔いをやわらげるモーションアシストはAndroid 17向けで、車やバス、電車の動きを検知して自動で入り、画面に出る丸い印の形や色、透け具合まで変えられます。GoogleメッセージからメモアプリのKeepに送れる連携と、チャット画面の見た目を変えるテーマは、発表と同じ日から配られ始めました。
同じ役目のアプリは、2019年からありました
目の前のものをスマホが声で教えてくれる、という話は今回が最初ではありません。Googleは周りの状況を伝えるAndroidアプリのLookoutを、2019年3月14日に米国で公開しています。届け先は今回と同じで、目の不自由な方やロービジョンの方でした。当初はPixel向けの英語版だけです。
そこから7年で、Lookoutは対応を広げました。今はAndroid 6.0以降で動き、英語ひとつだった対応言語は日本語を含む39言語以上になっています。中身も7つのモードに分かれました。テキスト、探索（ベータ版）、食品ラベル、ドキュメント、通貨、画像、検索です。探索モードは周りにあるものを声で教えてくれますし、画像モードは撮っても、アップロードしても、共有しても説明が返ってきます。
正直に言うと、行き届いていない部分もあります。紙幣を見分ける通貨モードが読めるのは米ドルとユーロとインドルピーの3つで、日本円は入っていません。日本で暮らす人には、使いたい場面のひとつが空いたままです。
そこへ来たGuided Visionは、Gemini Liveの中にあります。専用のアプリを探して入れて開く手順を踏まなくても、呼び出し口を一度登録しておけば、いつも話しかけている相手にカメラを見せるだけで済みます。しかも構え方はGeminiが直してくれます。手元のスマホがAndroid 9以降なら、棚に並んだ瓶が何か分からない日に声をかけてみる先が、もうすぐ1つ増えます。
用語ミニ解説
- Gemini Live: GoogleのAI「Gemini」と声でやり取りできるモード。カメラの映像を見せながら話せます。
- Guided Vision: 今回Gemini Liveに加わった機能の名前。ユーザー補助のショートカットなどから呼び出します。
- TalkBack: Androidに入っている読み上げ機能。画面の内容を声で伝えます。
Me-Moon編集後記 🌙
AIに写真を見せて答えをもらう機能はもう珍しくありませんが、写し方のほうを直してくれるのは面白いです。うまく使えない側に理由を教えてくれるのは、機能が増えることより嬉しい進み方だと思います。
暗い店でメニューを前に固まる時間が、少し短くなりそうですね🌙
Me-Moonコミュニティのご案内
Me-Moon Mediaは、テクノロジーをやさしく楽しむコミュニティ「Me-Moon」が運営しています。 記事の感想や気になるニュースの話は、LINEオープンチャットでお待ちしています。
あわせて読みたい
Androidのアップデートで、手元のスマホに新しい機能が増えていく流れを追った記事です。
カメラを向けて話しかけると答えが返ってくる体験を、メガネの側から見た話です。
参考リンク
- September Android Drop: Remember where you put things, ease motion sickness, and more — Google公式ブログ, 2026-09-01
- Google's Guided Vision turns Gemini Live into a visual guide — Android Authority, 2026-09-01
- Sept. 2026 Android Drop: Find Hub Remembered, Motion Assist, Google Messages — 9to5Google, 2026-09-01
- Google、視覚障害者向けAI採用アプリ「Lookout」公開 — ITmedia NEWS, 2019-03-14
