またまたGoogle I/O 2024に合わせた情報です。Googleフォトの中から情報を検索する新しい機能「Ask Photos」が登場しました。Ask Photosとは、Googleフォト内に格納した写真をGeminiが読み取り、その中から利用者のパーソナルな質問に対して回答してくれる機能です。要は写真読解による学習機能ですね。これはまず米国でリリースされ、その後各国にリリース予定、という状況です。
というわけで、The Keywordにあがっている英文の内容を和訳してご紹介します。
Googleからの発表内容
Geminiの精度がどんどん向上しているという情報をGoogleは発信(難しい内容ですのでこの記事内容は本ブログでは紹介しません)していますが、ついにそのGeminiを使ってGoogleフォトの情報も最適化しようとする内容です。Googleフォトに写真を上げているものの、ついついどんな写真を上げたか忘れがちですよね。私は、情報をいつでも引き出せるように、車検証や明細、ショッピングモールの駐車場で自分の車を停めた位置さえも写真に撮ったりしますが、あくまでも端末に保存するだけです。とはいえ、そういう情報記録を目的に写真を格納する人も少なくないかもしれません。今回のAsk Photosは、そんな情報を写真から引き出す際に便利な機能です。まずは、The Keywordを和訳します。
Ask Photos：Geminiで写真を検索する新しい方法
Geminiモデルの助けを借りて、Googleフォトを次のレベルに引き上げよう
Googleフォトは、AIを中心に構築された最初の製品のひとつで、写真や動画から人物、ペット、場所などを検索することができます。そして今、私たちはGoogleフォトを、最も高性能なAIモデルであるGeminiによって大幅にアップグレードします。今後数ヶ月にわたって展開される最新の実験的機能Ask Photosを使えば、特定の思い出を探したり、写真ギャラリーに含まれる情報を思い出したりするのがさらに簡単になります。
より直感的に、適切なコンテンツを見つける
Googleフォトには毎日60億枚以上の写真がアップロードされています。人々の写真ギャラリーが増えるにつれ、必要なものを見つけるには写真や動画のページをスクロールする必要があります。Ask Photosを使えば、探しているものを自然な形で求めることができ、例えば“これまで訪れた国立公園で一番よかった写真を見せて”といった質問にも対応してくれます。Googleフォトが必要なものを表示してくれるので、スクロールの手間が省けます。
質問して、役立つ回答を得る
思い出を写真に収めたり、重要な情報を保存するために写真を撮ることはよくありますが、その写真の中にある情報は数多くの写真に紛れ込んでしまうことがあります。
Ask Photosは、昨年キャンプをした場所や、クーポン券の有効期限など、あなたの生活に関する質問をすると、その情報を探し出してくれます。Geminiのマルチモーダル機能は、写真の文脈や被写体を理解し、詳細を引き出します。例えば“Lenaの誕生日パーティーのテーマは過去どんなものだった？”という質問をするとAsk Photosは、パーティーで使ったデコレーションや誕生日ケーキの飾り付けなど、詳細を理解して答えを教えてくれます。
検索以外のタスクもサポート
Googleフォトでは、Geminiモデルの助けを借りて、タスクをこなすのも簡単です。例えば、長旅の終わりに、友人や家族と共有するために撮った最高のスナップを精査して集めるのは大変なことです。Ask Photosを使えば、旅のハイライトをもっと簡単に作ることができます。あなたが尋ねるだけでAsk Photosはベスト写真を提案し、さらにソーシャルメディアで共有するためにパーソナライズされたキャプションを書いてくれるでしょう。
Ask Photosの仕組み
- あなたの質問を理解する：Ask Photosはあなたの質問を理解し、答えを見つけるための計画を立てます。場所、人物、日付などの関連キーワードだけでなく、“テーマ別の誕生日パーティー”のような自然言語の概念も特定します。
- 回答の生成：次のステップとして重要なのは、検索結果を調査することで、最も関連性が高く、ユーザーが探している最適解が何かを見極めることです。Geminiのマルチモーダル機能は、それぞれの写真で何が起こっているかを正確に理解するのに役立ち、必要に応じて画像内のテキストを読み取ることもできます。それらを活用したAsk Photosなら、役立つ回答を生成し、どの写真やビデオを返すかを選択してくれます。
- 安全性の確保と修正の記憶：Ask Photosはまだ実験的なサービスであり、すべてを正しく理解することはできませんが、安全で適切な回答を保証するために何重ものセーフガードとAIモデルを採用しています。また、あなたが回答を訂正したり、追加情報を提供した場合、Ask Photosは今後のために詳細を記憶することができます。
プライバシー保護について
Googleでは、お客様の写真に含まれる情報は非常に個人的なものである可能性があるため、その保護に細心の注意を払っています。Googleフォトの個人情報が広告に使用されることはありません。また、悪用や危害に対処するための稀なケースを除き、Ask Photos内の会話や個人データを閲覧されることはありません。また、他のGeminiモデルや製品を含め、Googleフォト以外のジェネレーティブAI製品をこの個人データでトレーニングすることもありません。これまでと同様に、Googleフォト内のすべてのデータは、業界をリードするセキュリティ対策により保護されています。
数ヶ月以内にAsk Photosをお試しください
Ask Photosは実験的な機能であり、今後さらに多くの機能が追加される予定です。Googleフォトの次の章を一緒に作り上げていく中で、より便利な機能にしていきますので、ぜひお試しいただき、フィードバックをお寄せください。
引用）The Keywordより和訳
個人情報の取り扱い注意点
今回の発表内容からも分かる通り、Ask PhotoによるGemini機能は「Googleは個人情報を閲覧できません」という機能ではなく「Googleは個人情報を閲覧するようにはしません」という内容の機能です。つまり、Googleフォト内のGemini機能によって、見ようと思えばGoogleは見えるというわけです(「悪用や危害に対処するための稀なケースを除き、Ask Photos内の会話や個人データを閲覧されることはありません」という文章がそれを裏付けていますよね)。とはいえ、Googleに限らず「どうしてもパーソナルな写真を誰かに見られるような状況下に置きたくない」人は、ローカル(スマホ端末)に保存するか、USB等の外部機器に保存するしかないでしょう。
そう考えると、Ask Photosはコンサバティブな人向けの機能ではないかもしれませんね。少なくともマイナンバーカードやクレジットカード等、センシティブな情報を持つ写真でAsk Photos機能を使うよりも、思い出やレクリエーション感覚で使う程度が良いかもしません。
