生成AIで実現する未来のアプリ開発～Google Cloudの生成AIサービスとコーディング支援機能

【15-A-5】Google Cloudで始める生成AIアプリ開発入門

　生成AIは世界に大きな変化をもたらす可能性を秘めており、多くのデベロッパーが生成AIを活用したアプリ開発に挑戦しようとしている。Developers Summit 2024にてグーグル・クラウド・ジャパンの中井悦司氏が行ったセッションでは、Google Cloudが提供する大規模言語モデルのPaLM APIや、画像から情報を抽出するVisual Captioning／Visual Q&Aなどのサービスを紹介し、これらを使って実際に動作するアプリの裏側を解説。加えて、コード生成やテスト作成を自動化するDuet AI for Developersの使い方も披露した。

Google Cloudの生成AIで「ファッションにコメントするアプリ」を作成

グーグル・クラウド・ジャパン合同会社 Solutions Architect, Google Cloud 中井悦司氏

　まず中井氏は、生成AIを含むGoogle Cloudのさまざまなサービスを利用して作ったデモアプリの動作について説明を行った。このアプリは、チャット風のインターフェイスを備え、画像をアップロードすると、その画像について生成AIが適切なコメントをテキストで返す機能を持っている。

写真アップロードすると、そのファッションを褒めるコメントを返す

　このアプリは、アップロードされた写真からファッションに関する情報を読み取り、その内容を褒めるコメントを生成する仕組みである。中井氏は自身の写真をアップロードしてアプリの動作を説明し、その際、ストライプのシャツ、時計、スウェットシャツに小さなGoogle Cloudのロゴがあることなどを認識して、それに関するポジティブなコメントが返される動作を披露した。

　GoogleはGeminiという新しい基盤モデルを発表した。Geminiは画像とテキストを同時に処理することが可能になるが、中井氏が本アプリを開発した時には、Geminiはまだ公開されていなかったため、別の方法で作っている。Google CloudにあるVertex AIのVisual CaptioningやVisual Q&Aというサービスを使って、画像内の内容に関する情報を抽出し、大規模言語モデルのPaLM APIを使って、コメントの文章を生成している。

デモアプリの構成

　中井氏は、Google Cloudのコンソール画面を開いて各サービスの動作を説明した。Visual Captioningは、画像の内容を分析して、どんな要素が含まれているかを示すもの。中井氏は、バスケットに盛られたフルーツや野菜、飲料、食材などが混在する写真をアップロードしVisual Captioningによって「a basket filled with fruits and vegetables sits on a table」などの説明文が表示される様子を見せた。

　Visual Q&Aは、画像に対して質問ができる。同じ画像に対して「names of fruit in this picture」という質問を投げかけると、「apples, grapes, lemons, oranges」との回答を得られた。フルーツの情報だけを抜き出すことができた。

Visual Q&Aでフルーツについて質問した結果

　先に中井氏が紹介した、写真に写った人のファッションを褒めるアプリの処理に置き換えると、Visual Captioningでどんな写真なのかの説明を出力し、Visual Q&Aによってその中からファッションアイテムを抜き出すこととなる。