SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Developers Summit 2023 Summer セッションレポート(AD)

大規模言語モデル(LLM)をアプリケーション開発で活用するには? グーグル・クラウドが基礎から解説

【A-2】大規模言語モデル(LLM)を機械学習アプリケーションで活用するための基礎知識と現実的なアプローチ

  • X ポスト
  • このエントリーをはてなブックマークに追加

 大規模言語モデル(LLM)のAPIを駆使したアプリケーション開発への注目が高まっている。しかし、LLMのAPIだけで実用的なアプリケーションを開発するのは容易なことではない。デブサミ2023夏、グーグル・クラウド・ジャパンのセッションでは、LLMの基礎知識から始まり、「埋め込み表現」や「ベクトル検索」といった技術を組み合わせた生成AIアプリケーションのアーキテクチャがデモンストレーションとともに解説された。

  • X ポスト
  • このエントリーをはてなブックマークに追加

大規模言語モデル(LLM)とは何か? その仕組みと実用化まで

 登壇したのは、グーグル・クラウド・ジャパン合同会社 ソリューションズアーキテクトの中井悦司氏と、同社のAI/ML 事業開発部長である下田 倫大氏の2人。まず中井氏がセッションのテーマである大規模言語モデル(LLM)の基礎知識を解説した。

グーグル・クラウド・ジャパン合同会社 Solutions Architect 中井悦司氏
グーグル・クラウド・ジャパン合同会社 Solutions Architect 中井悦司氏

 ウィキペディアで「言語モデル」を調べると、「単語列に対する確率分布を表わすもの」とある。中井氏は、世の中に存在する大量の自然言語で書かれたテキスト文書に対し、その文書がどれほど「ありそう」なものなのかを確率で表現するものが言語モデルであると説明した。

 言語モデルの利用例として、文章の次に来る単語の予測が挙げられる。例えば、"This is a ……"とあると、多くの日本人は"pen"と想像することが多い。そして言語モデルなら「This is a pen」という文章が存在する確率はそれなりに高いと判断する。一方で、文法的に誤った単語「the」を続けると、「This is a the」となるが、言語モデルは、このような文が存在する確率はゼロに近いと判断する。

 大規模言語モデル(LLM)とは、その根底にあるのは基本的に「次の単語を予測する」というシンプルな言語モデルである。しかし、そのモデルを大規模にすることにより、予測精度が上昇する。中井氏は、2017年にGoogleの研究者らが中心となり、言語モデルの精度を向上させるための「Attention機構」の発明について言及した。これにより、言語モデルの精度が向上し、実用的なレベルで使用可能となった。

文章の次に来る単語を予測するAttention機構
文章の次に来る単語を高い精度で予測するAttention機構

 中井氏は、GoogleではPaLM 2と呼ばれる大規模言語モデルを開発したことを紹介し「既に実用化されていて、Google Cloudのさまざまなプロダクトのバックエンドとして使われています。皆さんもお試しいただければと思います」と呼びかけた。

次のページ
LLMの3つの課題、乗り越えるために求められる機械学習の知識

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
Developers Summit 2023 Summer セッションレポート連載記事一覧

もっと読む

この記事の著者

丸毛 透(マルモ トオル)

インタビュー(人物)、ポートレート、商品撮影、料理写真をWeb雑誌中心に活動。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

森 英信(モリ ヒデノブ)

就職情報誌やMac雑誌の編集業務、モバイルコンテンツ制作会社勤務を経て、2005年に編集プロダクション業務やWebシステム開発事業を展開する会社・アンジーを創業。編集プロダクション業務においては、IT・HR関連の事例取材に加え、英語での海外スタートアップ取材などを手がける。独自開発のAI文字起こし・...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

提供:グーグル・クラウド・ジャパン合同会社

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18138 2023/09/08 12:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング