現状のLLMの課題と今後の可能性
セッションの最後、トピックは現状のLLMの課題へと移った。
大嶋氏は、「メモリというか記憶の部分では、まだ試行錯誤段階」と答える。たとえば会話履歴をもとに「関連する内容を答えてほしい」と尋ねるケースなどでは、どうしても人間のようにすんなりとはいかない苦しさを感じるという。
これに賛同し、「RAGで都度データを取り出す部分と、会話の履歴を混ぜると、かなり性能が悪くなる」と話すのは吉田氏。続けて三宅氏は「履歴そのままだとノイズが多いし、トークンも多くなってしまいます。履歴から分かったことを一度GPTに投げ、インサイトとして取り出し、それをRAGのインプットとして渡すほうが効果的ですし、データ量も低く保てます」と具体案を提示した。
波々伯部氏は自身の観点から、汎用型のAIと特化型AIの連携が重要であると話す。「ChatGPTは汎用型なので、たとえば法律の細かい内容までは分かりません。ディティールを知りたければ、特化型AIに頼る必要があります。汎用型AIから特化型AIへ指示を出し、返ってきた答えをもう一度汎用型AIが取りまとめると効率的です」。
「まさにそのような考え方をするのが、AIエージェント」と賛同するのは大嶋氏だ。「取りまとめ役としてスーパーバイザーを置き、いろいろな子どもエージェントに仕事を回させるのがAIエージェントのオペレーションです。最近では、ChatGPTからGPTにメンションできるようになりましたし、ChatGPTの設定によっては、会話に割り込む形で話しかけられます。AI同士のインタラクションはまさに発展途上です」。
これに対し、「『足りていない部分』は意外と少ないんじゃないか」と楽観的な見方を語るのはサルドラ氏だ。「人が足りない、あるいはアプリケーションレイヤーの実装に携わる人が絶対的に少ないためにノウハウが共有されず、『機能が足りない』ように見えている、というのが真実ではないでしょうか。だとすれば、参入人口を増やすことでこのあたりの課題は解決できます。ここに集った皆さんも、ぜひアプリケーションを作ってみて欲しいです」。
ChatGPTやLLMを適切な場面で活用し、RAGなどを効果的に取り入れることで、業務を効率化できる部分はかなり多いはずだ。LLMを使ったアプリケーション開発や業務効率化にチャレンジする人が増えれば、ビジネスを次のレベルへと引き上げる大きなきっかけになるだろう。各人の知見は、オーディエンスをAI活用の実践へと向かわせる刺激的なものであった。
