LLMの3つの課題、乗り越えるために求められる機械学習の知識
次に中井氏は、現状のLLMの課題を挙げた。1つ目が、入力トークン数の上限で、いわゆるプロンプトに入力できる文章の長さに制限があることだ。例えば、ある巨大な製品カタログを全て入力し、要約を行う、あるいは製品カタログの情報を全てプロンプトに入力し、カタログから必要な情報を検索するといった使用方法を考えると、カタログが巨大であればあるほど、プロンプトに全ての情報を入れることは困難になる。
2つ目はいわゆる「ハルシネーション」の抑制が困難であるという点。言語モデルは存在する文章と照らし合わせて、「それが現実に存在しそうか」を判断する。そのため、出力される文章の内容は必ずしも真実ではない。世の中には、「現実にありそうだが実際には誤りである」文章が多数存在する。言語モデルもまた同様で、必ずしも正しい答えを提供するわけではないのだ。
「チャットボットと会話して遊ぶ分には楽しくて良いのですが、ビジネスに使おうとすると、事実と異なる内容では困ります。ビジネスの目的に合わせて言語モデルの動きをコントロールする工夫が必要になります」（中井氏）
もう一つの問題がチューニングだ。製品カタログ全体をプロンプトに入力するのが難しいなら、モデル自体を追加学習し製品カタログのデータでモデルを更新するという解決策を考えるかもしれない。しかしながら、大規模なモデルを再学習するには、相当なデータ量と計算時間、それに伴うコストが必要となる。
中井氏は、このような問題に対処するにはLLMだけを使うのではなく、豊富に存在する既存の機械学習技術を組み合わせて解決すればいいと説く。LLMは、自然言語を入力として、即座に回答が返ってくるという特性を持つため、機械学習の知識がない人でも簡単に使用できる。そのため、万能なツールと思われがちだが、実際にはそうではない。適切なアプリケーションを開発するには、機械学習の知識を持ったエンジニアと協力し、既存の技術と組み合わせたアーキテクチャを設計することが求められる。
