複数のAIの協働で品質向上を目指す
YOJOの裏側では、新規ユーザー、継続ユーザーなど、利用者の状況に合わせて、プロンプトや与えるデータを切り替えている。上野氏は、この仕組みを人間の担当者の入れ替わりに例えて、「エージェント切り替え」と呼ぶ。これは、新規ユーザーと継続ユーザーとで、それぞれ異なるマニュアルやノウハウが必要とされるからだ。実際PharmaXの薬剤師も、新規向けと継続向けのグループに分かれているので、それに倣った仕組みだ。
薬剤師用のチャットアプリには、Open AI Chat Completions APIを用いている。Systemプロンプトには大前提となる情報を与える。Userプロンプトには、過去の対話履歴をすべて読み込ませるとともに、直近の会話で特に気をつけるべきことを追記する。GPT-4 Turboの登場により、トークン数が大幅に増加したことで、大きな恩恵を受けたと、上野氏は言う。
例えば薬を購入する際は、5～10往復程度の会話が発生する。200文字×10往復の会話を想定すると、1回の相談につき2000文字、1年も利用すれば数万トークンのオーダーに達してしまう。上野氏は「我々のように継続的にチャットを行うサービスにとって、トークン数の増加は朗報だった」と振り返る。
サジェスト内容の評価も、LLMで行われている。具体的な評価点は、医療的に誤りがないか、ユーザーの話にどれだけ共感をしているか、対応マニュアルに従っているか、薬剤師によるサジェスト内容の修正がどの程度発生したかを評価している。サジェストされた内容を評価することで、プロンプトやデータの与え方を修正した際に、その修正が適切だったかどうか判定している。
薬剤師チャットにLLMを導入した結果、現状では4割ほどのサジェスト結果を、ユーザーにそのまま送ることができているという。残り4割も軽微な修正が必要な程度だが、2割は不適切なサジェストを出力しているのが現状だ。それでも、薬剤師の生産性をかなり向上できたのではないかと、上野氏は成果を振り返った。
そして上野氏は、サジェスト機能についての今後の構想をいくつか紹介した。
まずはエージェント（ここでは適切なプロンプトやデータセット）の切り替えの細分化や、複数のエージェントの協調動作だ。ユーザーの属性だけでなく、会話の場面に応じて複数のエージェントを切り替えることで、よりきめ細やかな対応が可能になる。また、会話の場面を判断するエージェント、文章の複雑さをチェックし修正するエージェント、薬機法上の問題をチェックするエージェントなど、上位エージェントと下位エージェントによる二重構造を構想している。実際、サジェスト結果を修正エージェントに通すと、文章の品質が向上するという実験結果もある。それは人間のライターが書いた文章を、別の担当者がチェックして修正するようなものだと、上野氏は言う。
またサジェスト結果の評価が一定の基準を下回った場合に、自動的にサジェスト内容を修正することも目指している。上野氏は「数ヶ月以内には、薬剤師による修正がほぼ不要になるほど、高精度なサジェストを実現できるだろう」と今後の見通しを語った。ただし、チャットの法的責任は薬剤師が負うことになっているので、完全自動化を目指しているわけではない。
上野氏が将来的にイメージしている姿は、薬剤師チャットアプリのCopilot化だ。つまりエンジニアがコードを書くときに自動補完してくれるように、薬剤師が書く内容を先回りしてAIが補完できるようになることを目指しているのだ。そのためには、回答精度の向上と同時に、LLMのレスポンスのさらなる高速化が必要だ。
現状では、サジェスト文章の生成に10秒ほどかかる。薬剤師が、待ち時間によるストレスなくサジェスト機能を利用するには、これを1～2秒程度に短縮する必要がある。高速化の道筋について上野氏は「API経由でクラウド上のLLMを利用するだけでなく、ローカルLLMの発展にも期待している」と述べた。
LLMのさらなる普及に向けて
最後に上野氏は、LLM活用の今後の展望について述べた。PharmaXでLLMをビジネスに実装できたのは、薬剤師が比較的高コストな人材だからだと、上野氏は言う。つまり、現状のLLMはまだまだコストが高く、多くのビジネスでは導入に見合う費用対効果が得られない。さまざまな業種でLLMの活用が広がるには、高速化や、読み込めるコンテキスト量の増加だけでなく、さらなるコストダウンが必要だと上野氏は指摘した。
同時に上野氏は「数年以内には現状の1／10程度までコストは下がるはずだ。そうなればかなり活用の幅が広がるだろう」と、今後への期待を述べて、セッションを終えた。
[1] 2024年4月現在、gpt-4-turbo-2024-04-09バージョンよりGPT-4-TurboとGPT-4Vが統合され、同社が講演時に展望していたシンプルなフローが実現できている。
