LLM学習で広がる開発の可能性──カギはさまざまな知識との「掛け合わせ」
──ここからは、皆さんがLLMについての学びを実務や研究にどう活用しているか伺えればと思います。
坂上：私は学生として行う研究とは別に、学生と企業が協働でスプリント開発をするプロジェクトに参加しています。いま課題になっているのは「文章からいかにして画像を作成するか」で、まさにその分野はプロンプティングやチューニングといったLLMに関する学びが鍵を握っています。
また所属する大学においては、医療分野におけるAIの活用をテーマとしており、どのように人間に理解できる形でAIの思考過程を出力させるかという点でLLMの活用も考えているところです。
飯田：ユーザベースではベクトル検索のモデルを自前でファインチューニングしていますが、それ以外にもファインチューニング後にホスティングをするとき、推論メカニズムを含めてLLMの中身を知っていることは、どのような設定をしたらよいかに見当がつくという点で、非常に役立っています。
そのほかの点で行くと、ベクトル検索のサービスは最初はあまり大きなものではなかったので、普通のFastAPIの上にラップして提供していたのですが、リクエスト数も増えてきて安定性も必要になってきて、「vLLM」にしたいという話になりました。ただ、それをやるにあたっては、どこがどう良くなるか、その納得感がステークホルダー側に必要ですので、そういった意味でもやはり中身をある程度分かっていることが大切になります。
小笠原：私自身はLLMを学習して、個人開発の幅と深さが広がりました。いま私がやっているもので読唇術のモデルを作って、音を使わずに唇の動きだけで何を言っているのか認識するモデルを作っています。これはオリジナルのモデルに対して、口の形をまずトークンとしてとらえて、それをまたLLMに流し込むような最新の形も提案されています。既存の何かに対して、一部をLLMのモジュールに持ってくることで精度が上がる、あるいはできることが増えることは往々にしてあります。
それからLLMはやはり流れが速い技術なので、昨年勉強したことがそのまま使えないケースもあります。その意味で松尾研コミュニティで得られることとしては、具体的な知識以上に「学び方」が大事で、例えばSlackを通して普通にarXiv（査読前の論文を無料で公開・閲覧できるリポジトリ）を読んでいることに気づき、自分も論文を読むことに抵抗がなくなるなど、そういうところの影響が大きいようにも感じています。
石田：実践していることは2つありまして、1つは先ほど紹介した論文からの発展です。院内でカルテをセキュリティ担保して、クラウドやローカルのモデルに投げるベースラインはできたので、これを実用化に向けて院内で展開しています。今回の論文は産婦人科にとどめていたのですが、これを他診療科と共同研究という形で展開し、また所属する京都大学以外にも20くらいの病院に声をかけて「カルテの構造化」に取り組んでいます。
それから、医療分野のLLMを開発するプロジェクトにも参加しています。ここでやっていて感じたのは、全くLLMが分からない医師・医療系人材と、全く医療が分からないエンジニア人材が話を始めるとコミュニケーションにものすごい時間がかかることです。そこで、医師かつLLMが分かる「境界人材」がいると翻訳機能として役割を果たせることに気づき、そのような人材を目指したいと思うようになりました。
