坂上 真寛
大阪府立大学 工学域 電気電子系学類 情報工学課程 学士4年
大阪府立大学で情報学を専攻しながら、松尾研の「グローバル消費インテリジェンス寄付講座」で優秀修了生に選出される。現在は、同講座のティーチングアシスタントも務めている。
飯田 大貴
株式会社ユーザベース 機械学習エンジニア
株式会社ユーザベースで機械学習エンジニアとして従事。松尾研LLMコミュニティで開催されるコンペティションにも参加。
小笠原 寛明
研究者・ソフトウェアエンジニア
ソフトウェアエンジニアを経て、現在フリーランスとして読唇術LLMの開発などに従事。松尾研内の「Paper&Hacks」にて講師役も務める。
石田 憲太郎
京都大学大学院医学研究科 婦人科学・産科学教室 博士課程2年
大学卒業後産婦人科医として従事し、現在は博士課程でLLMを医学に応用する研究を進めている。「医療LLMプロジェクト」にも参加し、大規模な医療生成AIモデルの開発にも参画。
川崎 竜一
東京大学 大学院 工学系研究科 松尾・岩澤研究室 学術専門職員
2023年より松尾・岩澤研究室 講義プログラムマネージャーとして、LLM講座や先端系講座の企画運営やコミュニティの立ち上げ、LLM開発コンペなどのプロジェクトマネージャーを担当している。
医療研究から個人開発まで──コミュニティメンバーが「LLM学習」を志した原点とは
──今回取材を受けていただいている皆様は松尾研LLMコミュニティにご所属されています。まずはこのコミュニティについて教えてください。
川崎竜一氏（以下、川崎）：松尾研LLMコミュニティは、東京大学の松尾・岩澤研究室がオンラインコミュニティとして設置しているものです。その中では、松尾研が提供している講座やLLM開発コンペティションなど、参加される方々がLLMや技術について原則無償で学べる場所を提供しています。Slack上の参加者は現在1.2万人ほどで、LLMのコミュニティとしてはかなり大きな規模になっています。
コミュニティの思想には、ソフトウェア開発におけるOSSの文化に通ずるものがあります。目指しているのは、ネットワーク上でさまざまな人がコラボレーションして、自分の強みや貢献できることをお互いに提供し合う場作りです。もちろん大学の研究室なので学生の学びにつながる活動が中心になりますが、社会人の方にもビジネスを通して得た実践知を提供していただき、一方ではアカデミアの知識をコミュニティで学んでいただいています。
──コミュニティメンバーの皆様がLLMに関心を抱き、LLMコミュニティをはじめとして学習を始めたのはいつでしょうか。また、そのきっかけと併せて教えてください。
坂上真寛（以下、坂上）：LLMの学習を始めたのは、1年から1年半前です。ドイツの人工知能研究センターで研究に参加してから、SLMやLLMが活用されている研究が多く存在することを知りました。自分が所属する研究室でもLLMの研究が進みつつあり、その活用の幅が広がっている現状を目にして基礎的な知識を学びたいという思いが強くなりました。
飯田大貴（以下、飯田）：私は2018年からずっと自然言語処理をやっているので、その流れでLLMの仕組みについてはこれまでも学習してきました。しかし、近年のLLMは分野として非常に膨大なものに広がっているので、自分の知識として不足がないか、確認という意味でLLMコミュニティを活用しています。
小笠原寛明（以下、小笠原）：私はこれまでソフトウェアエンジニアとしてやってきたのですが、2022年末あたりに登場したGPT-3.5を触ってみて、そのすごさを体感すると同時にアプリケーションに組み込むことを考えるようになりました。作りたいプロダクトが先にあって学習を深めていったような流れです。
石田憲太郎（以下、石田）：私もLLMに触り始めたのはGPT-3.5がSNSなどで話題になったころです。しかし、実際に触ってみると当時のLLMは医療的な知識に乏しくて、人間が手綱を引いてあげないとダメなのだろうなと感じました。
私には解決したい課題感があり、それは医学研究を行う上での障壁に関わることです。研究のためのカルテを大量に収集して読み解くのにはこれまでとてつもない時間がかかっていました。それもあって、生成AIと医療のコラボレーションを目指したいと思い、2024年4月の博士課程入学を機にしっかりと勉強を始めた形になります。
──GPT-3.5の登場あたりからLLMの適用範囲が一層広がったことがよくわかりました。さて、「LLMの学習」となると取っ掛かりが難しい印象があります。松尾研究室ではどんなロードマップで学習環境を提供しているのでしょうか。
川崎：松尾研としては、まず体系的に学ぶための公開講座を用意しています。流れとしては、まずLLM講座を含むそれらの講座に参加いただくことが多いです。その上で、専門的なLLMの開発を進めるとなった場合、講座で習った知見やテクニックの実践の場としてLLM開発を行う「LLM開発コンペ」に参加いただくのが推奨ルートとなっています。
その枝葉として、週に1回のペースで論文発表を行う「Paper&Hacks」や、主に学生の方で自分の学校や身近な所にLLMについて研究する機会がない方に向けて提供している研究会「LLMATCH」があり、公開講座とコンペを加えた4つの企画がコミュニティの学習サイクルの中心です。
──ありがとうございます。松尾研で提供されている環境を含めて、LLM学習に効いたポイントを教えてください。
坂上：私は研究として画像処理という分野から深層学習に取り組んでいましたが、LLMに関してはほとんど触れたことがなく、松尾研から提供される体系的な講座の存在は大きかったです。また、「Paper&Hacks」も自分の興味があることにすぐ手を伸ばしてその知見を得られるという意味で、学習のモチベーションに繋がりました。
もう少し始めやすいところであれば、プロンプトエンジニアリングだと思います。APIを用いて実際にLLMに触れることで、LLMの得手不得手について掴めてくるのではないでしょうか。
石田：私はエンジニアリングの初心者ですが、とにかく課題感を生成AIに聞いて、なんとか動くプログラムを出してもらい、中身を分解してどう動いているかを理解する、そのサイクルでずっとやってきました。
それからLLMコミュニティ内でいうと、「LLMATCH」は大きかったです。私は1期から参加していて「LLMで研究するとはどういうことか」を教えていただきました。Pythonの勉強をゼロから始めて1年半くらいで、Nature系の『Precision Oncology』という、医学系では結構インパクトのある雑誌に論文が採択されたのですが、それはLLMATCHの支えがあってのものだったと感じています。
小笠原：なにがLLMの学習に効くか、という観点であれば、やはり「作りたいものがある」ことが一番効くんじゃないかと思います。私個人は、例えば動画生成モデルのファインチューニングをやることがあるんですが、便利なフレームワークなどを使っていても、理屈が分かっていないと扱えなくなる部分が出てきます。その時に、場当たり的ながらも知識をちゃんと深めよう、という意思があればなんとかなる気がしています。
