LLMの内部理解が設計・運用に効く？松尾研コミュニティに聞く「LLM学習戦略」

2025/12/26 11:00

ポスト

アーキテクチャの「賞味期限」を見極める？──エンジニアリングにつながるLLMの内部理解

──ここからはLLMの学習がエンジニアリングに効いてくるのか、聞いてみたいと思います。ソフトウェア開発の現場ではコーディングエージェントをはじめ、AI活用が次々と進んでいますが、AIモデルの仕組みを知りながらエンジニアリングを進める価値について教えてください。

飯田：体感ですが、これからプロダクトを組んでいくうえで、ソフトウェアエンジニアが必然的にLLMを扱う場面が増えてくるかなという感触を持っています。その時に、出力された結果を説明できるか、意図した出力に寄せられるか、みたいなこれまで機械学習エンジニアが直面していた問題の一部を、ソフトウェアエンジニアも担うようになっていくように思います。

　そういう時に、改善策を思いつくことができる、そこからさらに探しに行ける、問題を深められる、という点においては、やはりある程度中身を理解していることが重要です。

小笠原：LLMの学習は、エンジニアリングにおける設計と運用に効いてくると思います。LLMを組み込んでアプリケーションを作るうえで、例えば画像とテキストを同時に生成してしまうような、それまでより性能の良いLLMが出てくればそちらで丸ごと作り直すケースが出てくると思います。その意味で、モデルの仕組みがどうなっているのかを知っておくと未来がある程度は読めて、アーキテクチャの賞味期限みたいなものが検討しやすくなるのではと考えています。

　それから、運用面でいうとコストですね。LLMのアプリケーションはすごくお金を食うのですが、「1リクエストあたりに1ドルかかっている。なんか高すぎないか？」みたいな勘所が働くためには内部のところを理解しているほうが良いですし、問題の切り分けもしやすいのではないかと思います。

──良いエンジニアリングをするためのLLM学習についてはどうお考えでしょうか。

小笠原：実体験として、最近ソフトウェアエンジニア経歴が全くなく、個人的な趣味でAIを勉強し、業務委託として色々な仕事を受けている方と会いました。受託開発では当然、お客さんに見せるためのPoC開発が必要になりますが、その方は1回まずLLMに設計を出してもらって、生成された設計書の意図を理解するまで質問して、これでいいとなったらバイブコーディングして動かして、またわからないところを聞く、みたいなサイクルを回していたんです。ソフトウェアエンジニアのバックグラウンドがなくても、もうちゃんとやろうと思えば開発できるんだなと結構な衝撃がありました。

　これはエンジニアリング以外でのLLM学習でも同じことを言いましたが、「ちゃんと分からないところを理解する」というのはこれまで以上に大事なのかなと思っています。

──ありがとうございます。それでは最後に、皆様がLLMを使って実現したい未来について教えてください。

坂上：説明可能性、解釈可能性という分野については引き続き所属する大学で研究を続けていきたいです。これだけLLMを使ったサービスの発展と普及が進んでいる中で、人間の思考を介さずにLLMだけで問題を解決してしまう「思考の放棄」がこれから問題になってくるように感じています。LLMの内部で膨大な計算がされている以上、その出力に至るまでの過程がブラックボックスになってしまうという点で、思考過程を提示できるような技術が必要になってくるのではないでしょうか。

　また将来的な話ではありますが、昨今のLLMにおける発展はアメリカと中国という二大巨頭に牽引されすぎている部分があると考えているので、いつかは日本人が作った日本語ベースのLLMを実現させたいという思いがあります。

飯田：私は直近、ローカルLLMを業務でもやり始めているので、LLM APIの技術とハイブリッドで使える環境を整えたいなと思っています。「ここならこういう風にチューニングしてこう出せばいいはず」みたいに、費用対効果が合う領域を自分としては見つけていきたいです。

小笠原：私も事前学習モデルを作りたいという気持ちがあって、ただLLMを自分で作るとなるとリソースは必要だしビッグテックに勝てるのかは不安です。そこで、LLMでの知見、例えばTransformerがどう動いているのかなどLLMに関する理解を生かしながら、自分たちだけのデータであるドメインに特化したモデルを作って、それが今後の何かにつながっていったらいいなと思っています。

石田：私はやはり医学とLLMのコミュニケーションについて、深掘りしていきたいです。私のようにプログラミング未経験からLLMの論文を書くような、生成AIにどんどん聞くことでしか達成できなかったことが今は実現するようになりました。現在は医学系学会での生成AIに関する発表は私一人みたいな状況が続いているので、もっと医学系でもLLMの輪を広げていきたいと思っています。

　その一方で、医学領域でもAIの活用に伴ってたくさんの論文が出てて、そうすると逆にまともな診断ができなくなる「デスキリング」の問題が出てきています。やはりLLMがある前提の社会として、きちんとトレーニングを積む場を用意する、それは自動運転しているパイロットがたまに手動で操作するようなイメージですが、そういうことは社会全体として考えていかなければいけないと危機感を抱いています。

──最後に松尾研からのメッセージをお願いします。

川崎：今回集まっていただいた4名をはじめ、松尾研LLMコミュニティに所属されている方は何かしら課題感というか目的があって、それを解決する、実践するために活発的に活動いただいています。専門分野についても多様性のあるコミュニティになっていると思うので、何か自社の中で課題感がある方はぜひ参加を検討いただければと思います。

　それから、LLMに限らずAIをどういう風にビジネス活用していくかを学ぶ「AI経営講座」を2026年の1月から開催する予定です。有料にはなりますが、社会人の方も参加できる講座になりますのでぜひ検討してみてください。