生成AI開発に欠かせない「LLMOps」
GAO（ガオ株式会社）は「GenAI Ops」の略で、Google Cloud に特化したSIや組織におけるAI推進を手掛けるクラウドエースを擁する、吉積ホールディングスグループの一員。「Langfuse」というLLMOpsサービスを中心にAIソリューションを展開している。生成AIの導入から、その後の顧客企業のビジネスの成功まで伴走するのが特徴だ。
LLMOpsとは、生成AIを用いたアプリケーションを一貫して管理する手法である。昨今、大規模言語モデル（LLM）を用いて生成AIを搭載したサービスを開発・提供する企業が増える中、その品質や安全性を担保するために必要な活動として注目されている。
嘉門氏は、「特に品質・信頼性にとってLLMOpsは重要。LLMOpsがないと、生成AIのアプリケーションを導入したユーザーに一定のクオリティを提供できているのかわからない」と指摘する。
たとえユーザーから品質劣化の指摘があっても、開発運用のプロセスが適切に管理されていなければ原因を特定することができない。これをLLMOpsの手法を使って管理することで、ユーザーにとって高い品質を維持できているかを常に把握できるようになる。問題が発生したら検知して、原因を特定し、改善していくというプロセスが回るようになるわけだ。
また、生成AIアプリケーションの中で使われているプロンプトやモデルを切り替えようとすると、再度CI/CDパイプラインを回す必要が出てくることが多い。LLMOpsを導入することで、プログラムコードを触らずにプロンプトそのものを変更できるようになる。
その他にも、LLMOpsを取り入れることで、LLMの利用料を分析してコストを管理したり、有事の際に原因追跡できるようにガバナンス・リスクを管理したりといった運用が可能になる。
LLMOpsを実践するには、アプリケーションの状況を可視化し、それがフィードバックされて、改善されて、また新しいリリースにつながる、というサイクルを回す必要がある。
しかし嘉門氏は、生成AIアプリケーションの開発における課題として「開発・提供側がアプリを改善しようとしても、実際の利用状況を把握するのは難しい。アンケートをとっても、ユーザーは回答のモチベーションがなかったり、回答してもあいまいな情報しか取得できなかったりする」と指摘する。
そこで役立つのが「Langfuse」などのLLMOps用のプラットフォームだ。Langfuseはユーザーからのインプットと生成AIのモデルからのアウトプットをまとめてトレースし、蓄積してくれる。LLMOpsの肝となるこの処理を通じて、内部処理が可視化されることで、ユーザーから不具合の指摘があったときにも改善すべき点をひも解くことができるのだ。
