国産LLM「tsuzumi」開発者が解説！ コーディング能力の獲得手法から「SWE-bench」など評価指標まで

【19-D-1】ソフトウェア開発に向けた大規模言語モデルの応用と発展

　生成AIの台頭により、ソフトウェア開発のあり方が根本から問われる時代を迎えている。単なるコードの補完にとどまらず、AIが自律的に考え、システム全体を改修する未来が現実味を帯びてきた。このパラダイムシフトの中心にあるのが、大規模言語モデル（LLM）の進化である。アメリカや中国が次々と最新モデルを発表する中、日本で国産LLMの開発に挑むのがNTTだ。本セッションでは、同社の大規模言語モデル「tsuzumi」の研究開発プロジェクトに参画する風戸広史氏が、LLMがソフトウェアの開発能力を獲得するための学習や評価の仕組み、また最新の研究動向について解説した。

GPU1枚で機敏に動作する国産LLM「tsuzumi」、なぜ開発に至ったか？

　2022年末に登場した「ChatGPT」は世界に衝撃を与えたが、海外製の巨大なモデルは日本語の処理効率や機密情報の取り扱いにおいて、日本のエンタープライズ環境にそのまま適用するには高いハードルがあった。特に、官公庁や金融機関など、インターネットから隔離されたセキュアな環境での開発が求められる現場では、クラウドに依存するAIモデルの採用は困難を極める。

　NTTが日本発の独自のLLM開発に踏み切った背景には、そんなセキュリティや運用コストと日本語処理能力の課題があった。風戸氏は「開発環境自体がネットワークから隔離される環境でも使っていただけるようなAIを目指しています」と、同社が目指す目的地を説く。

NTT株式会社 人間情報研究所 思考処理研究プロジェクト 主任研究員 風戸 広史氏

　この仮説と課題意識に基づき開発されたのが、NTTの大規模言語モデル「tsuzumi」である。 tsuzumiは、四十年にわたるNTTの自然言語処理研究の知見を結集し、日本語の語彙や文章構造を極めて効率的に処理できる独自のトークナイザ（テキストをAIモデルが理解できる最小単位のトークンに分割する仕組み）を採用している。

同じ文字列を少ないトークン数で表現し、学習・生成の計算コストを抑える「トークナイザ」

　他社のモデルでは日本語1文字を表現するのに複数のトークンを消費することが多いのに対し、tsuzumiは1トークンでより多くの文字情報を表現できる。これにより、少ない計算資源で高度な情報処理が可能となり、比較的高価なサーバーに頼らずとも、GPU1枚を搭載したローカル環境で機敏に動作する軽量性を実現した。

　海外モデルに後から日本語データを追加学習させるのではなく、ゼロから10兆トークンという膨大なデータを学習させるフルスクラッチのアプローチを採用した背景には、どのようなデータでAIが作られているかを完全に管理し、経済安全保障やAI主権を確保する目的がある。