サイバーエージェントは3月8日、70億パラメータ・3万2000トークン対応の日本語大規模言語モデル（LLM）が、AWSの「Amazon SageMaker」で利用可能になったことを発表した。これは、同社が世界的なクラウドサービスでLLMを公開する初の試み。
今回掲載されたモデルは、日本語および英語データで事前学習を行なった70億パラメータのベースモデル「CyberAgentLM2-7B」にチャット形式でのチューニングを行った「CyberAgentLM2-7B-Chat」。本モデルは入出力の長さとして3万2000トークンに対応し、一度に約5万文字の日本語文章を処理できる。なお、同モデルは商用利用可能なApache License 2.0で提供されている。
今回、「CyberAgentLM」が「Amazon SageMaker JumpStart」で扱えるようになったことにより、日本語LLMを利用したい企業は簡単に「CyberAgentLM」を自社環境にデプロイできる。本モデルは、Amazon SageMaker JumpStartのメニューから選択可能。
同社は、日本語LLMの開発に積極的に取り組んでおり、2023年5月に「CyberAgentLM」を、11月にはそのバージョン2を一般公開している。また、2023年11月から2024年1月にかけて、「AWS LLM 開発支援プログラム」に採択され、LLM開発に必要な計算機リソースの確保に関するガイダンス、技術的なメンタリング、ビジネス支援、LLM学習用クレジットなどのサポートを受けてきた。
今後も同社は、LLMモデルの公開や産学連携などの取り組みを通じて、国内の自然言語処理技術の発展に貢献するとしている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
