rinna、日本語に特化したGPT言語モデル2種類をオープンソースで公開

　rinnaは、日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開したことを5月17日に発表した。

　rinnaは「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指している。このビジョンの実現に向けて、AIりんなをはじめとしたAIキャラクターと人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供してきた。また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開している。

　同社は、これまでに日本語に特化した13億パラメータのGPTなどを公開し、多くの研究・開発者に利用されているが、より利用の幅を広げられるよう日本語に特化した36億パラメータを持つ「汎用言語モデル」と「対話言語モデル」の2種類のGPT言語モデルをオープンソースで公開した。

　「汎用言語モデル」は、日本語のWikipedia・CC-100 のオープンソースデータを用いて学習されている。「対話言語モデル」は、HH-RLHF・SHP・FLAN の一部を日本語に翻訳したデータを用いて学習されている。

　ユーザーは、2種類のモデルから利用者の目的に応じて最適なモデルを選択することができ、特定の利用目的に対して性能を最適化させたい場合には、fine-tuningやin-context learningにより精度向上を目指すことができる。

　同社は、これらのモデル公開により、日本語言語モデルを活用した研究・開発がより発展することを期待している。