rinna社が日本語に特化したGPT-2の大規模言語モデルを構築、オープンソースとして公開

　rinnaは、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして4月7日に公開した。

　rinnaは、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトし、2020年6月に設立したAI開発企業。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」や、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきた。これらの最新技術は、同社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどで使用されている。

　そして今回、同社は製品開発のための自然言語処理（NLP）の実験過程で、日本語に特化したGPT-2の大規模言語モデルを構築した。日本語のNLP研究コミュニティに貢献するために、開発した言語モデルと、研究者が自分のマシンで実験結果を再現するためのトレーニングコードを、GitHubおよびNLPモデルライブラリHuggingFaceで、オープンソースとして公開した。

　言語モデルは、言語データの機械学習をもとに、会話や文章の「人間が使う言葉らしさ」を確率としてモデル化したもので、GPT-2は、単語レベルの確率の組み合わせから文の確率を計算する言語モデル（自己回帰言語モデル）。

　今回、同社が公開した日本語GPT-2モデルは、一般的な日本語テキストの特徴を持った高度な日本語文章を自動生成できる。ユーザー／研究者は、特定のテキストデータを調整し、このモデルから独自のモデルを作成することが可能。