米IBMとNASA（National Aeronautics and Space Administration：アメリカ航空宇宙局）は、Transformerアーキテクチャに基づいて、科学文献によってトレーニングされたHugging Faceの言語モデルをオープンソース化したことを、3月13日（現地時間）に発表した。
IBMとNASAによるトレーニングは、天体物理学、惑星科学、地球科学、太陽物理学、生物物理科学のデータコーパスを基に、600億のトークンを使用して行われており、一般的に用いられるトークナイザとは異なる、「軸」や「多結晶」といった科学用語を認識可能なトークナイザを用いている。
同モデルは、生物医学分野におけるパフォーマンスを評価するBLURBベンチマークにおいて、オープンなRoBERTaモデルを5％上回るなど、高いパフォーマンスを示したという。
IBMとNASAのモデルが達成した優れたパフォーマンスは、特殊なトレーニングデータ、カスタムされたトークナイザ、トレーニングの方法論に起因すると考えられる。なお、エンコーダモデルは宇宙領域のアプリケーション向けにさらなる微調整ができ、レトリーバモデルは検索拡張生成（RAG）の情報検索アプリケーションに使用可能となっている。また、IBMはNASAと協力してこれらのモデルを使用し、科学検索エンジンを強化していく。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
