オルツは、軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2(ラートム・オプト2)」を、10月29日にリリースした。
「LHTM-OPT」は、パラメータ数が最適化された小規模GPUマシンで実用的な軽量型大規模言語モデル。
今回、リリースされた最新バージョン「LHTM-OPT2」は、RAG(検索拡張生成)の精度を最適化した軽量型LLMであり、日本語RAGの精度評価には、同社が独自に開発したWikipediaデータからのRAG質問・回答のデータセット(Wiki RAGデータセット)と、東京大学入学試験の国語科目データセットを使用している。
Wikipedia RAGデータセットでは、GPT-4oと同等レベルの精度(LHTM-OPT2:91.0%、GPT-4o:90.8%)を達成するとともに、東大入試国語科目におけるRAGに関する質問では、「LHTM-OPT2」がGPT-4oの94%の精度を達成した。
さらに、RAG評価では国内のすべての軽量型LLM(パラメータ数が10B以下のLLM)を上回る高い精度を達成し、「JGLUE(Japanese General Language Understanding Evaluation)」ベンチマークや「Japanese MT-Bench(MTベンチ)」でも、軽量型LLMとしての世界最高スコアを記録している。
推論速度については、SambaNovaの協力を得て評価が行われ、日本語推論においては日本語LLM推論速度の最高記録となる、平均速度500TPS、最大速度796TPSであることが確認された。
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です