オルツは、軽量大規模言語モデル「LHTM-OPT」シリーズの最新バージョン「LHTM-OPT2（ラートム・オプト2）」を、10月29日にリリースした。
「LHTM-OPT」は、パラメータ数が最適化された小規模GPUマシンで実用的な軽量型大規模言語モデル。
今回、リリースされた最新バージョン「LHTM-OPT2」は、RAG（検索拡張生成）の精度を最適化した軽量型LLMであり、日本語RAGの精度評価には、同社が独自に開発したWikipediaデータからのRAG質問・回答のデータセット（Wiki RAGデータセット）と、東京大学入学試験の国語科目データセットを使用している。
Wikipedia RAGデータセットでは、GPT-4oと同等レベルの精度（LHTM-OPT2：91.0％、GPT-4o：90.8％）を達成するとともに、東大入試国語科目におけるRAGに関する質問では、「LHTM-OPT2」がGPT-4oの94％の精度を達成した。
さらに、RAG評価では国内のすべての軽量型LLM（パラメータ数が10B以下のLLM）を上回る高い精度を達成し、「JGLUE（Japanese General Language Understanding Evaluation）」ベンチマークや「Japanese MT-Bench（MTベンチ）」でも、軽量型LLMとしての世界最高スコアを記録している。
推論速度については、SambaNovaの協力を得て評価が行われ、日本語推論においては日本語LLM推論速度の最高記録となる、平均速度500TPS、最大速度796TPSであることが確認された。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
