独Jina AIは、HTMLデータから文字情報をまとめたMarkdownファイルを生成する言語モデル「Reader-LM」を9月11日（現地時間）に公開した。パラメーター数が約4億9400万の「Reader-LM-0.5b」と、パラメーター数が約15億4000万の「Reader-LM-1.5b」の2種類を公開した。どちらもHugging Faceのリポジトリでダウンロードできる。
Reader-LMは、HTMLデータからサイドバーやフッター、ヘッダーなどのデザイン要素を取り除き、見出しや本文などの文字情報のみを抜き出して、Markdownファイルを生成する言語モデル。Jina AIはReader-LMを小規模言語モデル（SLM：Small Language Model）と呼んでいる。言語モデルとしては小規模だが、機能を絞って訓練した結果、OpenAIの「GPT-4o」やGoogle Deepmindの「Gemini 1.5 Pro」などの汎用の大規模言語モデルよりも高い性能を発揮するようになったとしている。
Reader-LMは、Google Colabで利用できるほか、Amazon Web Servicesの「AWS Sagemaker」や、Microsoft Azureの「Azure Marketplace」でも利用できる。Hugging Faceのリポジトリからダウンロードして、自身の端末で動作させることもできるが、その際には米NVIDIAの「RTX 3090」や「RTX 4090」に相当する性能を持つGPUを使うことを推奨している。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
