米BentoMLは、オープンソースの大規模言語モデルを使用して推論を実行し、クラウドまたはオンプレミスにデプロイして強力なAIアプリを構築できるオープンプラットフォームOpenLLMの最新バージョンとなる、「OpenLLM 0.1.6」を6月17日（現地時間）にリリースした。
「OpenLLM 0.1.6」では、配信中に量子化を有効化することが可能になっている。
ほかにも、トップレベルのCLIがリファクタリングされたほか、LangChainとBentoMLに関するドキュメントの追加、機能面のファインチューニングおよび量子化における変更、量子化の追加およびトランスフォーマーの改善によるパフォーマンス向上などが行われた。
なお、GPTQは現在開発中であり、間もなくサポートされる予定となっている。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
