米BentoMLは、オープンソースの大規模言語モデルを使用して推論を実行し、クラウドまたはオンプレミスにデプロイして強力なAIアプリを構築できるオープンプラットフォームOpenLLMの最新バージョンとなる、「OpenLLM 0.1.6」を6月17日（現地時間）にリリースした。
「OpenLLM 0.1.6」では、配信中に量子化を有効化することが可能になっている。
ほかにも、トップレベルのCLIがリファクタリングされたほか、LangChainとBentoMLに関するドキュメントの追加、機能面のファインチューニングおよび量子化における変更、量子化の追加およびトランスフォーマーの改善によるパフォーマンス向上などが行われた。
なお、GPTQは現在開発中であり、間もなくサポートされる予定となっている。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
