Dockerは、9月18日、ローカルでのLLM実行を支援する「Docker Model Runner」(DMR)を一般提供開始した。
4月のベータ版公開以降、短期間で機能が急速に進化し、信頼できる成熟度と安定性に達し、正式リリースに至った。
DMRは、Docker CLIコマンドとツールを使用して、Docker Hub(OCI準拠)やHuggingFaceから直接LLMをプル・実行・配布できる。Docker DesktopやDocker Engineと密に統合され、OpenAI互換API、コマンドライン、グラフィカルUI、REST APIで操作可能である。
llama.cppベースの設計で、Linux(Docker CE)でのネイティブ実行がサポートされていることが特徴。UIにはガイド付きのオンボーディングが用意されており、AI開発初心者でもスムーズにモデルの提供を開始できる。また、利用可能なリソース(RAM、GPUなど)は自動的に処理される。
今後はUX改善、マルチモーダル対応やMCPツールとの統合、デバッグ機能の強化、さらには本番環境レベルのユースケース向けにDocker Engineから独立してModel Runnerをデプロイする機能などが予定されている。
導入にあたっては公式ドキュメントを参照のこと。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です