Red Hat、大規模AI推論を実現するオープンソースプロジェクト「llm-d」立ち上げ

　Red Hatは、大規模生成AI推論を可能にするオープンソースプロジェクトとして「llm-d」コミュニティを立ち上げたことを、年次カンファレンス「Red Hat Summit 2025」にて発表した。

　llm-dは、KubernetesアーキテクチャとvLLMベースの分散推論、AI対応のインテリジェントネットワークルーティングを基盤に、堅牢な大規模言語モデル（LLM）推論クラウドを実現し、最も厳しい本番環境のサービスレベル目標（SLO）の達成を可能にする。

　vLLMは新興フロンティアモデルのDay 0サポートと、Google Cloud Tensor Processor Units（TPU）を含む幅広いアクセラレータのサポートを提供。また、prefillとdecodeの分割によって、AI の入力コンテキストとトークン生成フェーズを個別の操作に分離し、複数のサーバーに分散できるようになる。

　さらに、Kubernetesを活用したクラスターとコントローラーにより、パフォーマンスを維持し、レイテンシを短縮しながら、ワークロードの需要の変動に応じてリソースを効率的に活用できる。

　このプロジェクトは、CoreWeave、Google Cloud、IBM Research、NVIDIAといった創設メンバーと、AMD、Cisco、Hugging Faceといった業界リーダー、そしてカリフォルニア大学バークレー校などの大学と連携して推進されている。

　Red Hatのシニアバイスプレジデント兼AI CTOのBrian Stevens氏は、llm-dの立ち上げにあたり「vLLMの革新性とKubernetesの実績ある機能を活用することで、llm-dは、拡張されたハイブリッドクラウド全体にわたる分散型、スケーラブル、そして高性能なAI推論への道を切り開く」と述べている。

　llm-dの詳細は公式サイトから確認できる。