米Google Cloudは、同社の運営する「Google Kubernetes Engine（GKE）」が、世界最大数となる15000ノードのクラスタをサポートし、要求の厳しいトレーニングワークロードの処理が可能になるとともに、現在はさらに大規模なモデルを想定して、65000ノードを有するクラスタのサポートに取り組んでいることを11月14日（現地時間）に発表した。
65000ノードにまでスケーリングできる能力は、世界でもっともリソースを消費するAIワークロードに求められる機能であり、アクセラレータの革新的なコンピューティング能力との組み合わせによって、モデルのトレーニング時間短縮、パラメータの数兆単位へのスケーリングなどが可能になる。それぞれのノードには複数のアクセラレータを備えているので、250000を超えるアクセラレータを1つのクラスタ上で管理できる。
65000ノードをサポートするGKEなら、5つのジョブを単一のクラスタで実行可能であり、ジョブの1つひとつがGoogle Cloudによって過去に達成された、世界最大のLLM向けトレーニングジョブの規模に匹敵するという。
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
