Google Cloudのサーバーレスランタイムである「Cloud Run」において、「NVIDIA GPU」サポートの一般提供が開始された。
今回の一般提供開始により、NVIDIA L4 GPUのユーザーが、クォータリクエストなしでCloud Run GPUを利用できるようになった。コンソールで「GPU」チェックボックスをオンにするだけでGPUアクセラレーションをすぐに導入できる。
Cloud RunでのGPUのサポートは重要なマイルストーンであり、NVIDIAの担当者は「NVIDIA L4 GPUへのシームレスなアクセスにより、開発者はこれまで以上に迅速かつコスト効率よくAIアプリケーションを本番環境に導入できるようになる」と述べている。
Cloud Runにおいては、消費したGPUリソースに対してのみ、秒単位で課金されるうえ、リクエストを受信していない場合にはGPUインスタンスを自動的にゼロにスケールダウンする。これにより、高いコスト効率を実現している。
また、迅速な起動とスケーリングが特徴。例えば、ゼロからのスケーリングで、gemma3:4bモデルで約19秒というトークン生成時間（起動、モデルの読み込み、推論実行時間を含む）を達成した。
さらに、HTTPおよびWebSocket ストリーミングのサポートを備え、インタラクティブなアプリケーションを構築、LLM応答が生成されるたびにユーザーに提供できる。
現在、Cloud Run GPUは、us-central1（米国アイオワ州）、europe-west1（ベルギー）、europe-west4（オランダ）、asia-southeast1（シンガポール）、asia-south1（インドムンバイ）の5つのGoogle Cloudリージョンで利用可能。今後、さらに拡大する予定。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
