自動スケーリングのサーバレスSpark「Dataproc Serverless for Spark」が一般提供に

　米Googleは、自動スケーリングのサーバレスSparkである「Dataproc Serverless for Spark」の一般提供、およびBigQueryを使用したサーバレスSparkのプライベートプレビューを、2月4日（現地時間）に開始した。

　一般提供が開始されたDataproc Serverless for Sparkを使用することで、選択したインターフェースからSparkジョブを送信でき、ジョブのニーズに合わせて処理が自動スケーリングされるため、開発者はクラスタの管理やインフラストラクチャの調整が不要になり、コードとロジックへの集中が可能になる。また、データエンジニアリングチームは、エンドユーザーのインフラストラクチャを管理および監視する必要がない。

　なお、インフラストラクチャの時間に対する支払いではなく、ジョブの実行時間に対してのみ料金が発生する。

　BigQueryを使用したサーバレスSparkのプライベートプレビューでは、BigQueryエディタでPySparkコードを記述できるようになり、インフラストラクチャのプロビジョニングを行うことなく、サーバレスSparkを使用してコードがシームレスに実行される。

　同社は現在、サーバレスSparkをさまざまなユーザーが使用するインターフェースと統合して、事前にインフラストラクチャのプロビジョニングを行うことなく、Sparkを利用できるよう取り組んでおり、数か月以内にデータサイエンティスト向けのVertex AIワークベンチ、およびデータアナリスト向けのDataplexを通じて、サーバーレスSparkの可用性を向上していく。