Cloudera、NVIDIAと連携しSparkデータパイプラインをGPUで高速化

　Clouderaは、NVIDIAのCUDA-Xライブラリ「cuDF」を活用し、Cloudera Data EngineeringでApache Spark 4.1のネイティブGPUアクセラレーションに対応したことを、8月20日に発表した。これにより、既存のPySparkやSQLコードを変更することなくSparkワークロードがGPUで高速化でき、データパイプラインの準備時間短縮とクラウドインフラコスト削減が可能となる。

　本発表は同日に開催されたEVOLVE Singaporeで実施されたもので、Cloudera Anywhere Cloudに対応予定。企業のAI活用が進む中、大規模Sparkワークロードの処理時間とコストがボトルネックとなっているが、本機能導入により大幅な処理時間短縮が可能となる。NVIDIA cuDFを利用したSparkワークロードは従来のCPUベースに比べて最大4倍の性能を実現し、ハイブリッド環境全体でガバナンスやセキュリティを維持したまま運用できる。

　Cloudera Data Engineeringの主な特徴としては、既存コードの変更不要なGPU高速化、ETL処理とデータ準備の効率化、自動ドライバー設定、統合的なセキュリティとガバナンス、クラウド・オンプレミスなど多様な環境での一貫したパフォーマンスが挙げられる。これにより、企業はAIモデルや分析用データを迅速・低コストで準備できる。