CodeZine(コードジン)

特集ページ一覧

AWS、サーバレスデータ統合の最新版「AWS Glue 3.0」を発表

  • LINEで送る
  • このエントリーをはてなブックマークに追加
2021/08/23 10:00

 米Amazon Web Servicesは、AWSにおけるデータ統合ワークロードを高速化する、バッチおよびストリーミングジョブのためのAWS Glue Sparkの新バージョン「AWS Glue 3.0」を、8月19日(現地時間)に発表した。

 「AWS Glue 3.0」は、AWS GlueとAmazon EMRからの最適化を含んでおり、「Apache Spark 3.1.1」に基づくパフォーマンス最適化Sparkランタイムが導入されている。

 「AWS Glue 3.0」ランタイムは、より高速なベクトル化されたリーダとAmazon S3に最適化された出力コミッタを使用して、Amazon S3への読み取りアクセスと書き込みアクセスの両方を最適化する。

 また、AWS Glueデータカタログへのアクセスを最適化するパーティションPredicateを使用しており、高度にパーティション化されたデータセットの場合、パーティションインデックスを使用して不要なパーティションを除外することで、実行速度を向上させる。

 なお、「AWS Glue 3.0」ランタイムはAWS Lake Formationと完全に統合されており、リソース名を使用したデータベース、テーブル、列、行、セルレベルのアクセス制御や、AWS Lake Formationのタグベースのアクセス制御など、さまざまな粒度での安全なアクセスを実現する。

 ほかにも、Sparkアプリケーションの監視、デバッグ、チューニングのユーザーエクスペリエンスを向上させる新機能も備えており、起動時の待ち時間を短縮し、全体的なジョブ完了時間を改善できる。

 「AWS Glue 3.0」は、AWS Glueが利用可能なすべてのAWSリージョンで使える。

関連リンク

  • LINEで送る
  • このエントリーをはてなブックマークに追加

あなたにオススメ

All contents copyright © 2005-2021 Shoeisha Co., Ltd. All rights reserved. ver.1.5