AWSは8月21日（現地時間）、データ統合サービスの新バージョン「AWS Glue 6.0」の一般提供開始を発表した。AWS Glue 6.0は前バージョンから価格を30％引き下げ、Apache Iceberg v3の全機能をサポートする点が大きな特長だ。
同バージョンはモダンな実行基盤としてApache Spark 4.1、Python 3.13、Scala 2.13を採用しており、パフォーマンス向上を図っている。Iceberg 1.11.0準拠で、VARIANTデータ型のシュレッディング機能により、従来の文字列型カラムよりも半構造データのクエリ性能が向上した。これによりJSONやログ、イベントデータをスキーマを平坦化せずに格納・検索でき、重複データ作成やカスタムパース、スキーマ変更時のパイプライン障害を抑制できる点が注目される。
Iceberg v3の追加機能として、地理空間分析向けのGeometry・Geographyデータ型、ナノ秒精度のタイムスタンプ、高度に可変なスキーマへの対応が含まれる。Spark 4.1のアップグレードでは、宣言的なパイプライン作成機能や、Arrowを用いたPythonユーザー定義関数（UDF/UDTF）の高速化、1ケタ台ミリ秒遅延となるリアルタイムストリーミングモードが利用可能になった。
AWS Glue 6.0は従来のAPIから変更なく利用可能で、既存ジョブも容易にバージョン6.0へ移行できる。AWS Glue StudioやCLI、各種IDEから選択可能で、ノートブックや自動アップグレード機能も用意されている。同バージョンはAWS Glue全リージョンで利用可能であり、今後の詳細や利用料はAWS Glue公式ドキュメントに記載されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
