SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

これだけは押さえておきたい! AWSサービス最新アップデート

AWS re:Invent 2022で発表された分析・機械学習関連の注目のアップデート~Glue、Athena、SageMaker

第8回

  • X ポスト
  • このエントリーをはてなブックマークに追加

 本連載では、AWSに関して、なかなか時間がとれず最新のアップデートを追えていない方や、これからAWSを利用したいと考えている方に向けて、AWSから発表される数多あるサービスアップデートのうち、NTTデータのITスペシャリスト達がこれだけは押さえておくべきと厳選した内容を定期的に紹介します。本記事では、アナリティクス・機械学習サービスである「AWS Glue」「Amazon Athena」「Amazon SageMaker」にフォーカスして、AWS re:Invent 2022で発表されたアップデート情報を紹介したいと思います。

  • X ポスト
  • このエントリーをはてなブックマークに追加

データの品質チェックが容易に「AWS Glue Data Quality」

 今回のre:Inventでは、AWS Glueのアップデートがたくさんありました。その中でも魅力的だと思ったのはAWS GlueからAWS Glue Data Qualityが発表されたことです。

 データ分析・機械学習では、データがすべてであり、クリーンなデータをいつでも利用できるようにしておく必要があるため、データの品質を保つことは非常に重要となります。

 AWSでは、データの品質を保つためにAWS Glueを利用して、自前で品質チェック・データ変換をするETLジョブを実装することが多いと思いますが、これには非常に負荷と時間がかかり苦労する方が多かったのではないでしょうか。

 AWS Glue Data Qualityは、データの品質を自動的に測定しモニタリングする新機能となっており、上記の悩みを解決してくれます。

 AWS Glue Data Qualityは、データカタログテーブルやETLジョブの中間データに対して自動でデータを分析して、推奨される品質チェックルールを作成してチェックまで実行してくれます。

 品質チェックルールは変更や、新しいルールを追加するなど利用者のユースケースに応じてカスタマイズすることも可能です。

 マネジメントコンソールから操作可能で、データ品質を保つことにかかる負荷と時間を劇的に軽減してくれます。

Glueデータカタログのテーブルに対して自動で作成されたルールセット(品質チェックルール)と実行結果
Glueデータカタログのテーブルに対して自動で作成されたルールセット(品質チェックルール)と実行結果

 プレビュー版となっているので、GA(一般提供)が待ち遠しい機能です。

次のページ
Amazon AthenaがApache Sparkのサポートを開始

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
これだけは押さえておきたい! AWSサービス最新アップデート連載記事一覧

もっと読む

この記事の著者

石田 浩晃(株式会社NTTデータ)(イシダ ヒロアキ)

 NTTデータ入社以来、金融機関様向けのシステム開発に従事。現在では、金融機関様向けに、クラウドサービスを活用したAIサービスの企画開発やデータ利活用支援といったプロジェクトに携わる。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/17677 2023/04/27 11:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング