米Googleは、さまざまな環境で検証を行うための、自動化された反復可能なソリューションを提供する、オープンソースのPython CLIツール「Data Validation Tool」(DVT)を、7月22日(現地時間)に発表した。
Data Validation Toolは、Ibisフレームワークを使用しており、BigQuery、Cloud Spanner、Cloud SQL、Teradataといった、多様なデータソースへの接続に対応している。
さらに、Cloud Composer、Cloud Functions、Cloud Runといった、他のGoogle Cloudサービスと簡単に統合できる。
サポートする接続タイプは以下の通り。
- BigQuery
- Cloud SQL
- FileSystem(GCS、S3、ローカルファイル)
- Hive
- Impala
- MySQL
- Oracle
- Postgres
- Redshift
- Snowflake
- Spanner
- SQL Server
- Teradata
テーブルレベルの検証ではテーブルの行数、行数によるグループ化、列の集計、フィルタと制限、列レベルの検証ではスキーマ/列のデータ型、行レベルの検証ではハッシュ比較(BigQueryのみ)、Raw SQL探索ではさまざまなデータソースでのカスタムクエリの実行を行える。
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です