米Google Cloudは、エンタープライズ向けデータウェアハウスである「BigQuery」において、データ準備機能の一般提供を4月1日（現地時間）に開始した。
今回、一般提供が開始されたデータ準備機能は、BigQueryパイプラインとも統合し、データの取り込みと変換のタスクを接続して、すべて統合された環境にて増分処理をともなうエンドツーエンドのデータパイプラインを作成できるようになっている。
同機能によって生成されたすべての変換をSQLコードとして表示して、BigQueryリポジトリとGitを使用してコードを共同編集および管理することが可能になる。
同機能では、Geminiを活用することで、データ準備プロセス全体を通してインテリジェントなガイダンスを提供する。BigQueryで実行されるため、型変換、文字列操作、日付と時刻の演算、JSON抽出といった幅広いデータ変換関数をサポートし、データとスキーマを分析してデータのクリーニングと変換に関するインテリジェントな提案を提供してくれる。また、組み込みのスキーマ処理によってスキーマドリフトを管理して、本番環境パイプラインの障害を防げるほか、データを分析してデータ拡充のために関連する結合キーの提案も受けられる。
さらに、ユーザーフレンドリでローコードの視覚的なインターフェースを採用し、複雑なデータパイプラインを設計、実行、モニタリングでき、検証ルールを定義して無効な行を指定されたエラーテーブルに自動的にルーティングすることで、データの品質と整合性を確保する。あわせて、パイプクエリ構文によってデータ準備を表示して、バージョン管理のためのGitリポジトリへのエクスポートも可能になっている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
