SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

CodeZineニュース

Google、データウェアハウスとデータレイクを統合するストレージエンジン「BigLake」を一般提供

  • X ポスト
  • このエントリーをはてなブックマークに追加

  • X ポスト
  • このエントリーをはてなブックマークに追加

 米Googleは、データウェアハウスとデータレイクの統合を可能にするストレージエンジン「BigLake」の一般提供を、7月27日(現地時間)に開始した。

 ユーザーは、 Google Cloud Storage (GCS)、Amazon S3、ADLS Gen2上に、Parquet、ORC、Avroといったオープンファイル形式をサポートしたBigLakeテーブルを作成できる。

 BigLakeテーブルは、データウェアハウステーブルと同様に管理することが可能な、新タイプの外部テーブルで、管理者はエンドユーザーにオブジェクトストア内のファイルへのアクセスを許可する代わりに、テーブル、行、列レベルでアクセスを管理する。

 これらのテーブルは、BigQueryやBigLakeコネクタを使用したオープンソースエンジンなど、任意のクエリエンジンから作成でき、これらのテーブルが作成されるとBigLakeテーブルとBigQueryテーブルをデータカタログで一元的に検出し、Dataplexを使用して大規模に管理することが可能になっている。

 BigLakeコネクタは、BigQueryストレージAPIに基づいて構築されているため、Google Cloud DataFlowとオープンソースクエリエンジン(Spark、Trino、Presto、Hiveなど)がセキュリティを強化することで、BigLakeテーブルをクエリできるようにし、データをクエリエンジン固有のユースケースに移動させることなく、セキュリティを1か所に構成するだけでどこにでも適用可能となる。

 そのほか、今回の一般提供にあわせて、Analytics Hubのサポート、BigQuery MLのサポート、パフォーマンスの高速化(プレビュー)といった新機能が追加されており、近日中にCloud Data Loss Prevention(DLP)プロファイリングのサポートや、データマスキングと監査ログへの対応なども行われる予定となっている。

関連リンク

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/16272 2022/07/29 10:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング