Hadoopクラスタを簡単に実行できるHDInsightと、新しいAzure Data Lakeサービスを一般公開

連載：ScottGu's Blog翻訳

新しいAzure Data Lakeサービスと言語

　慈善事業への寄付増加のためのソーシャルグラフの分析、放射線被ばくの分析、毎月の光熱費請求を最適化する方法をシミュレートするために数千ものデバイスからの信号を使用するなど、Azureでビッグデータの素晴らしいシナリオを有効にしているお客様を見続けています。これらの使用例は、Azureで収集され、さらにデータが集まってきています。このデータをすべて深く掘り探りさまざまな方法で処理する際にAzure Data Lake機能が使用できます。これには、ビッグデータを簡単にする3つのサービスがあります。

　1つ目のサービスは、現在利用可能です。Azure HDInsightとは、インサイトを集中して見つけられる管理Hadoopサービスで、クラスタ管理に時間を費やすことはありません。HDInsightにより、99.9％のSLAでMicrosoftが管理、監視、サポートしているLinuxまたはWindows上で実行されているHadoop、Spark、Storm、HBaseクラスタを展開できます。

　以下で紹介されているAzure Data Lake StoreとAzure Data Lake Analyticsという残りの2つのサービスは、現在プライベートプレビューで利用可能ですが、まもなくパブリック利用として広く利用可能になります。

Azure Data Lake Store

　Azure Data Lake Storeは、クラウド内のビッグデータ分析ワークロードのために特別に設計されたハイパースケールHDFSリポジトリです。Azure Data Lake Storeは、任意のタイプとサイズでデータを格納し、任意のスケールで処理できるようにすることで、ビッグデータの課題であるボリューム、種類、速度を解決します。Azure Data Lake Storeは、モノのインターネット（IoT）だけでなく、膨大なデータボリューム上のスループット集約型分析など、ほぼリアルタイムなシナリオをサポートすることが可能です。Azure Data Lake Storeは、スキーマの事前定義および複数のデータサイロ作成など、伝統的な分析インフラを制約する多くの制限を除去することにより、様々な計算のワークロードをサポートしています。Azure Data Lake Storeに配置されると、Azure HDInsightなどのHadoopベースエンジンは、新しいインサイトを発見するためのデータマイニングが簡単にできるようになります。

　以下は、Azure Data Lake Storeの主要機能の一部になります。

任意のデータ

　分散ファイルストアにより、ネイティブ形式でデータが保存でき、Azure Data Lake Storeはデータを格納するためにスキーマを変換したり事前定義する必要がなくなります。

任意のサイズ

　ファイルおよびアカウントサイズに制限なく、Azure Data Lake Storeは、即時読み取り/書き込みアクセス権を持つキロバイトからエクサバイトを保存できます。

任意のスケール

　エクサバイトのデータを分析するのに必要なハイスループットなど、分析システムの要求を満たすためにスループットを拡張できます。加えて、Webサイトの分析やモノのインターネット（IoT）のようなほぼリアルタイムのシナリオに最適化された低遅延で小規模な書き込みを大量に処理するために構築されています。

HDFS互換性

　HDInsightのような他のAzure Data Lakeサービスを含むHadoopエコシステムはアウトオブボックス機能と動作します。

Azure Active Directoryと完全統合

　Azure Data Lake Storeは、すべてのデータ上のアイデンティティおよびアクセス管理のためにAzure Active Directoryと統合されています。