データファクトリ：情報生産パイプラインを構築、管理するための完全管理サービス
組織は、ますます、ビジネスに利用可能なすべてのデータを完全に活用しようとしています。そのため、データ処理のランドスケープはこれまで以上に多様化してきています。データは地理的に複数の場所に渡り、オンプレミスおよびクラウド、さまざまなデータタイプとソース（SQL、NoSQL、Hadoopなど）で処理され、処理に必要なデータ量は指数関数的に増加しています。現在の開発者は、多くの場合、このデータと処理作業のすべてを管理し調整できる情報生産システムに送信する独自のロジックを大量に書かなければならなくなっています。
このプロセスを簡略化するための新しいAzureデータファクトリサービスのプレビューを発表させていただきます。これは、データストレージ、処理、合理化されたスケーラブルで信頼性の高いデータ生産パイプラインへのデータ移動サービスを簡単に構成できる完全管理サービスです。パイプラインが展開されると、データファクトリは簡単な監視および管理を可能にし、大幅に運用費用を削減します。
簡単に開始
Azureデータファクトリは完全管理サービスです。データファクトリは簡単に始められます。Azureプレビューポータルで数回クリックするかコマンドライン経由で、開発者は新しいデータファクトリを作成して、データや処理リソースにそれをリンクします。Azureプレビューポータルの新しいAzure Marketplaceから、「Data + Analytics」-「Data Factory」を選択すると、Azureで新しいインスタンスを作成できます。
複数のデータソース間で情報制作パイプラインを編成
データファクトリにより、クラウドおよびオンプレミスを含むさまざまな場所からのデータソースを簡単に調整および管理することができます。オンプレミスのSQL Server内部、Azureブロブ、テーブル、HDInsight Hadoopシステム、SQLデータベースのデータを扱うためのサポートが今週のプレビューに含まれています。
オンプレミスのデータへのアクセスは、データ管理ゲートウェイを通じてサポートされており、オンプレミスのSQL Serverへの安全接続が簡単に設定および管理できます。データファクトリは、エンタープライズシステムがハイブリッド環境で情報生産を可能にするために必要な管理や監視と、クラウド、Hadoop、非リレーショナルプラットフォームが提供するスケールおよび俊敏性のバランス取っています。
Hive、Pig、C＃を使用した独自のデータ処理アクティビティ
今回のプレビューでは、Hive、Pig、独自のC＃コードアクティビティを使用したデータ処理が可能です。データファクトリアクティビティは、データのクリーニング、重要なデータフィールドの匿名化／マスク、多種多様な複雑な方法によるデータ変換などに使用できます。
HiveとPigのアクティビティは、作成したHDInsightクラスタ上で実行できます。またデータファクトリにHadoopクラスタのライフサイクルを完全に管理させることもできます。アクティビティを作成し、パイプラインに組みこみ、実行スケジュールを設定すれば完了です。手動によるHadoopクラスタのセットアップや管理は必要ありません。
ビルトインの情報生産監視およびダッシュボード
データファクトリは、その瞬間までの監視ダッシュボードを提供しているため、データパイプラインを展開して、すぐに監視ダッシュボードの一部としてそれを表示し始めることができます。データファクトリにパイプラインを作成して展開すると、すぐにエンドツーエンドのデータパイプラインの状態を評価し、問題を特定し、必要に応じて是正処置を取ることができます。
Azureプレビューポータルでは、パイプラインおよびデータの入力出力の視覚的レイアウトがすべて取得できます。ソース全体におけるデータパイプラインの関係性や依存性をすべて確認できるので、データがどこからきてどこへ行くのかがひと目で分かります。1つの監視ダッシュボードに、ジョブの実行、データ生産状況、システム状態の履歴も提供しています。
データファクトリについての詳細
データファクトリの詳細については、以下のリソースをご確認ください。
その他の素晴らしいデータ改善
今回のリリースで、お客様はクラウドへのデータ移動をより簡単にストリーム、処理、管理できるようになりました。過去数ヶ月にわたたり、その他の素晴らしいデータ更新を数多くリリースしてきており、それによりAzureはさまざまなデータニーズを実行する優れたプラットフォームになっています。
8月以降
SQLデータベースサービスのメジャーアップデートリリースしました。これはサービス提供としてのリレーショナルデータベースです。新しいSQL DBのエディション（基本／標準／プレミアム）は、99.99％のSLA、より大きなデータベースサイズ、専用の性能保証、Point-in-Timeリカバリ、新しい監査機能、アクティブなGeo DRサポートを簡単にセットアップする機能などをサポートしています。
新しいDocumentDBサービスのプレビューをリリースしました。これは、完全管理の非常にスケーラブルなNoSQLのドキュメントデータベースサービスで、JSONベースデータの保存および検索をサポートしています。これにより、直線的にドキュメントストアをスケール調整し、あらゆるアプリケーションサイズにスケールを調整できます。Microsoft MSNポータルはそれを使用して20TB以上のデータが保存できるように最近書き直されました。
新しいRedisキャッシュサービスをリリースしました。これは、Microsoftがサービスとして管理している安全／専用のRedisキャッシュを提供するものです。Redisは、高性能のデータタイプを有効にし、アプリケーションのパフォーマンスをより高速にできるインメモリキャッシュを立ち上げることができる人気のオープンソースソリューションです。
HDInsight Hadoopサービスにメジャーアップデートをリリースしました。これは、クラウドでは100％Apache Hadoopベースのサービスです。また、Hadoopエコシステムで人気がある2つのフレームワークのApache HBaseとApache Stormを使用するためのビルトインサポートも追加しました。
新しいSearch-As-A-Service提供のプレビューをリリースしました。これは、さまざまなWebおよびモバイルアプリケーションに簡単に統合できるElasticSearchに基づいた管理検索を提供します。これにより、アプリケーションが使用するあらゆるデータ（SQLDB、DOCDB、Hadoopなどにあるデータを含む）の検索機能が構築できます。
そして、機械学習サービスのプレビューをリリースしました。これは、強力なクラウドベースの予測分析サービスで、新人および経験のあるデータ科学者の両方に対して設計されており、オープンソースおよびMicrosoft Researchからの何百ものアルゴリズムが含まれ、人気のRオープンソース言語を使用したMLソリューションの記述もサポートしています。
楽しみな今後の改善ロードマップを用意しており、これから数か月に渡りメジャーなデータ改善が継続して出てきます。
まとめ
今回のMicrosoft Azureのリリースで、数多くの素晴らしい新しいシナリオが可能になり、クラウドでホストされたアプリケーションの構築がさらに簡単になります。
まだAzureアカウントをお持ちでなければ、無償トライアルにサインアップして、上記機能をすぐにお試しいただけます。アプリの構築方法などの詳細は、Microsoft Azure Developer Centerで確認してください。
Hope this helps,
Scott
P.S.ブログに加え、現在Twitterを使って簡単な更新やリンク共有を行っています。twitter.com/scottguで、私をフォローしてください。
