Hadoopクラスタを簡単に実行できるHDInsightと、新しいAzure Data Lakeサービスを一般公開

連載：ScottGu's Blog翻訳

　本稿は、Scott Guthrie氏のブログを、氏の許可を得て、翻訳、転載したものです。米Microsoft社の副社長で、ASP.NETやSilverlightの開発チームを統率する氏のブログでは、次期製品を含む最新の技術をいち早く紹介しています。

　原典：Announcing General Availability of HDInsight on Linux + new Data Lake Services and Language

はじめに

　今回、Linux上のHDInsightの一般公開とAzure Data Lakeおよび言語サービスの導入を含め、Azure上のビックデータサービスにおいてキーとなる機能をいくつか追加しました。

Linux上HDInsightの一般公開

　今回、Ubuntu Linux上HDInsightサービスを一般公開しました。HDInsightにより、クラウドで管理するHadoopクラスタを簡単に実行できます。今回のリリースで、Windows ServerオペレーティングシステムだけでなくLinuxオペレーティングシステムベースのUbuntuでも実行できるようにクラスタを設定できます。

　Linux上HDInsightにより、Hadoopワークロードを実行するためのツールやアプリケーションの選択肢がさらに増え、HadoopエコシステムパートナーはHDInsightで実行する際、さらに幅広いサポートが受けられるようになりました。HDInsightのLinuxおよびWindowsクラスタは、同じ基準のHadoopディストリビューション上に構築されており、同じリッチな機能一式が提供されます。

　今回の新しいリリースには、クラスタスケーリング、仮想ネットワーク統合、スクリプトアクションサポートなどの追加機能も含まれています。さらに、Hadoopクラスタタイプに加え、NoSQLやIoTアプリケーション構築などのリアルタイム処理のニーズに対して、Linux上のHBaseやStormクラスタを作成できるようになりました。

クラスタの作成

　Linuxを使用して実行しているHDInsightクラスタは、Data + Analyticsセクション下にあるAzure管理ポータルから簡単に作成できます。クラスタオペレーティングシステムのドロップダウンからUbuntuを選択する、また必要に応じて作成したいクラスタタイプを選択するだけです（ベースのHadoopだけでなく、Storm、Spark、HBaseなどのワークロードに対して事前設定されたクラスタもサポートしています）。

　すべてのHDInsight Linuxクラスタは、Apache Ambariで管理できます。Ambariは、クラスタの性能および状態の統一ビューやHDInsightクラスタ内のモニタリングおよびアラート機能を提供すると同時に、Hadoopクラスタ構成設定のカスタマイズ機能も提供しています。

追加アプリケーションとのHadoopコンポーネントのインストール

　HDInsight Windowsクラスタと同様に、デフォルトHDInsightデプロイメントには含まれていないアプリケーションやHadoopコンポーネントを追加インストールすることで、Linuxクラスタをカスタマイズできます。これは、Script Action機能とBashスクリプト使用すれば達成可能です。例えば、HDInsight Linuxクラスタ上でHueをインストールし、それを簡単にワークロードで使用できます。

使い慣れたツールで開発

　すべてのHDInsight Linuxクラスタは、デフォルトでSSH接続が有効になっています。選択したSSHクライアント経由でクラスタに接続できます。さらに、SSHトンネリングで、ブラウザからすべてのHadoop Webアプリケーションにリモートアクセスできます。