Apache Software Foundationは、オープンソースのデータ処理フレームワークの最新版となる、「Apache Spark 1.6」を1月4日（現地時間）に公開した。
2015年に行われた、Sparkユーザーを対象にした調査では、91％のユーザーがSparkの最大の利点をパフォーマンスであると回答している。そこで「Apache Spark 1.6」では、大規模アプリケーションの動作に大きな影響を与えるパケットスキャンのパフォーマンスを、新たなパケットリーダーの搭載によって約50％向上した。
また、アプリケーションに応じてメモリ領域を自動で拡大あるいは圧縮し、より多くのメモリ領域の確保を可能にする、新しいメモリ管理機能を採用している。
なお、上述のパケットスキャンのパフォーマンス向上や新たなメモリ管理機能は、既存のアプリケーションのコードを変更せずに利用できる。
また、ストリーミング関連で新たに採用されたmapWithState APIは、トータルのレコード数に関係なくデータ要求へのリニアな応答を可能にし、負荷の大きな環境におけるパフォーマンスを大きく向上した。
このほか、従来のDataFrame APIでScalaやJavaのコードを直接実行できるよう拡張したDataset APIや、機械学習に適したpipeline APIなど、さまざまな機能追加や改善が行われている。
【関連リンク】
・Apache Software Foundation（英語）
・「Apache Spark」（英語）
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
