Shoeisha Technology Media

CodeZine(コードジン)

記事種別から探す

「Apache Spark 1.6」がリリース、パフォーマンスが向上しDataset APIなど新機能が追加

  • LINEで送る
  • このエントリーをはてなブックマークに追加
2016/01/05 13:40

 Apache Software Foundationは、オープンソースのデータ処理フレームワークの最新版となる、「Apache Spark 1.6」を1月4日(現地時間)に公開した。

 2015年に行われた、Sparkユーザーを対象にした調査では、91%のユーザーがSparkの最大の利点をパフォーマンスであると回答している。そこで「Apache Spark 1.6」では、大規模アプリケーションの動作に大きな影響を与えるパケットスキャンのパフォーマンスを、新たなパケットリーダーの搭載によって約50%向上した。

 また、アプリケーションに応じてメモリ領域を自動で拡大あるいは圧縮し、より多くのメモリ領域の確保を可能にする、新しいメモリ管理機能を採用している。

 なお、上述のパケットスキャンのパフォーマンス向上や新たなメモリ管理機能は、既存のアプリケーションのコードを変更せずに利用できる。

 また、ストリーミング関連で新たに採用されたmapWithState APIは、トータルのレコード数に関係なくデータ要求へのリニアな応答を可能にし、負荷の大きな環境におけるパフォーマンスを大きく向上した。

 このほか、従来のDataFrame APIでScalaやJavaのコードを直接実行できるよう拡張したDataset APIや、機械学習に適したpipeline APIなど、さまざまな機能追加や改善が行われている。


【関連リンク】
Apache Software Foundation(英語)
「Apache Spark」(英語)

  • LINEで送る
  • このエントリーをはてなブックマークに追加

おすすめ記事

All contents copyright © 2006-2016 Shoeisha Co., Ltd. All rights reserved. ver.1.5