CodeZine(コードジン)

特集ページ一覧

データ処理基盤「Apache Arrow 1.0.0」がリリース

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
2020/07/30 17:25

 Apache Arrowチームは、データ処理基盤「Apache Arrow 1.0.0」を、7月24日(現地時間)にリリースした。

 「Apache Arrow 1.0.0」では、カラムナフォーマットが安定版となり、前方および後方互換性が保証されている。

 1.0.0のカラムナフォーマットでは、メタデータがバージョンV5となり、Unionタイプのバッファレイアウトに互換性のない変更があった場合にそれを知らせるようになった。また、辞書インデックスが符号付き整数だけでなく符号なし整数としても使用可能となり、IPC形式にLZ4またはZStandardを使用したオプションのバッファー圧縮が追加されるなどの変更が行われた。

 そのほか、C++ではArrowとの静的リンクのサポートが大幅に改善し、Arrow形式の変更にともなってUnion配列が最上位のビットマップを持てなくなった。Pythonでは、ホイールパッケージのサイズが大幅に縮小され、最大75%になるなど、さまざまな修正が実施されている。

関連リンク

  • ブックマーク
  • LINEで送る
  • このエントリーをはてなブックマークに追加
All contents copyright © 2005-2020 Shoeisha Co., Ltd. All rights reserved. ver.1.5