Apache Arrowチームは、データ処理基盤「Apache Arrow 1.0.0」を、7月24日(現地時間)にリリースした。
「Apache Arrow 1.0.0」では、カラムナフォーマットが安定版となり、前方および後方互換性が保証されている。
1.0.0のカラムナフォーマットでは、メタデータがバージョンV5となり、Unionタイプのバッファレイアウトに互換性のない変更があった場合にそれを知らせるようになった。また、辞書インデックスが符号付き整数だけでなく符号なし整数としても使用可能となり、IPC形式にLZ4またはZStandardを使用したオプションのバッファー圧縮が追加されるなどの変更が行われた。
そのほか、C++ではArrowとの静的リンクのサポートが大幅に改善し、Arrow形式の変更にともなってUnion配列が最上位のビットマップを持てなくなった。Pythonでは、ホイールパッケージのサイズが大幅に縮小され、最大75%になるなど、さまざまな修正が実施されている。
- 関連リンク
この記事は参考になりましたか?
- この記事の著者
-
CodeZine編集部(コードジンヘンシュウブ)
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です