Ubuntuは5月28日（現地時間）、Apache Spark 4への移行に関する主な変更点を同社ブログ内で紹介した。
今回の最大の変更は、Scala 2.12がサポート対象外となった点であり、Sparkジョブや依存ライブラリは全てScala 2.13向けに再コンパイルが必要となる。Scala 2.13ではコレクションライブラリのAPIが大きく変更されているため、コード修正が求められる場合もある。コード移行にはScalafixなどのツールが活用できる。
また、Javaの実行環境は17以降が必須となり、旧バージョンのサポートは打ち切られた。Java 17および21が推奨されるが、XMLやサーブレット関連の変更点もあり、javax.*からjakarta.*への移行が必要となる。
Spark 4ではANSI SQLモードがデフォルトとなり、以前はNULLを返していた不正操作がランタイム例外を発生させる仕様に変更された。ログは構造化JSONで出力され、ストリーミングのステート管理にはRocksDBが標準採用された。加えて、「VARIANT」型や、パイプ構文、手続き型SQL、LLM対応のベクター型など新機能も追加されている。
移行時は、インフラ要件の事前確認や依存ライブラリの検証、動作検証など段階的なアプローチが推奨されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
