Ubuntuは5月28日（現地時間）、Apache Spark 4への移行に関する主な変更点を同社ブログ内で紹介した。
今回の最大の変更は、Scala 2.12がサポート対象外となった点であり、Sparkジョブや依存ライブラリは全てScala 2.13向けに再コンパイルが必要となる。Scala 2.13ではコレクションライブラリのAPIが大きく変更されているため、コード修正が求められる場合もある。コード移行にはScalafixなどのツールが活用できる。
また、Javaの実行環境は17以降が必須となり、旧バージョンのサポートは打ち切られた。Java 17および21が推奨されるが、XMLやサーブレット関連の変更点もあり、javax.*からjakarta.*への移行が必要となる。
Spark 4ではANSI SQLモードがデフォルトとなり、以前はNULLを返していた不正操作がランタイム例外を発生させる仕様に変更された。ログは構造化JSONで出力され、ストリーミングのステート管理にはRocksDBが標準採用された。加えて、「VARIANT」型や、パイプ構文、手続き型SQL、LLM対応のベクター型など新機能も追加されている。
移行時は、インフラ要件の事前確認や依存ライブラリの検証、動作検証など段階的なアプローチが推奨されている。
- 関連リンク
この記事は参考になりましたか？
- この記事の著者
-
CodeZine編集部（コードジンヘンシュウブ）
CodeZineは、株式会社翔泳社が運営する開発者のための情報メディアです。日々の開発に取り組むエンジニアやテクノロジーを学びたい方に向けて、プログラミングやAI活用、開発ツール、エンジニアの学びとキャリアに関する記事をお届けしています。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか？
この記事をシェア
