処理時間が140分から17分に！ データ基盤のボトルネックを解消
電力の供給状況に応じて使用量を調整する仕組みを「デマンドレスポンス」と呼ぶ。デマンドレスポンスには、家庭や企業に節電を促す働きかけや、電力使用機器を自動制御する仕組みなどが含まれる。
ENECHANGEのエネルギークラウド事業部が開発・運用しているデマンドレスポンスのシステムでは、約30万件の需要家を対象として、日々の電力使用量の取り込みやメール送信、ベースライン計算を行っている。このユーザー数を10倍以上に増やしたいという要望がクライアント企業から挙がり、バッチ処理のパフォーマンス向上が急務となった。本セッションでは、電力使用量の取り込みの改善事例について語られた。
既存システムでは、AWS LambdaとAmazon SQSを利用してCSV形式のデータを取り込み、Amazon DynamoDBを使って排他制御を実施していた。初回データ取り込み時には、30万件の需要家×30日分のデータを処理する必要があり、2～3カ月に1回行われるバッチ処理に多大な時間を要していた。さらに、すべてのインプットファイルを確認しなければ1ユーザー分のデータが揃ったか判断できない設計がボトルネックとなっていた。
これらの課題を解決するため、Apache Sparkを活用した分散処理の導入を決定。インフラ構築・運用の負担を軽減するため、Amazon EMR Serverlessを採用した。導入後の検証結果では、処理時間が140分から17分に短縮され、約88％の改善を実現。さらに、処理にかかる金銭的なコストも154ドルから7.5ドルに削減され、約95％の削減率を達成した。この成果により、システムは高いスケーラビリティを実現し、将来的なユーザー数の増加にも対応可能な基盤が構築された。
おわりに
本イベントでは、各登壇者がデータ基盤の特徴や課題を率直に語り、今後の改善に向けた取り組みを明らかにした。とりわけ、技術選定の観点やアーキテクチャ設計の知見など実践的なノウハウが語られたことは、視聴者の方々にとって有益な学びになったのではないか。これらの情報が、多くのエンジニアにとって新たな気づきやインスピレーションを与え、データ活用のさらなる発展に寄与することを期待したい。
