SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Developers Summit 2023 セッションレポート(AD)

企業のOSS採用が増加する中、デメリットにはどう対処する? Aivenが語るデータ基盤構築のベストプラクティス

【9-C-2】OSSを活用した次世代大容量データ基盤構築のベストプラクティス

  • X ポスト
  • このエントリーをはてなブックマークに追加

Apache Kafkaをベンダーロックインなしで、より容易に、より便利に

 三谷氏はAivenのサービスが容易に導入できることを、オープンソースの分散データストリーミングプラットフォームのApache Kafkaのサービスを例に紹介した。Apache Kafkaはイベント駆動型のアプリケーションやほぼリアルタイムのデータ転送とパイプラインストリーム分析など、アプリケーション間で大量データを迅速に移動する場合に最適だ。Aivenではこれを、ベンダーロックインなしのフルマネージドのサービスで提供する。

 Aiven for Apache Kafkaは、クラスタの設定、ノードの展開、クラウドの移行、バージョンアップをワンクリックで実行できる。「Apache Kafkaの複雑さを気にすることなく、アプリケーションの作成と実装に集中できます」と三谷氏。自らApache Kafkaのサーバーをセットアップするのはかなり手間だ。Apache Kafkaサーバーを構築できても、高可用性やセキュリティの確保や未知の障害への対応など、専門知識と多くの人的リソースも必要となる。

 Aivenでは、Apache Kafkaをフルマネージドで提供するので、ユーザーは不健全なノードや突然のダウンタイムなどを心配する必要はなく、オンデマンドでApache Kafkaクラスタを作成できる。たとえばApache Kafkaのノードが故障した際には、Aivenのサービスならノードを自動で修復できる。コントロールセンターがノードの故障を検知し、自動で代替ノードを作成、クラスタメンバーからデータを同期しリバランス処理を行う。

 またApache Kafkaのパーティションでメッセージの分散が不均一になると、メッセージのバランスが崩れレスポンスが遅くなり、メモリー不足のエラーでディスクが足りなくなりブローカーが停止することもある。オープンソースのApache Kafkaで対処するには、コマンドラインの操作が必要で、煩雑な手順となる。Aivenではコントロールセンターがパーティションの分散をチェックし、パフォーマンスと可用性のためにデータが最適に配置されるよう自動で調整する。セッションでは、TwitterのAPI経由でツイートの内容をApache Kafkaに取り込むデモを行った。ツイートをJSON形式で取得し、Key-Valueストアにメッセージとユーザーのメタ情報を格納。操作するごとにストリーミングされる情報を取得し、メッセージが追加される様子が紹介された。

 Aivenでは、Apache Kafkaをより便利に使うためのオープンソースツールのエコシステムも用意している。Apache Kafkaと外部システムを容易に接続するKafka Connect、異なるクラウドやリージョンへのレプリケーションを可能にするMirrorMaker 2、オープンソーススキーマレジストリおよびREST APIを提供するKarapaceなどがある。

アプリケーション間で大量のデータを迅速に移動する場合に最適なAiven for Apache Kafka
アプリケーション間で大量のデータを迅速に移動する場合に最適なAiven for Apache Kafka

 Aiven for Apache FlinkはAivenが新しく提供するサービスで、イベントストリームのSQL処理が可能となる。「これは、イベントのリアルタイムアラートやアグリゲーション、フィルタリング分析に最適です」と三谷氏。前述のデモで取得したApache Kafkaのメッセージにはたくさんのメタ情報があったので、Apache Flinkを用いてフィルタリングし、タイムスタンプとメッセージだけにする様子もデモで紹介された。

次のページ
大容量データを高速に分析できるClickHouse

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
Developers Summit 2023 セッションレポート連載記事一覧

もっと読む

この記事の著者

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

谷川 耕一(タニカワ コウイチ)

 かつてAI、エキスパートシステムが流行っていたころに、開発エンジニアとしてIT業界に。その後UNIXの専門雑誌の編集者を経て、外資系ソフトウェアベンダーの製品マーケティング、広告、広報などの業務を経験。現在はフリーランスのITジャーナリストとして、クラウド、データベース、ビッグデータ活用などをキー...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

丸毛 透(マルモ トオル)

インタビュー(人物)、ポートレート、商品撮影、料理写真をWeb雑誌中心に活動。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/17378 2023/03/14 12:00

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング