SHOEISHA iD

※旧SEメンバーシップ会員の方は、同じ登録情報(メールアドレス&パスワード)でログインいただけます

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

Developers Summit 2023 Summer セッションレポート(AD)

障害発生時の回復力をチームで高めるためには?リクルートに学ぶ、カオスエンジニアリングの取り組み

【D-8】リクルートのデータ組織におけるカオスエンジニアリングによる安定運用の取り組み

  • X ポスト
  • このエントリーをはてなブックマークに追加

 SUUMOの公式サイト上でユーザーにお勧めの物件を紹介する「SUUMOレコメンドシステム」。同システムを担当するデータ推進室は、システムの障害に伴うユーザー体験の悪化を防ぐため、安定運用を実現するさまざまな取り組みを行ってきた。安定運用を実現するには、障害そのものの発生頻度を抑える信頼性だけではなく、障害が発生した際に、素早く復旧させる回復力が必要になる。SUUMOレコメンドシステムにおける安定運用に向けた「信頼性」「回復性」の取り組みについて、同推進室でデータエンジニアリング部部長を務める鶴谷誠文氏と、同じく住まいデータエンジニアリンググループの芳賀宣仁氏が紹介した。

  • X ポスト
  • このエントリーをはてなブックマークに追加

システムの安定運用を実現するための取り組み

 大学新聞の広告代理店として、人材を求める企業と仕事を求める学生のニーズをマッチングさせる情報誌ビジネスから始まったリクルート。「求職活動や採用活動を支援する人材領域」に加え、今ではSUUMOやじゃらん、ゼクシィ、ホットペッパーなど「住宅・旅行・飲食といった販促領域」においても、個人ユーザーと企業クライアントが出会う場を創り出し、より最適なマッチングを生み出すべくさまざまなビジネス・サービスを展開している。

株式会社リクルートプロダクト統括本部プロダクト開発統括室データ推進室データエンジニアリング部部長 鶴谷 誠文氏
株式会社リクルート プロダクト統括本部 プロダクト開発統括室 データ推進室 データエンジニアリング部 部長 鶴谷誠文氏

 鶴谷氏や芳賀氏が所属するデータ推進室は、販促領域や人材領域という事業領域ごとのデータ施策を推進する縦の組織と、データサイエンスやデータエンジニアリングという専門分野ごとに専門性を強化する横の組織とを併せ持つマトリックス型の組織構造を採用している。この縦の組織の内、SUUMO領域で担当しているシステムの一つが、SUUMOレコメンドシステムである。

データ推進室について
データ推進室について

 「SUUMOレコメンドシステム」は、SUUMOの公式サイト上でユーザーのお勧めの物件をリコメンドするサービス。「このシステムは、最新の物件の情報や機械学習モデルの更新が行われないなど障害が発生するとユーザーの体験が悪化してしまうため、安定運用を実現する必要があった」と鶴谷氏は振り返る。鶴谷氏は証券系SIerで10年、インフラエンジニアやシステムコンサルタントを経験した後、2015年にリクルートに入社。リクルートIDの基盤の開発やクラウド移行を担当。その後、SUUMOレコメンドシステムの基盤移行や複数の分析基盤の運営などに携わってきた。

 SUUMOレコメンドシステムの安定運用を実現するために、鶴谷氏たちが重視したのが「信頼性」と「回復性」である。信頼性とは、障害の発生しにくさや障害の発生する頻度をできるだけ少なくすること。一方の回復性とは、障害が発生した際にできるだけ素早く正常復旧させることである。「組織としてこのようなケイパビリティを備えることは必要だと考えていました」(鶴谷氏)

 そこでデータ推進室では、3年前から安定運用のための各種取り組みを強化してきたが、「当初は信頼性の向上を中心に取り組みを進めていた」と鶴谷氏は語る。具体的には監視項目の整備や強化、不足している監視項目の追加、障害が発生した際の対応フローの整備など、トラブルが発生した際に適切に対応するためのルール整備に努めていたという。

 その上で発生する障害に対して毎回、暫定対応や恒久対応することに加え、「同様の障害が発生しないよう横展開での調査や対抗を行うことを徹底してきました」と鶴谷氏は語る。それらの取り組みと共に、一定期間経過して古くなった基盤を社内の横断プロダクトに移行したり、サーバーレス化やCI/CD整備を進めることで技術負債を解消したり、保守運用が容易な基盤に作り替えることも行ってきたという。

SUUMOレコメンドシステムの安定運用に向けた取り組み
SUUMOレコメンドシステムの安定運用に向けた取り組み

 「このような取り組みをした結果、リコメンドが表示されないなどの重度な障害が発生することがなくなり、障害が起きないことが当たり前の状態になりました」と鶴谷氏は話す。

次のページ
カオスエンジニアリングで、障害時の回復性を担保に挑戦

この記事は参考になりましたか?

  • X ポスト
  • このエントリーをはてなブックマークに追加
Developers Summit 2023 Summer セッションレポート連載記事一覧

もっと読む

この記事の著者

中村 仁美(ナカムラ ヒトミ)

 大阪府出身。教育大学卒。大学時代は臨床心理学を専攻。大手化学メーカー、日経BP社、ITに特化したコンテンツサービス&プロモーション会社を経て、2002年、フリーランス編集&ライターとして独立。現在はIT、キャリアというテーマを中心に活動中。IT記者会所属。趣味は読書、ドライブ、城探訪(日本の城)。...

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

川又 眞(カワマタ シン)

インタビュー、ポートレート、商品撮影写真をWeb雑誌中心に活動。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

CodeZine編集部(コードジンヘンシュウブ)

CodeZineは、株式会社翔泳社が運営するソフトウェア開発者向けのWebメディアです。「デベロッパーの成長と課題解決に貢献するメディア」をコンセプトに、現場で役立つ最新情報を日々お届けします。

※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です

提供:株式会社リクルート

【AD】本記事の内容は記事掲載開始時点のものです 企画・制作 株式会社翔泳社

この記事は参考になりましたか?

この記事をシェア

  • X ポスト
  • このエントリーをはてなブックマークに追加
CodeZine(コードジン)
https://codezine.jp/article/detail/18223 2024/01/12 14:27

おすすめ

アクセスランキング

アクセスランキング

イベント

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

新規会員登録無料のご案内

  • ・全ての過去記事が閲覧できます
  • ・会員限定メルマガを受信できます

メールバックナンバー

アクセスランキング

アクセスランキング