PR数から「SPACEフレームワーク」へ、技術組織の成長と共に進化した開発生産性の計測手法

【9-E-8】 定量評価疲弊しませんか? ～Well-beingと生産性指標を組み合わせたエンジニアリングメトリクスプログラムについて～

開発生産性を総合的・多面的に見ていくSPACEフレームワーク

　Four KeysとSLO/SLIを組織的に導入していった結果、指標を人事評価にも使うようになった。メンバーの半期ごとの個人目標としてFour KeysやSLOの項目を設定し、目標数値の改善に取り組むようになったという。その結果、パフォーマンス改善タスクを実施するなどの成果もあった一方、改善目標に挙げた項目を無理やり間に合わせるような対応も見られた。

　この頃から、他社の事例なども調べるようになり、社会学者のドナルド・キャンベル氏が提示する「キャンベルの法則」を見たときに、「どつぼにハマっていた」と感じたという。

キャンベルの法則

　どのような定量的な社会指標も社会的意思決定に用いられると、その分だけ劣化圧力を受けやすくなり、追跡対象としていた社会的プロセスがゆがめられ、劣化する傾向が強まる。

　「指標の観測を意思決定に使っていった結果、追跡対象としていた行動自体が歪んでしまったのはないか」と大谷氏は振り返る。ビジネス価値につなげるため、開発生産性を数値化・可視化して評価することは重要だが、開発生産性をアウトプットのみから定量化して評価することが困難だと気づいた。

　アウトプットを生み出す背景には、充実感や満足感に関係するエンゲージメント、プロダクトの課題感にインパクトを与えるモチベーションやコラボレーションに関わるものなどがあり、むしろこちらを意識した方が開発生産性向上につながるのではないかという考えに至った。つまり、開発生産性を総合的・多面的に見ていく必要があるのだ。

開発生産性の背後にあるものを多面的に見ていく

　そこで参照したのが、『LeanとDevOpsの科学』の著者の一人であるニコール・フォースグレン氏が筆頭著者となり、2021年に発表したレポートで提言されていた「SPACEフレームワーク」だ。

　SPACEフレームワークでは、開発者の生産性は「重要な1つの指標」で把握することはできないとしている。そこで、下図の5つのカテゴリで計測し、個人・チーム・システムという複数のレベルで多面的にとらえていくというものだ。

SPACEフレームワークとは

　さらにSPACEフレームワークでは、各カテゴリについて3つの指標を取得する。このとき、少なくとも1つはアンケ―トデータなどの定性的指標を含めるという。

　5つのカテゴリから選ぶ判定基準は、チームや組織が何を重要とするかで選ぶべきだ。例えば、「Communication and collaboration」と「Efficiency and flow」はトレードオフの関係にあり、チーム内の交流を増やすとフロー状態に入り集中できる時間が減るという。そのために、組織の成長段階や文化によってあるべき姿に落とし込み、自分たちの組織やコンテキストに合わせて決めることが重要だと言われている。

　このようなSPACEフレームワークについて大谷氏は「これぞまさに求めていたもの」と感じ、現在は組織に導入するべく取り組んでいる。