SPACEフレームワークの使用方法
5つのカテゴリの評価指標からどのように生産性を観測していくのか、フレームワークの使用方法について紹介します。
カテゴリの選定基準
まずどのカテゴリを選定するかですが、2つのルールが推奨されています。
1つ目に推奨されているルールは、複数のカテゴリから少なくとも3つの指標を取得することです。
論文では、Activityカテゴリの一つであるコミット数を測定指標として選定した場合、同カテゴリに属するPR数やコーディング時間を選定することを避けるよう勧めています。
特定のカテゴリ指標のみを選定した結果、メンバーが自分のポイントを最適化することに集中し、オンボーディング、他チームとのコラボレーションなど会社にとって重要な目に見えない仕事をおろそかにするような事態を避けるため、複数のカテゴリでバランスのとれた見方をすることが推奨されています。
2つ目に推奨されているルールは、少なくとも1つはアンケートなどの知覚的な定性指標を含めることです。
これは、参照されている別論文「DevOps metrics」によると、多くの場合知覚データは、システム動作の計測だけから観察できる情報よりも正確で完全な情報を提供できるということから推奨されています。
また論文内には、具体的な指標が5つのカテゴリのどれに分類されているかの例が紹介されています。
ただ、5つのカテゴリから何を選ぶのか、どのような組み合わせで決めるべきか、その判定基準は具体的には多く示されていません。
論文内では、上記のコードレビューフローでの例や、インシデント管理時の例が2つほど示され参考にはなりますが、測定基準として何を選択するかがチームや組織が何を重要とするかを示すものとなるということを強調しており、選択は各々の運用者に委ねられています。
そのため、チームや組織のフェーズや文化によって、どのカテゴリや指標を選択し、あるべき姿をどのように定めるかが重要です。
例えば、小規模のスタートアップでは、とにかく価値を形にしてPMF（Product-Market Fit）を達成することが重要ということから、以下のような組み合わせが考えられます：
- Activity：PRマージ数、リリース数（Four Keys）
- Performance：顧客満足度（NPS）
- Satisfaction：コンディションサーベイ
一方、中規模以上（従業員50名以上）である程度成長段階にある組織やチームでは、細分化された業務フローの各工程を最適化、最大化することを目指し、以下のような組み合わせが考えられます：
- Activity: Four Keys指標すべて
- Efficiency and flow: サイクルタイムによる各工程の歩留まり率、コードレビュー効率
- Satisfaction: コンディションサーベイ、開発フロー上のトイル・ペインアンケート
このように、自分たちの組織やコンテキストに合わせて、あるべき姿を具現化することが求められます。
おわりに
今回は、SPACEフレームワークの定義とその使用方法について説明しました。
フレームワークなので運用や具体は各々次第だというのは分かりつつも、もう少し方針があると嬉しいなと思ったのが最初論文を見たときの私の感想です。この運用方針については、次回の連載で弊社での具体的な運用方法を踏まえた利活用のイメージを共有します。
また、何を基準にカテゴリを選定し、導入判断をすべきなのか、運用方法としてのイテレーションイメージ、また、その効果はどうだったかも含めてお伝えしていきます。
