リーンスタートアップの基本的な考え方である「ニーズが不確かなサービスは初期段階では小さく始め、確からしさの検証を重ねて大きく育てる」は、クラウド環境の浸透やスマートフォンアプリ開発のハードル低下とともに、実に分かりやすく始めるのもカンタンです。
しかし、この分かりやすさと始めやすさとは裏腹に、リーンを実際に運用してみると「どのように育てたら良いのか分からない・・・」という困惑をよく見かけます。課題の改善を繰り返しても良い結果につながらないなど、前へ進んでいる実感を得られない状態に陥り、フィードバックループが回らなくなるのです。
今日は継続的な改善における典型的な失敗事例をご紹介して、リーンの効果が劇的に向上するあるポイントをお伝えします。
多くの方がその間違いに気づかないポイントなのですが、いったん分かってしまうと実に簡単なことなので、ぜひご一読ください。
では、すでにローンチ済みのサービスの改善を行っている場面を想定しながら、一緒に考えてみてください。
下の図は、あるサービスにおいてチームが「ユーザの滞在時間を向上させる」という改善に取り組んでいる場面を表しています。滞在時間の長いユーザがARPUが高いことをデータから読み取ったエンジニアが、滞在時間を向上させる施策としてユーザの行動履歴からレコメンドを表示するという機能を投入するという、サービス改善を行うチームではよく見かける光景です。
しかし、この改善活動にはある重大な欠点が隠されているのですが、みなさんはその間違いが分かりますでしょうか。課題があって、改善策を立てて実行したらその結果を確認する、という単純な作業なのですが、ここにはPDCAを回す上での大きなミスがあるのです。この先を読み進めて答えを見てしまう前に、ぜひ少し時間を取って考えてみてください。
いかがでしたか？分かりましたか？
正解は「メトリクスの設定が間違えている」です。
正しくは、まず最初に「レコメンドが押下されたか？」を測定しなければならないのです。
？？？
なんで？滞在時間を向上させるために対策を打ったのだから、それが向上したかを確認するのは当たり前？
ですよね。
ではこのフィードバックループの詳細を見ていきましょう。
ここでチームが成し遂げたいことは「ユーザの滞在時間の向上」です。これが今回の作業の「目的」に相当します。
次に「レコメンドを表示する」とうのは、この「目的を達成するための一案」として実行されますので、つまりは「手段」に相当します。
つまりこの両者は「目的」と「手段」の関係にあるわけです。
図のループでは手段を講じた結果として目的が達成しているかを判断しているわけですが、手段と目的の関係には常に以下のような結果が発生します。
１．手段が達成され、目的も達成された（よって目的と手段は因果関係があった、と推測できる）
２．手段が達成されず、目的も達成されなかった（同じ）
３．手段は達成されたが、目的は達成されなかった（よって目的と手段に因果関係がなかった）
４．手段は達成されなかったが、目的は達成されていた（目的と手段には因果関係がなく、かつ他の要因が目的を達成した）
この場合、手段である「レコメンドの表示」を投入した効果を測定するには、次の2段階を経る必要があります。
１．ユーザはレコメンド表示に反応したか（押下したか）
２．その結果としてレコメンド表示はユーザの滞在時間向上に貢献したか
では上記の４パターン毎に、チームがその後に取るべき行動を整理しましょう。
１．手段が達成され、目的も達成された（よって目的と手段は因果関係があった、と推測できる）
→今回の測定期間においては、目的と手段に因果関係があったように推測できた。よって両者の関係性を今後も継続して定量的に観察し、その効果をウォッチする
２．手段が達成されず、目的も達成されなかった（同じ）
→まずはなぜ手段が達成されなかったのかを考察し、手段が実行されるよう修正を行う。両者の因果関係についてはその結果を持って判断する。
３．手段は達成されたが、目的は達成されなかった（よって目的と手段に因果関係がなかった）
→手段と目的に因果関係が無かったので、他の手段を検討すると共に、この手段をそのまま維持するかどうかも検討する（場合によっては、目的を達成できなかった手段は削除することも）
４．手段は達成されなかったが、目的は達成されていた（目的と手段には因果関係がなく、かつ他の要因が目的を達成した）
→手段が達成されなかった原因を考察すると共に、目的を達成した他の要因がなにかの調査を開始する
このように、目的と手段を明確に分離すると、ループの2周目でやるべきことがまったく異なる作業になることが分かります。これを単純に滞在時間が延びたら良かった、伸びなかったら他の策をまた投入するの⒉択で運用を繰り返していくと、実は手探りで運用しているのとまったく同じ状態になっていくのです。
書籍「リーン・スタートアップ
これをプロセス設計の観点から解説すると、物事にはすべて「目的」と「手段」があり、これは幾重にも重なった構造を形成します。例えば企業活動の最終目標は決算において黒字化することや株価の向上に帰結してくるわけですが、この「目的」を叶えるためには、部門毎に幾重にも細分化された「手段（群）」で形成されます。こうしたひとつひとつの手段群を測定する基準として、いきなり株価で判断することはありません。それぞれの手段が個別に測定され、その集合体として「目的」が達成されたかを判断するのです。
つまり”Vanity Metrics”の正体とは、目的と手段の関係において、その構造を飛び越えたメトリクスで評価をすること全般を指すのです。
目的と手段の組み合わせが５層で構造されているとしたら、メトリクスは階層構造それぞれに存在しなければなりません。そして常にまず下位の手段が測定され、その結果として手段が上位の目的に対して効果があったかという判断を繰り返していくのです。これが「アクショナブル（対応可能な）評価基準」が設定されている状態です。
リーンスタートアップの考え方は実に単純ですが、実際の運用を設計すると実に深い考察が必要になります。今回のような「手段と目的は別々に測定し、その因果関係を考察する」といった基本を押さえていくことで、その精度は格段に向上するのです。
前回もお話ししましたが、リーンスタートアップとは事業開発を「マネジメント」することです。
マネジメントできている状態とはどのような状態であるかをぜひ考えてみてください。