ドッグフーディングの効果を測る

ドッグフーディングを終えたとき、「だいたい良さそうです」という報告だけでは判断できません。良さそうという印象は、作った側の期待と、社内の遠慮と、慣れによって簡単に変わります。判断には数字が要ります。

本記事では、社内利用の成果を測る指標と、その読み方を整理します。始め方についてはドッグフーディングの始め方をご覧ください。

見るべき三つの数字

社内検証で見る指標は、多くする必要はありません。次の三つで、続けるか作り直すかの判断に足ります。

この三つを週単位で並べるだけで、状況がかなり見えます。三つとも高い水準で安定していれば、対象業務については実用に耐えています。利用率が高いのに回帰率も高い場合は、大半は使えているが特定の場面で破綻している状態です。

利用率 — 使われていない事実から逃げない

利用率は、対象業務の総件数を分母に取ります。プロダクト上で処理された件数だけを数えると、実態より良く見えます。

分母を把握するには、業務そのものの件数を別の方法で数える必要があります。請求書の発行枚数、問い合わせの着信数、申請の承認数など、プロダクトの外側にある数字を使います。分母が把握できない業務は、そもそも効果を測れないため、対象業務の選び方を見直します。

利用率が上がらない場合、原因は大きく三つに分かれます。

• 使う理由が伝わっていない（周知や合意の問題）
• 旧手段の方が明らかに速い（プロダクトの問題）
• 対象業務の一部が対応できていない（範囲の問題）

どれかを見分けるには、記録と突き合わせます。数字だけでは原因が分かりません。記録の集め方は社内の不満を仕様に変える手順で扱っています。

継続率 — 立ち上がりと定着を分ける

継続率は、週ごとに「その週に対象業務でプロダクトを使った人」の割合として見ます。新しいツールは最初の週に使われやすく、その後に落ちるのが通常です。見るべきは、落ちたあとに下げ止まるかどうかです。

• 下げ止まって安定する：定着した。残った人にとっては実用に耐えている
• 下げ止まらず減り続ける：使い続ける理由が弱い。機能不足か、手間が見合っていない
• 一度落ちて戻る：最初の障害が解消された可能性がある。何が変わったかを記録と照合する

チャーン（離脱）の考え方を社内に持ち込むことになりますが、社内の場合は「やめた理由を直接聞ける」という利点があります。使わなくなった人に理由を尋ねる作業は、外部の利用者に対して行うより手間が少なく、得られる情報も具体的です。

回帰率 — 満足度より正直な指標

三つの中で最も重視したいのが回帰率です。旧ツールや手作業に戻った件数は、満足度アンケートより正確に実態を表します。

人は、質問されれば好意的に答えます。しかし、締切に追われている場面では、使いにくいものを避けて確実な方法を選びます。その選択の記録が回帰率です。

回帰が起きたら、件数だけでなく理由を必ず記録します。

• 速度が業務に間に合わなかった
• 必要な項目が入力できなかった
• 出力の形式が提出先の要件に合わなかった
• 障害が起きて待てなかった

理由の分布を見ると、直すべき箇所が特定できます。特に「出力の形式が合わない」という理由は、外部に提出する成果物を扱う業務で頻出し、実装では見落とされがちな部分です。

想定例：社内の請求処理を自社ツールに載せた場面を考えます。利用率は9割を超えましたが、月末になると回帰が集中しました。理由を記録すると、取引先ごとに指定される請求書の様式に対応できず、月末にまとめて表計算で作り直していたことが分かりました。日常の操作性ではなく、特定の様式への対応が本当の課題だったという発見です。

使われていない機能を特定する

三つの指標に加えて、機能単位での利用状況も見ます。実装したのに一度も使われていない機能があれば、その事実自体が判断材料です。

使われていない機能には、次のいずれかの理由があります。

• 存在が知られていない（配置や導線の問題）
• 必要な場面が想定より少ない（仮説が外れていた）
• 使おうとしたが分からずやめた（操作の問題）

どれであっても、機能を足す前に確認すべき情報です。使われていない機能を残したまま新機能を積むと、画面が複雑になり、全体の使い勝手が下がります。指標の可視化についてはプロダクトのKPI設計とダッシュボードも参考にしてください。

社内で使われないものは、市場でも使われにくい

社内利用の数字を見る意味は、市場での成功を予測することではありません。社内は使うことを決められた立場であり、外部の利用者には選択の自由があります。社内で使われることは、良い兆候ではなく、最低ラインの確認です。

逆向きの推論は成り立ちます。使うことを決められた社内ですら使われないものが、選択の自由がある市場で使われる可能性は低いと考えるのが妥当です。社内の利用率が上がらない状態でリリースを進めるなら、その理由を説明できる必要があります。

一方で、社内で使われているからといって市場でも使われるとは限りません。この非対称を踏まえ、市場での見通しについてはPMFをどう見極めるかで扱う指標を別途見ます。社内検証で判断できる範囲の限界はドッグフーディングの限界と誤判断を参照してください。

判断の基準は開始前に決める

指標を測る上で最も重要なのは、判断の基準を開始前に決めておくことです。終わってから基準を決めると、出た数字に合わせて基準が動きます。

開始前に、たとえば次のような形で合意しておきます。

• 利用率が一定水準に届かなければ、対象業務の選び方から見直す
• 回帰率が下がらなければ、回帰の理由の上位から着手し、期間を延長する
• 継続率が下げ止まらなければ、機能の追加ではなく前提の見直しを行う

具体的な水準は業務の性質によって異なるため、一律の数値はありません。重要なのは、数字を見る前に線を引いておくことです。

感想ではなく、利用率・継続率・回帰率の三つと、使われていない機能の一覧。これが社内検証の成果物になります。

検証設計や指標づくりについてご相談がありましたら、Webシステム開発・UXデザインとあわせてお問い合わせからお気軽にご連絡ください。