PoCの合格ラインを先に決める

PoCが終わらない、という相談をよくいただきます。何度か試作を作り直し、そのたびに「もう少しで良くなりそう」という手応えがあり、しかし本番化の決裁は下りない。数か月が過ぎて、担当者は疲れ、経営側は成果を尋ねづらくなっている。

この状態にはほぼ共通の原因があります。始める前に、合格ラインを決めていないことです。

合格ラインがないと、誰も終わりを宣言できない

PoCの結果は、たいてい「まあまあ」の形で出てきます。うまくいく入力もあれば、崩れる入力もある。この「まあまあ」を、合格と呼ぶか不合格と呼ぶかを決める基準が事前になければ、判断は関係者の立場によって割れます。

• 推進した担当者は、うまくいった例を根拠に「あと少し」と言います
• 慎重な立場の人は、崩れた例を根拠に「まだ早い」と言います
• 意思決定者は、どちらの言い分も否定できず、「もう少し詰めて」と言います

この三者が全員誠実であっても、結論は「延長」になります。基準がないので、誰も終わりを宣言する根拠を持てないからです。これが、いわゆるPoC地獄の構造です。技術の問題でも、担当者の力量の問題でもありません。

開始前に紙に書く一枚

対策は単純で、PoCを始める前に次の内容を一枚の文章にして、意思決定者の承認を得ておくことです。

1. 確かめたい問い：一文で。「過去の問い合わせに対し、担当者がほぼ手直しなしで送れる返信下書きが作れるか」など
2. 判定の対象：どのデータを何件使うか。「直近3か月の問い合わせから無作為に抽出した100件」など
3. 測り方：誰がどう評価するか。「業務担当者2名が、そのまま送れる／手直しが要る／使えない の3段階で判定する」など
4. 合格ライン：「そのまま送れるが60%以上、かつ使えないが5%以下」など
5. 不合格だった場合にすること：やめる、対象を絞ってやり直す、別の解き方に切り替える、のいずれかを明記
6. 判定日：カレンダーに入れる日付

この6つのうち、実務で最も抜けるのは5番です。「不合格ならやめる」と書いていないPoCは、不合格が出ても延長されます。

「超えたら本番」と「超えなければやめる」は対で決める

合格ラインは片側だけでは機能しません。上限側だけを決めると、届かなかったときの扱いが宙に浮きます。次の3つの帯に分けて、それぞれの行動を先に決めておくと運用しやすくなります。

中間の帯を先に定義しておくと、「もう少し」の連鎖を1回で止められます。追加検証は1回まで、と書いておくことが効きます。

数値だけでなく、測り方まで決める

「精度80%以上」とだけ書かれた合格ラインは、事実上ないのと同じです。何を正解とするか、誰が判定するか、どのデータで測るかで、数字は大きく動きます。

• 正解の定義：完全一致を求めるのか、業務上使えれば良いとするのか。後者なら、その判断は人が下すので誰が判定するかが決まっていなければなりません
• 判定者：開発側だけで判定すると、業務で使えるかどうかの感覚が反映されません。業務側の方が評価に入ることが前提です
• データの選び方：うまくいきそうな例だけを選ぶと数字は良くなりますが、本番では再現しません。判定用のデータは、実際の分布を反映した無作為抽出か、あるいは意図的に難しいものを含めた形にします

測り方の具体はAIの精度をどう評価するかで詳しく扱います。ここで押さえておきたいのは、測り方が決まっていない数値目標は合格ラインとして機能しない、という点です。

想定例：ある企業が、社内文書からの情報抽出をAIに任せられるか検討したとします。当初の合格ラインは「精度90%」でした。ところが検証を始めると、そもそも「精度」が何を指すのか関係者で食い違っていることが判明します。抽出した項目のうち正しいものの割合なのか、1件の文書のすべての項目が正しく取れた割合なのか。前者なら90%は現実的でも、後者なら極めて厳しい基準です。この時点で一度止め、「1件の文書につき、担当者が直す項目が1つ以下であるものが80%以上」という業務に即した定義に置き直して、検証をやり直すことになります。

合格しても本番化しない、という結論もある

意外に思われるかもしれませんが、技術的な合格ラインを超えても本番化しない判断はあり得ます。次のような場合です。

• 合格したが、1件あたりの費用が想定を超え、規模を掛けると成立しない
• 合格したが、運用に必要な確認作業が現在の人員では回らない
• 合格したが、対象の業務そのものが近く変わることになった

だからこそ、合格ラインは技術面の数値だけでなく、PoCの期間と費用の考え方で扱う経済性の条件と並べて置くのが望ましい形です。一枚の紙に「技術の合格ライン」「費用の上限」「運用の前提」を並べて書いておけば、判定の場で漏れなく確認できます。

弊社がAI活用開発のご相談を受けるときも、まずこの一枚を一緒に作るところから始めることが多くあります。ここが決まれば、実装そのものは短く済むことがほとんどです。

基準を先に置けば、PoCは短く終わる

PoCが長引く原因は技術ではなく、終わりを判定する基準がないことです。開始前に、確かめたい問い・判定の対象・測り方・合格ライン・不合格時の行動・判定日を一枚にまとめ、意思決定者の承認を得る。中間の帯には追加検証1回までという上限を置く。これだけで、PoCは数週間で結論の出る工程になります。

どの範囲で検証するかはPoCの範囲を最小にする切り方を、基準の置き方に迷う場合はお問い合わせからご相談ください。