AIの精度をどう評価するか

PoCの終盤で必ず起きるのが、「だいたい合っているけれど、これは合格なのか」という議論です。出力を眺めて全員がうなずき、それでも数値にできないので判断に進めない。この足踏みは、評価の設計を検証の前にしていないことから生まれます。

評価は、集計の作業ではなく、検証の設計そのものです。そして、その設計に業務側が参加していなければ、出てきた数値は判断に使えません。

数値にできないのは、正解を決めていないから

AIの出力を数値で評価できない理由は、たいてい「何を正解とするか」が決まっていないことにあります。要約や下書き作成のような処理では、答えが一つに定まりません。同じ入力に対して、複数の妥当な出力があり得ます。

ここで「正解と完全一致した割合」を測ろうとすると、妥当な出力が軒並み不正解になり、数値は実態とかけ離れます。かといって「だいたい合っている」のままでは数えられません。

解き方は単純で、正解を「業務で使えるか」という基準に置き換えることです。

• そのまま使えるか
• 手直しすれば使えるか
• 使えないか

この3段階なら、どんな処理でも判定できます。そして判定できるのは、その業務を実際に行っている方だけです。

3段階の判定表から始める

評価の道具は、表計算ソフトで足ります。1行に1件、列は次のように取ります。

4列目が重要です。何を直したかの記述が集まると、「どの種類の誤りが多いか」が見えます。数値だけでは「60%が手直し要」までしか分かりませんが、記述があれば「手直しの大半は用語の言い換えで、内容そのものの誤りは少ない」といった判断ができます。前者では本番化を判断できませんが、後者ならできます。

段階を増やしすぎない

5段階、10点満点といった細かい尺度にしたくなりますが、PoCの規模では逆効果です。判定者が迷い、時間がかかり、担当者ごとのばらつきが増えます。3段階で足ります。細かさが必要になるのは、本番運用を始めて継続的に質を追う段階の話です。

見逃しと誤検出を分けて数える

分類や検知の処理では、誤りを一括りにできません。二種類の誤りは、業務上の重みが違うからです。

• 見逃し：拾うべきものを拾わなかった
• 誤検出：拾うべきでないものを拾った

例えば、問い合わせの中から緊急対応が必要なものを選び出す処理を考えます。見逃しは対応漏れにつながり、影響が大きい。誤検出は担当者が確認して外せば済むので、影響は小さい。この場合、見逃しを厳しく、誤検出を緩く評価すべきです。

逆に、自動で外部に送信する処理なら、誤検出のほうが重大になります。どちらが重いかは業務によって決まるので、判定表を作るときに業務側と合意しておきます。

合わせて、次の点も確認しておくと本番設計が楽になります。

• 誤りが起きたとき、人はそれに気づけるか
• 気づいてから直すのに、どのくらいの手間がかかるか
• 直さないまま流れた場合、どこまで影響が及ぶか

気づけない誤りは、数値が良くても本番化には慎重になるべきです。この論点はPoCと本番の間にある壁にもつながります。

判定は2名以上で、割れた事例を見る

判定を1名で行うと、その方の基準だけが反映されます。可能なら2名以上で同じ件を判定し、結果が割れた事例を集めてください。

割れた事例には、二つの意味があります。

一つは、判定基準が言葉になっていないという指摘です。「使える」の意味が人によって違うなら、基準を具体例つきで書き直す必要があります。これは評価の精度を上げるために必要な作業です。

もう一つは、その処理自体が人でも判断の分かれるものだという発見です。人が見ても割れるものを、AIが安定して処理できるはずがありません。この種類の処理は、AIに任せる対象から外すか、AIの出力を候補として出して人が選ぶ形に設計を変えるほうが現実的です。

想定例：ある企業が、顧客からの要望を「機能追加」「不具合報告」「使い方の質問」に分類する処理を検証したとします。営業と開発の担当者が別々に判定したところ、3割近くで判定が割れました。割れた事例を見ると、「思っていた動きと違う」という趣旨の要望が、営業からは不具合報告、開発からは使い方の質問に見えていました。つまり、人の間でも分類の基準が揃っていなかったわけです。この場合、AIの精度を上げる前に、社内の分類基準を決め直すのが先になります。検証の成果は、数値ではなくこの発見でした。

現状を測っておくと、比較できる

「精度80%は良いのか悪いのか」という問いには、比較対象がなければ答えられません。最も使える比較対象は、今の人手による処理です。

PoCを始める前に、次を粗くでも測っておいてください。

1. 同じ処理を担当者が行ったときの所要時間
2. その結果に、後から修正が入る割合
3. その処理に月あたり何時間かかっているか

人の処理も完璧ではありません。ここを測っておくと、「AIの結果は人よりわずかに劣るが、時間が大幅に短い」といった、現実的な判断ができるようになります。逆にこれを測っていないと、AIにだけ完璧を求めてしまい、いつまでも合格が出ません。

評価に業務側が参加する体制を作る

ここまで述べたとおり、評価の中心は業務側の判定です。開発側が担えるのは、検証の実装、判定表の設計の助言、結果の集計、そして失敗する条件の整理までです。

弊社がAI活用開発としてPoCをご一緒する場合も、判定そのものはお客様側の担当者にお願いしています。この分担を最初に確認するのは、業務を知る方の時間が確保できるかどうかが、検証の成否をほぼ決めるためです。週に数時間でも参加できる方がいれば、PoCの合格ラインを先に決めるで作る一枚の紙が、そのまま判断に使える結果を生みます。

評価用データの用意についてはPoCに必要なデータの用意をあわせてご覧ください。

使えるかどうかを、業務の言葉で数える

AIの精度評価は、統計の作業ではなく、業務の言葉で「使えるか」を数える作業です。3段階の判定表を作り、手直しの内容を記述で残し、見逃しと誤検出を分けて数える。判定は2名以上で行い、割れた事例から基準の曖昧さや処理そのものの向き不向きを読み取る。そして現状の人手による処理を先に測り、比較対象を持っておく。

この形なら、数十件の評価で判断に足る材料が揃います。判定表の設計から相談したい場合は、お問い合わせからご相談ください。