PoCに必要なデータの用意

PoCの相談で最も多く止まる場所は、技術でも予算でもなく、データの用意です。「社内のデータが整理されていないので、まず整えてから」と言われて、そのまま半年が過ぎる。よくある経路です。

結論から言えば、整えるのを待つ必要はありません。PoCに必要なデータは、多くの場合、今すぐ手元から数十件集められます。

きれいなデータを待つと始まらない

「データを整えてからAIを試す」という順序には、二つの問題があります。

一つは、整える作業に終わりがないことです。何のために、どこまで整えるのかが決まらないまま整理を始めると、際限なく続きます。

もう一つは、整ったデータで試しても本番の見込みが立たないことです。実際の業務データには、表記の揺れ、書式の不統一、欠けた項目、例外的な記載が必ず含まれます。それらを取り除いた見本データで良い結果が出ても、本番で同じ結果は出ません。

正しい順序は逆です。まず汚いままのデータで試し、どういう汚れが結果を壊すかを知る。そのうえで、本番化するなら何を整える必要があるかを判断する。整備の投資は、必要性が分かってから行うほうが安く済みます。

PoCで必要なのは、量ではなく質です。実際の業務データが数十件あれば、傾向は掴めます。PoCの範囲を最小にする切り方で扱ったとおり、対象を一工程に絞れば、集めるデータもその工程のものだけで済みます。

入力用と評価用を分ける

用意するデータには、性質の違う2種類があります。ここを混ぜると、検証の結果が信用できなくなります。

評価用データは、正解を人が付けたものです。ここでいう正解は、必ずしも唯一の答えではありません。「業務担当者が見て、そのまま使えると判断する結果」という意味です。誰がどういう基準で正解を付けたかを記録しておくと、後で判定が割れたときに立ち返れます。

評価用データを調整に使わない

最も重要な原則がこれです。評価用データを見ながら指示文を調整すると、そのデータでは良い結果が出るようになりますが、それは調整が効いているだけで、未知のデータでも同じ結果が出る保証にはなりません。

• 入力用データで、指示文や参照させる社内文書を調整します
• 調整が終わったら、一度も見ていない評価用データで測ります
• 評価用データで測った結果が、合格ラインとの照合に使う数値です

もし評価用データの結果が悪くて調整に戻るなら、次の評価には別のデータを用意します。手間ですが、この規律を守らないと、PoCの合格ラインを先に決めるで決めた基準が意味を失います。測り方の具体はAIの精度をどう評価するかで扱います。

難しい事例を必ず入れる

集めるデータは、典型例だけでは足りません。次のものを意図的に含めてください。

• 過去に担当者が判断を迷った事例
• 差し戻しや再確認が発生した事例
• 書式や記載が例外的だった事例
• 件数は少ないが、間違えると影響が大きい事例

これらが結果を大きく下げます。下がった結果こそが、本番設計で「どこを人が担当するか」を決める根拠になります。

想定例：ある企業が、取引先から届く納品書の内容をAIに読み取らせられるか検討したとします。経理担当者に「過去の納品書を30件ください」とお願いすると、きれいに揃ったものが選ばれてきがちです。そこで依頼を「処理に手間取ったもの、問い合わせが必要だったものを中心に30件」と変えます。集まったのは、品目名が略記されているもの、数量の単位が揃っていないもの、備考欄に重要な条件が書かれているものでした。検証の結果、品目と数量は安定して読み取れるが、備考欄の条件の解釈は担当者の知識に依存すると分かります。本番設計は「品目と数量は自動、備考欄は必ず人が確認」という形に決まります。

個人情報を含む場合の扱い

業務データには、顧客の氏名、連絡先、取引内容などが含まれていることがほとんどです。これらを外部のAIサービスに渡すかどうかは、技術の判断ではなく、事業のリスク管理の判断です。PoCを始める前に、次の順で確認してください。

1. そもそも渡す必要があるか

検証したい処理に、その情報が本当に要るかを問い直します。氏名や連絡先は、多くの処理では不要です。不要なら、削除するかダミーの値に置き換えたデータで検証できます。

2. 匿名化・マスキングで代替できるか

氏名を「A社担当者」に置き換えるなど、検証の目的を損なわない範囲で置き換えます。置き換えによって処理の難しさが変わる場合（固有名詞の判別そのものが検証対象の場合など）は使えないので、次の確認へ進みます。

3. 利用するサービスの契約形態と設定

外部のAIサービスが入力内容をどう扱うか（保存の有無、学習への利用、第三者への提供）を確認し、学習に利用されない設定や契約形態を選びます。組織のアカウントで一括管理できる形にすると、設定漏れを防げます。

4. 社内ルールと取引先との契約

社内のデータ持ち出しルール、取引先との秘密保持契約、業務委託契約上の制限を確認します。PoCだから例外、という扱いにはなりません。この確認を飛ばすと、本番化の直前で止まります。

これらはスタートアップのセキュリティと個人情報保護で扱う考え方と地続きです。PoCの段階から同じ基準で扱っておけば、本番化のときに作り直す必要がなくなります。

誰がデータを用意するか

データの用意は、外部に丸投げできない作業です。どのデータが業務上重要か、どれが例外的か、何を正解とするかを知っているのは、業務を担当している方だけだからです。

弊社がAI活用開発でPoCのご相談を受ける際も、データの選定と正解付けはお客様側にお願いしています。こちらでできるのは、集め方の設計、扱いのルールの整理、集まったデータでの検証の実装です。「週に数時間、業務が分かる方が参加できるか」を最初に確認させていただくのは、この作業があるためです。

汚いまま、少しでいい

PoCのデータは、整えてから始めるものではなく、今あるものから数十件を選んで始めるものです。入力用と評価用を分け、評価用は調整に使い回さない。難しい事例を意図的に含める。個人情報は、渡す必要があるかから問い直し、匿名化と設定の確認を経てから扱う。この形なら、データの用意は数日で終わり、検証はすぐに始められます。

集める範囲や扱い方に迷う場合は、お問い合わせからご相談ください。オンラインで業務の流れとデータの状態を伺い、何をどれだけ集めればよいかを一緒に整理します。

本記事は一般的な情報であり、個別の事案は専門家・所管官庁にご確認ください。