AI機能の品質をどう見張るか

AI機能には、通常のシステム障害と違う厄介さがあります。壊れても止まらないのです。エラーは出ず、応答も返り、画面も正常に見える。ただ、出てくる内容の質が落ちている。この状態は、記録がなければ誰も気づけません。

そして気づいたときには、現場が数か月前からその機能を使わなくなっていた、ということが起こります。本記事では、リリース後のAI機能の品質をどう見張るかを、記録と気づき方の両面から整理します。

品質はモデルを変えなくても落ちる

まず前提として、AI機能の品質は次のような理由で変化します。

• 入力の内容が変わる：利用者の層が広がる、扱う文書の種類が増える、業務のやり方が変わる。同じ仕組みでも、来るものが変われば当たり方は変わります。
• 利用者の期待が変わる：使い慣れた利用者は、より難しい使い方をするようになります。当初の想定より高度な入力が増え、相対的に出力が物足りなくなります。
• 参照している情報が古くなる：社内の文書や商品情報を参照させている場合、その情報が更新されないまま残ると、出力は静かにずれていきます。
• 提供元のモデルが更新される：外部のAIサービスを使う以上、提供元の更新による挙動の変化は起こり得ます。

このうち、実務で最も頻繁に起きるのは一つ目と三つ目です。「AIが劣化した」という話の多くは、実際には入力側か参照情報側の変化です。原因の切り分けができるだけの記録を持っているかどうかが、対処できるかを分けます。

何を記録するか

記録の設計は、リリース前に決めておく必要があります。後から足すと、比較できる過去の記録がない状態から始まります。

最低限の項目は次の通りです。

利用者がその後に取った操作が、実は最も価値のある記録です。出力そのものの良し悪しを機械的に判定するのは難しいのですが、「その出力を人が使ったか」は確実に分かります。

記録にあたっては、個人情報や機密情報の扱いを先に決めてください。どの項目を残すか、どれくらいの期間保持するか、誰が閲覧できるか。これはシステムの設計ではなく、事業としての方針の問題です。必要に応じて、入力の一部を伏せて記録する、一定期間で消す、といった設計にします。

気づくための見方

記録を集めても、見なければ意味がありません。実用的な見方を三つ挙げます。

手直しの割合を追う。生成された内容を人が編集した割合、分類結果を人が変更した割合。この数字が上がっていれば、出力が業務に合わなくなっています。週単位で並べて、傾向が変わった時点を探します。何かが変わった週があれば、そのあたりの入力を実際に読んでみます。

離脱を追う。機能を開始したが最後まで使わなかった割合です。手直しの割合と違い、こちらは「使う価値がないと判断された」ことを示します。上がっていれば、出力の質か速度のどちらかに問題があります。

想定外の入力を探す。処理に失敗した入力、極端に長い入力、極端に短い入力、これまでなかった種類の入力。これらが増えていれば、利用のされ方が変わった合図です。実物を数件読むだけで、状況がつかめることが多くあります。

いずれも、平常時の値を知っていることが前提です。リリース直後の数週間の数字を記録しておき、そこからの変化を見る形にしてください。絶対値の良し悪しを議論しても結論は出ません。

定期的に人が読む

数字に加えて、実際の入出力を人が読む時間を運用に組み込むことをおすすめします。月に一度、無作為に抽出した数十件を担当者が読む、という程度で構いません。

数字は変化を教えてくれますが、何が起きているかは教えてくれません。実物を読むと、「この種類の依頼には全く答えられていない」「丁寧すぎて読みにくい」といった、数字に出ない問題が見つかります。

読む担当は、開発ではなく業務側の人が適しています。その出力が業務で使えるかを判断できるのは、業務を知っている人だからです。

数字が先に動き、理由は実物を読んで分かる。想定例で、その順序を追ってみます。問い合わせ分類の手直し率を毎週見ていたところ、ある月から手直しが増えました。数字が教えてくれたのはここまでです。実際の入出力を読むと、新しく始めたキャンペーンに関する問い合わせが「その他」に入り続けていました。AIの品質が落ちたのではなく、来る問い合わせの種類が増えていたわけです。分類の種類にキャンペーン対応を追加して解決しましたが、記録も抽出読みもなければ、現場が黙って手作業に戻していたはずです。

費用も品質の一部です

AI機能では、使われ方が変わると費用も変わります。利用量に応じた課金が一般的なため、想定外の使われ方が費用に直結します。

• 上限と通知を設定する：利用するサービス側で使用量の上限を設け、一定の水準を超えたら通知が来るようにします。設定を忘れると、気づいたときに請求で知ることになります。
• 一人あたりの利用量を制限する：自動化された処理が繰り返し呼び出す、といった事故を防ぎます。
• 費用の内訳を見る：どの機能が費用の大半を占めているかを把握しておくと、削減の検討がしやすくなります。入力を短くする、参照する情報を絞る、といった改善で下がることがあります。

費用の急増は、品質の問題の合図であることもあります。同じ処理を何度も呼び出している、入力が意図せず長くなっている、といった不具合が費用に現れます。

作らないほうがよい監視の仕組み

品質の監視という話になると、仕組みを作る方向に進みがちです。弊社が開発をお請けする場合でも、次のものは作らないことをお勧めしています。いずれも、作る費用と保守の手間に対して、得られる判断材料が少ないためです。

AIにAIの出力を採点させる仕組み。 出力の良し悪しを別のAIに判定させる方法は、件数が多い場合には有効ですが、その採点が正しいかを人が確かめる工程が別に必要になります。結局は人が読むことになるうえ、採点のための利用料が上乗せされます。月に数千件を超える規模になり、人が読む工程だけでは追えなくなってから検討する領域です。

専用のダッシュボードの作り込み。 見る習慣が定着する前に画面を作ると、作った画面を誰も開かない状態になります。最初は表計算に週次で数字を書き写す形で十分です。三か月続いて、書き写す手間が負担になってから自動化してください。

すべての入出力を全文保存する仕組み。 調査に便利ではありますが、個人情報の保管庫を自前で作ることになります。保存する項目を絞り、元データへの参照で足りる部分は参照にしてください。この線引きはAIの判断を後から追えるようにするで扱っています。

リアルタイムでの品質警告。 出力の質が落ちた瞬間に通知する仕組みは、技術的には作れますが、受け取った側が即座に対応できる体制がなければ、通知が無視されるだけです。週次で気づければ足りる性質の問題がほとんどです。

監視で最初に要るのは仕組みではなく、見る人と、見る日と、見る数字です。この三つが決まっていない状態で仕組みを作ると、動いているが誰も見ないものが一つ増えます。

誰が見るかを決めておく

最後に、運用の話です。記録と指標を用意しても、見る人が決まっていなければ機能しません。

決めておくべきことは三つです。どの数字を、どのくらいの間隔で、誰が見るか。そして、悪化していたときに誰に相談するか。小さなチームであれば、月次の定例で十分です。ダッシュボードを作り込むより、まず見る習慣を作る方が優先されます。

AI機能を出した後の運用設計、記録すべき項目の整理、費用の監視について、AI活用開発・インフラ整備・クラウドコスト最適化としてご相談を承ります。お問い合わせよりご連絡ください。ご相談・お見積りは無料です。

本記事は一般的な情報であり、個別の事案は専門家・所管官庁にご確認ください。