AI機能を安全に世に出す

AI機能の公開には、通常の機能とは違う不確かさがあります。事前にどれだけ試しても、実際の利用者が何を入力するかは分かりません。そして、想定外の入力に対して、AIは黙って何かを出力します。

この不確かさに対処する方法は、慎重に作り込むことではなく、小さく出して、見て、広げることです。本記事では、AI機能を公開するまでの手順を段階に分けて整理します。

手順1: 止める手段を先に作る

公開の準備で最初にやるべきなのは、機能を止める手段を用意することです。作ってから考えるのではなく、公開の前提として先に作ります。

必要なのは次の三つです。

• 設定の変更だけで機能を止められること。コードの修正と配信を待つ形では、急ぐ場面で間に合いません。管理画面の切り替えや環境設定の変更で止まる形にします。
• 止めた状態で業務が続けられること。AI機能が止まったときに、従来の手作業や既存の画面で業務が回るかを確認します。AIが唯一の手段になっている機能は、止められません。
• 止まっていることが利用者に分かること。「現在ご利用いただけません」という表示を用意します。無言で動かない状態は、問い合わせを増やします。

用意したら、実際に止めて動かしてみてください。止める操作を一度も試していない停止手段は、あてにできません。

加えて、利用量と費用の上限もこの段階で設定します。想定外の使われ方が費用に直結するため、上限と通知は公開前に必須です。

手順2: 社内で使ってみる

最初の公開先は社内です。自分たちの業務で、実際のデータを使って動かします。

この段階で確かめるのは、機能が動くことではなく、業務で使えるかどうかです。開発の担当者ではなく、その業務を日常的に行っている人に使ってもらってください。「動きました」と「使えます」は別の評価です。

確かめる項目を挙げます。

• 出力の内容が、業務の判断に足りているか
• 応答までの時間が、業務の流れを止めていないか
• 期待通りでない出力が出たときに、手で直せるか
• 使い方の説明なしに、何をする機能か分かるか

ここで「使えない」と分かれば、公開前にやり直せます。逆に、この段階を飛ばして外部に出すと、利用者の前で同じことに気づくことになります。

この段階と並行して、想定外の入力を意図的に試してください。空欄、極端に長い入力、関係のない内容、悪意のある指示を含む入力。それぞれで何が起きるかを確認し、困る挙動があれば入力の段階で弾く処理を入れます。

手順3: 一部の利用者に公開する

社内での確認を通ったら、限られた利用者に公開します。対象の選び方は状況によりますが、次のような区切りが使われます。

この段階で見るのは、想定していなかった使われ方です。社内の確認では、作った人たちの想定の範囲で試すことになりがちです。外部の利用者は、想定していない使い方をします。

見るべき記録は、入力の内容、出力を採用した割合、途中でやめた割合、処理に失敗した件数です。数字だけでなく、実際の入力を数十件読んでください。読むと、想定と違う使われ方がすぐ見つかります。

期間の目安は、十分な件数の利用が集まるまでです。日数ではなく件数で決めてください。利用の少ない機能を一週間で判断しても、材料が足りません。

手順4: 進むか戻るかを判断する

次の段階へ進む前に、判断の場を設けます。判断基準は、この段階に入る前に決めておいてください。公開後に基準を決めると、都合の良い解釈になります。

判断の材料は次のようなものです。

• 出力が業務で使われた割合が、期待した水準にあるか
• 大きな誤りの報告が出ていないか
• 費用が想定の範囲に収まっているか
• 応答時間の問題が出ていないか
• 利用者から否定的な反応が出ていないか

進む、留まって改善する、止める。この三つの選択肢を用意しておきます。止めるという選択肢を最初から置いておくことが重要です。一度公開した機能を引っ込めるのは心理的な抵抗がありますが、段階公開の目的はまさにそのためです。留まって改善する場合は、何を変えて、何をもって改善したと判断するかを決めてから作業に入ります。

手順5: 対象を広げる

判断を通ったら、対象を広げます。一度に全体へ広げるのではなく、二、三段階に分けることをおすすめします。

広げるたびに、費用と応答時間を確認してください。利用が増えると、少数では見えなかった問題が出ます。特に、AIサービス側の呼び出し回数の制限に達すると、一部の利用者だけ機能が使えない状態になります。これは通常の不具合と違って見えにくいため、失敗した件数の記録を必ず見てください。

全体へ広げた後も、しばらくは止める手段を残しておきます。段階公開の仕組みを片付けるのは、数週間から数か月の安定した運用を見てからで十分です。

利用者への伝え方

公開のどの段階でも共通する点として、AIが関与していることを利用者に伝えることをおすすめします。

• 機能の説明に、AIによる生成であることを記載する
• 出力の近くに、誤りが含まれ得る旨を示す
• 元となった情報や原文を確認できる導線を置く
• おかしな出力を報告できる手段を用意する

隠して使うと、誤りが見つかったときに「AIだと知らされていなかった」という問題が加わります。最初から伝えておけば、利用者は出力を確認しながら使いますし、報告も上がりやすくなります。

報告の導線は、簡単なもので構いません。出力の横に「この内容はおかしい」というボタンが一つあるだけで、品質を見張るための貴重な情報が集まります。

想定例：ある企業が、AI機能を全利用者に一度に公開したとします。公開直後から想定していなかった種類の入力が集中し、費用が想定を超えました。止める手段を用意していなかったため、対応に配信作業を要し、その間費用は増え続けました。この企業はその後、設定で止められる仕組みを入れ、新しいAI機能は社内と一部の顧客を経てから広げる進め方に変えました。

段階を踏むこと自体が設計です

AI機能について「どのくらい作り込んでから出すべきか」という相談を受けますが、作り込みの量で不確かさは消えません。実際の利用者の入力を見ないと分からないことが多すぎるためです。

代わりに投資すべきなのは、小さく出して見る仕組みです。止める手段、対象を絞る手段、記録する仕組み、報告を受け取る導線。これらは機能そのものではありませんが、二つ目、三つ目のAI機能でもそのまま使える土台になります。

AI機能の公開手順の設計、段階公開の仕組みの実装、公開後の運用について、AI活用開発・Webシステム開発としてご相談を承ります。お問い合わせよりご連絡ください。ご相談・お見積りは無料です。

本記事は一般的な情報であり、個別の事案は専門家・所管官庁にご確認ください。