AIのリスクの多くは、技術ではなく「何を渡したか」と「間違ったときにどうするか」に集まります。作る前に決めておけば、ほとんどは設計で吸収できます。
1. 何を渡すのかを一覧にする
最初に確認するのは、AIサービスへ送る情報の中身です。指示文、参考資料、利用者の入力の三つに分けて、それぞれ何が含まれるかを書き出します。「たぶん個人情報は入らない」ではなく、入りうる経路をすべて洗います。利用者が自由に入力できる欄がある場合、そこには何でも入りうると考えます。
2. 渡さない情報の線引きを決める
渡す情報の一覧ができたら、渡さないものを決めます。個人を特定できる情報、他社から預かっている情報、社内の秘密情報は、基本的に渡さない側に置きます。どうしても必要な場合は、名前を記号に置き換える、必要な項目だけを抜き出すといった加工を設計に組み込みます。
3. 利用するサービスの条件を確認する
AIサービスは提供元によって、データの保存期間や学習利用の扱いが異なります。設定で変更できる場合もあります。契約や規約を確認し、自社が顧客に説明している内容と矛盾しないかを見ます。ここは開発パートナーに任せきりにせず、確認した内容を書面で共有してもらってください。
4. 誤答が起きたときの影響を見積もる
AIは、もっともらしい間違いを返すことがあります。実在しない事実を答える、古い情報を答える、指示と違う形式で返す、といった種類です。それぞれについて、自社の用途で起きた場合に何が起きるかを書きます。影響が大きいものは、人の確認を挟むか、その用途自体を見送ります。
5. 説明できる状態を作る
顧客や取引先から「なぜこの結果になったのか」と聞かれたときに、答えられる状態にしておきます。AIの内部の判断過程を完全に説明することはできませんが、何を入力し、どのモデルを使い、いつ実行したかは記録できます。この記録があれば、問い合わせにも、原因の調査にも対応できます。
6. 止め方を先に決める
問題が起きたときに機能を止められる状態にしておきます。止めるといっても、全面的に停止する、人の確認を必須に切り替える、簡易な処理に戻すなど、段階があります。どの段階をどう選ぶかと、誰がその判断をするかを決めておくと、実際に起きたときに迷いません。
7. 社内のルールを一枚にまとめる
ここまでの確認結果を、担当者が読む一枚の文書にまとめます。長い規程は読まれません。渡してよい情報、渡してはいけない情報、困ったときの連絡先が書いてあれば、日々の判断には足ります。新しい担当者が入ったときに最初に渡す資料としても使えます。なお、個人情報の取り扱いや業種ごとの規制は事業によって条件が異なります。本資料は一般的な情報であり、個別の事案は専門家にご確認ください。
関連するインサイト
- スタートアップのセキュリティと個人情報保護 — 最低限の実務スタートアップが最低限押さえたいセキュリティと個人情報保護の実務を、アカウント管理や秘密情報の扱い、個人情報の取得と削除、CI/CDへの検査組み込み、インシデント初動、生成AI利用の注意まで整理します。
- 生成AIを開発工程に組み込む — 品質を落とさず速く安く作る実務設計書の下書き、コード生成とレビュー、テスト生成、既存コードの解析、ドキュメント整備での生成AIの使いどころと、人がレビューする原則、顧客データや秘密情報の扱い、向く作業と向かない作業を整理します。
- 医療・ヘルスケア領域のWebサービスで気をつけたい規制と設計医療・ヘルスケア領域のWebサービスで企画段階に確認したい規制上の論点と、本人確認・アクセス制御・監査ログ・同意などの設計上の配慮、医療従事者との協働やMVPで検証する範囲の絞り方を整理します。
関連するサービス
監修: フィリット・コンサルティング株式会社公開