AIのリスクの多くは、技術ではなく「何を渡したか」と「間違ったときにどうするか」に集まります。作る前に決めておけば、ほとんどは設計で吸収できます。
1. 何を渡すのかを一覧にする
最初に確認するのは、AIサービスへ送る情報の中身です。指示文、参考資料、利用者の入力の三つに分けて、それぞれ何が含まれるかを書き出します。「たぶん個人情報は入らない」ではなく、入りうる経路をすべて洗います。利用者が自由に入力できる欄がある場合、そこには何でも入りうると考えます。
- 指示文に含まれる情報(社内ルール、営業上の秘密が混ざっていないか)
- 参照させる資料に含まれる情報(顧客名、連絡先、契約内容)
- 利用者が入力する内容(自由記入欄から何が入りうるか)
- システムが自動で付ける情報(利用者ID、履歴、位置)
2. 渡さない情報の線引きを決める
渡す情報の一覧ができたら、渡さないものを決めます。個人を特定できる情報、他社から預かっている情報、社内の秘密情報は、基本的に渡さない側に置きます。どうしても必要な場合は、名前を記号に置き換える、必要な項目だけを抜き出すといった加工を設計に組み込みます。
- 個人を特定できる情報(氏名、連絡先、識別番号)の扱い
- 他社から預かっている情報が含まれていないか。契約上の制限はないか
- 加工(匿名化、項目の限定)で渡せる形にできるか
- 利用者の自由入力に個人情報が混ざる場合の対処(注意書き、自動での除去)
3. 利用するサービスの条件を確認する
AIサービスは提供元によって、データの保存期間や学習利用の扱いが異なります。設定で変更できる場合もあります。契約や規約を確認し、自社が顧客に説明している内容と矛盾しないかを見ます。ここは開発パートナーに任せきりにせず、確認した内容を書面で共有してもらってください。
- 送ったデータが提供元のモデルの学習に使われる設定になっていないか
- データはどこに保存され、どのくらいの期間保持されるか
- データが処理される国・地域はどこか
- 自社のプライバシーポリシーや利用規約の記載と整合しているか
- 確認した内容と確認日を記録したか
4. 誤答が起きたときの影響を見積もる
AIは、もっともらしい間違いを返すことがあります。実在しない事実を答える、古い情報を答える、指示と違う形式で返す、といった種類です。それぞれについて、自社の用途で起きた場合に何が起きるかを書きます。影響が大きいものは、人の確認を挟むか、その用途自体を見送ります。
5. 説明できる状態を作る
顧客や取引先から「なぜこの結果になったのか」と聞かれたときに、答えられる状態にしておきます。AIの内部の判断過程を完全に説明することはできませんが、何を入力し、どのモデルを使い、いつ実行したかは記録できます。この記録があれば、問い合わせにも、原因の調査にも対応できます。
- 入力と出力を記録しているか。保存期間はどれくらいか(個人情報を含む場合の扱いも決める)
- 使用しているモデルと、その版を記録しているか
- 指示文を変更した履歴が残っているか。いつ、誰が、なぜ変えたか
- 問い合わせを受けたときに、誰がその記録を確認できるか
6. 止め方を先に決める
問題が起きたときに機能を止められる状態にしておきます。止めるといっても、全面的に停止する、人の確認を必須に切り替える、簡易な処理に戻すなど、段階があります。どの段階をどう選ぶかと、誰がその判断をするかを決めておくと、実際に起きたときに迷いません。
- AI機能だけを止める仕組みがあるか(システム全体を止めずに済むか)
- 止めている間、利用者に何を表示するか
- 止める判断をするのは誰か。連絡手段は何か
- 再開の条件(原因の特定と対処が済んだこと)を決めてあるか
7. 社内のルールを一枚にまとめる
ここまでの確認結果を、担当者が読む一枚の文書にまとめます。長い規程は読まれません。渡してよい情報、渡してはいけない情報、困ったときの連絡先が書いてあれば、日々の判断には足ります。新しい担当者が入ったときに最初に渡す資料としても使えます。なお、個人情報の取り扱いや業種ごとの規制は事業によって条件が異なります。本資料は一般的な情報であり、個別の事案は専門家にご確認ください。
- 渡してよい情報・渡してはいけない情報の一覧
- 出力をそのまま使ってよい場面と、確認が必要な場面
- 問題を見つけたときの連絡先
- このルールを見直す頻度と担当
関連するインサイト
- スタートアップのセキュリティと個人情報保護 — 最低限の実務スタートアップが最低限押さえたいセキュリティと個人情報保護の実務を、アカウント管理や秘密情報の扱い、個人情報の取得と削除、CI/CDへの検査組み込み、インシデント初動、生成AI利用の注意まで整理します。
- 生成AIを開発工程に組み込む — 品質を落とさず速く安く作る実務設計書の下書き、コード生成とレビュー、テスト生成、既存コードの解析、ドキュメント整備での生成AIの使いどころと、人がレビューする原則、顧客データや秘密情報の扱い、向く作業と向かない作業を整理します。
- 医療・ヘルスケア領域のWebサービスで気をつけたい規制と設計医療・ヘルスケア領域のWebサービスで企画段階に確認したい規制上の論点と、本人確認・アクセス制御・監査ログ・同意などの設計上の配慮、医療従事者との協働やMVPで検証する範囲の絞り方を整理します。
関連するサービス
監修: フィリット・コンサルティング株式会社公開