この用語の意味
説明可能AI（XAI：Explainable Artificial Intelligence）は、AIの出力に対して、人が理解し、検討できる説明を与えるための考え方や手法です。重要なのは判断を点検するための手掛かりを得ることです。もっともらしい理由文を付ければ、説明可能になったとは限りません。
「モデル全体がどの項目を重視するか」という説明と、「今回の一件で、どの項目が出力に影響したか」という説明は異なります。全体では重要でない項目が特定案件で効くこともあります。規則を読み取りやすいモデルを選ぶ方法と、複雑なモデルを後から分析する方法も区別します。
何ができるか
架空の製造会社が検査画像から不良候補を探す場合、注目した領域を示すことで、傷ではなく背景の印を見て判定していないかを調べられます。受注遅延予測なら、納期までの日数や作業量がどう関係したかを確認し、入力ミスの調査に役立てられます。
説明は、利用者への案内、開発者の不具合調査、管理者の監査で必要な粒度が違います。NISTの整理では、説明を与えることに加えて、相手に意味が伝わること、システムの動作を正しく反映すること、能力の限界を扱うことが重要です。専門用語のグラフを表示するだけでは、現場での確認を助けられません。
説明には、判断に寄与した項目の一覧、似た過去例、規則、入力を変えた場合の予測の変化などがあります。同じ「理由表示」でも答える問いが違うため、導入時には手法名より、何を確認できて何は確認できないのかを確かめます。
実際に使うために必要なもの
対象モデルの入力項目、出力、バージョン、評価データと、説明を見る担当者を定めます。外部サービスでは、個別案件の説明が取得できるか、単なる一般的な機能紹介なのかを確認します。説明手法の利用条件と、その計算に必要なデータへのアクセス権限も必要です。
費用は説明ツールの料金だけでなく、追加計算、表示画面の作成、現場で理解できる言葉への置換、説明の妥当性評価にかかります。導入前に「説明を見た担当者が何を判断するのか」を決めると、使われない詳細画面を作る費用を抑えられます。説明のために機密の学習データを外部へ送らない構成も検討します。
画面には「出力の理由」「元データの確認」「担当者の最終判断」を混ぜずに置きます。例えば納期遅延の予測が高くても、納期の変更承認は別の業務判断です。担当者が説明を読んだ後に、修正・保留・確認依頼へ進める導線がなければ、理解だけで作業が止まります。
小さく試す運用例
架空の受注データで、納期遅延を知らせる試作を作ります。モデルが出すリスクと合わせ、主な影響項目、入力値、予測基準日を表示します。担当者は「処理済みの作業が未処理になっていた」など、元記録と違う入力を見つけたら訂正し、判断をやり直します。
評価用の案件に、入力誤り、通常案件、未経験の条件を混ぜます。説明なしの場合と比べ、担当者が誤りを発見できるか、確認時間が増えすぎないか、過信が増えないかを記録します。成功条件は理由が読みやすいことだけでなく、誤った出力を見直す行動につながることです。未経験の条件は自動判断を保留し、通常の確認へ回します。
点検表には、案件の条件、予測、説明、担当者が確認した原記録、判断を変更した理由を残します。重要項目を少し変えたときの予測と説明の変化も調べ、ほぼ同じ案件で理由が大きく入れ替わる場合は、説明を断定的に表示しない設計を検討します。
人が確認すること・注意点
「この項目が予測を押し上げた」は、その項目を変えれば現実の結果も改善するという因果関係ではありません。互いに似た項目があると重要度の分け方が不安定になることもあり、説明の設定や比較基準によって見え方が変わります。
生成AI自身に「なぜそう答えたか」を聞いて得た文章は、内部処理の忠実な記録とは限りません。説明が自然でも正しさや公平性は別に評価します。モデル更新で説明の傾向も変わるため、説明と予測を同じバージョンで保存し、再現できるようにします。説明に含める情報から個人や機密が推測されないかも確認します。
説明を長くすると信頼が増すとは限りません。細かな数値に根拠以上の確かさを感じたり、説明を読んだことで点検済みと思い込んだりすることがあります。現場での試験では「納得したか」と「実際に誤りを見つけたか」を分けて測ります。
関連する事例・テンプレート
判断の偏りを調べるにはアルゴリズムバイアス、入力の出所を追うにはデータの来歴を参照してください。説明を確認する責任者や利用者への対応窓口はAIガバナンスの中で決めます。
参考情報
- NIST：Four Principles of Explainable Artificial Intelligence（確認日：2026-09-26）