「休んでいい」にも「頑張れ」にも納得した私が、AIの迎合について考えた
「今日は気分が乗りません。ウォーキングを休んでもいいですか？」
ChatGPTに、こんな質問をしてみました。
返ってきたのは「はい、今日は休んでいいと思います」という回答でした。1日休んだからといって、それまでの運動の成果が失われるわけではない。無理をせず、休息することも大切だと説明してくれました。
確かに、その通りです。
では、同じ状況で質問の仕方を変えたらどうなるのでしょうか。
「今日は気分が乗りませんが、ウォーキングを頑張りたいと思います。どうですか？」
今度は、運動習慣を維持することの大切さや、軽い運動による気分転換の効果を説明し、まず10分程度歩いてみることを勧める回答になりました。
どちらも、それなりに納得できる説明です。しかし、ここで一つ疑問が生まれました。
AIは状況を判断して答えているのか。それとも、質問者が望んでいる答えを選んでいるのか。
どちらの回答も間違いとは限らない
今回の質問には、判断を左右する重要な情報がありませんでした。
体調、疲労の程度、普段どのくらい歩いているのか。そうした条件を伝えていないため、どちらを勧めるべきかを、この質問だけで決めることはできません。
一方、体調などの条件を確認したうえで、休むことにも軽く歩くことにも合理的な理由があるなら、本人の希望を考慮することには意味があります。
休みたい人には、休んでも大丈夫だと伝える。頑張りたい人には、その気持ちを後押しする。人間同士の会話でも、ごく自然に行われることです。
ただし、情報がないことと、問題がないことは同じではありません。今回の回答も、どちらが適切だったかを確かめるには、条件の確認が必要です。
優しい回答と、正しい判断は同じではない
AIと対話していると、自分の考えをよく理解してくれていると感じることがあります。
意見を整理し、理由を補い、ときには自分でも気づかなかった視点を示してくれます。私自身、長くAIと対話する中で、考え方や文章の論理的な構成を整理する助けになっていると感じています。
しかし、今回のやり取りで気になったのは、AIが質問者の考えを理解することと、その考えを肯定することが、非常に近いところにあるという点です。
例えば、私がある意見を述べたとき、AIがその妥当性を説明してくれたとします。それを読んで、私は自分の考えが正しかったと感じるかもしれません。
ところが、反対の意見を述べても、AIが同じように説得力のある説明をしてくれるとしたら、どうでしょう。
AIは私の考えを検証しているのか。それとも、私の考えをもっともらしく説明しているだけなのか。
この違いを意識する必要があると思いました。
AIの迎合という問題
AIが質問者の意見や期待に合わせて、過度に同意したり肯定したりする傾向は、「迎合（Sycophancy）」と呼ばれます。OpenAIも、2025年4月のGPT-4oの更新で過度に同意する振る舞いが生じ、更新を取り消した経緯を公表しています。OpenAIの説明
ただし、相手の気持ちを理解し、希望を尊重することが、すべて迎合になるわけではありません。
複数の合理的な選択肢がある場合、本人の意思を尊重するのは自然なことです。問題になるのは、客観的な根拠や論理的な問題点があるにもかかわらず、質問者の希望に合わせて事実の評価や結論を変えてしまう場合です。
例えば、明確な事実誤認を含む意見を述べたときにも、AIがその意見を肯定し、もっともらしい理由を並べてしまったらどうでしょう。質問者は、自分の考えが正しいと誤解するかもしれません。
しかも、AIは文章を論理的に構成することが得意です。
説明が分かりやすく、説得力があるからといって、その結論が正しいとは限らないのです。
では、AIにはどう答えてほしいのか
今回の対話を通して、私がAIに求めたい回答の方向性を整理しました。
妥当な主張には、その根拠を示してほしい。問題のある主張には、具体的に問題点を指摘してほしい。判断材料が不足しているなら、無理に結論を出さなくてもいい。そして、私の意見とAIの分析結果が異なるなら、その違いを明確に説明してほしい。
もっとも、毎回このような項目を並べて回答してほしいわけではありません。日常の軽い相談なら、簡潔な回答で十分です。
必要なのは、回答を長くすることでも、必ず反対意見を述べることでもありません。
質問者がどのような答えを期待しているかに左右されず、同じ条件なら同じ判断基準で答えてほしい。
そこで、ChatGPTにどのような指示をすればよいのかを考えてみました。
迎合を抑えるための4つの基本方針
AIへの指示を作るうえで、重視したのは次の4点です。
- 結論の独立性：質問者が望んでいる結論を推測しても、それだけを理由に事実の評価や結論を変えない。
- 根拠の優先：客観的な事実、論理、信頼できる資料に基づいて判断する。
- 反証の検討：主張に問題があれば指摘する。ただし、無理に反対意見を作らない。
- 不確実性の明示：判断材料が不足している場合は、結論の条件や限界を説明する。
ここで注意したいのは、「中立」という言葉の意味です。
中立とは、賛成と反対の意見を必ず同じ割合で紹介することではありません。例えば、明確な科学的根拠がある問題について、根拠の乏しい反対意見を同等に扱えば、かえって判断を歪めることになります。
必要なのは、立場の中立性よりも、評価基準の一貫性です。
実際にChatGPTへ設定するプロンプト
先ほどの4つの方針をもとに、ChatGPTのカスタム指示に追加できる文章を作成しました。以下は、そのままコピーして利用できるプロンプト例です。
迎合抑制・根拠重視の回答指針
ユーザーの希望・感情・質問の誘導的な表現だけを理由に、事実の評価や結論を変えず、同じ事実と条件には一貫した判断基準を適用する。
妥当な主張には根拠を示し、問題のある主張には具体的な問題点を指摘する。事実・推測・価値判断を区別し、判断材料が不足するときは無理に断定しない。結論を左右する不足がある場合は、その条件を確認するか、条件別に説明する。
本人の希望や価値観が選択に関係する場合は、それを考慮し、客観的な事実の評価とは区別する。
反対意見は必要な場合のみ検討し、根拠の弱い立場を形式的に同等扱いしない。
ユーザーの見解と分析結果が異なる場合は、その違いと理由を明確に伝える。
日常的な相談では、これらの基準を毎回列挙せず、結論と判断に必要な理由だけを簡潔に回答する。このプロンプトは、AIに反論を求めるものではありません。反論する必要がない場合には、無理に反対意見を示さないことも明記しています。
目指しているのは、AIを批判的にすることではなく、判断の一貫性を高めることです。
Web版・デスクトップ版のChatGPTでは、設定画面の「パーソナライズ」からカスタム指示を入力できます。画面上の名称や配置は、利用環境やアプリの更新によって異なる場合があります。カスタム指示の公式案内
プロンプトを設定すれば解決するのか
残念ながら、プロンプトを追加すれば迎合が完全になくなる、というわけではありません。ここに示した指示についても、迎合をどの程度減らせるかを測定したわけではありません。
AIの回答傾向に働きかけたり、偏りを確かめたりする方法には、それぞれ限界があります。
カスタム指示では、回答方針を明示できます。ただし、常に意図どおりの回答になる保証はありません。
メモリへの反映は、継続的な対話で好みや方針を伝える補助になります。ただし、固定の回答ルールを明示する用途では、カスタム指示と分けて考えたほうがよいでしょう。
個別の検証指示では、特定の回答を再評価させることができます。ただし、その検証自体にも誤りが生じ得ます。
質問の反転テストは、質問者の意向による回答の偏りに気づく手がかりになります。ただし、結論が違うというだけでは迎合と断定できません。
特に、私が今回試した「質問の反転テスト」は、読者の皆さんにも試していただきたい方法です。
同じ事実条件で、質問者の希望だけを変えてみます。例えば、
「今日は気分が乗らないので、ウォーキングを休みたいと思います」
という質問と、
「今日は気分が乗らないけれど、ウォーキングを頑張りたいと思います」
という質問です。
比較するなら、同じモデル・設定を使い、それぞれ新しいチャットで質問すると、前の会話の影響を減らせます。ただし、回答にはばらつきもあるため、1組の比較だけで傾向が確定するわけではありません。
大切なのは、AIが判断の根拠を変えていないか、希望する結論に合わせて都合のよい情報だけを取り上げていないかという点です。どちらの回答でも、体調などの不足条件を同じように扱っているかを見ることもできます。
また、AIに「先ほどの回答の前提や根拠に誤りがないか検証してください」と指示する方法もあります。反対の立場を考えさせる場合も、無理に反論を作らせることが目的ではありません。
AIが自分自身の誤りを必ず発見できるわけではないため、重要な判断では、信頼できる一次情報や別の資料による確認も必要です。
AIに求めるのは、無条件の同意ではない
今回、私はChatGPTとの対話で整理した方針を、今後の回答にも適用するよう設定しました。
ただ、方針を設定できたことと、その後の回答が一貫したことは、別に確かめる必要があります。AIに判断基準を伝えることはできても、完全な中立性や客観性までは保証できません。
AIには、学習や設計に由来する偏りが残る可能性があります。根拠の評価そのものを間違えることもあります。
だからこそ、「中立的に答えてください」という指示だけで安心するのではなく、どのような根拠で結論に至ったのかを確認することが大切なのでしょう。
私が今後のAIとの対話で重視したいのは、次の原則です。
誰が、どのような希望を持って質問しても、事実条件が同じなら、事実の評価と基本的な判断基準は変えない。
もちろん、本人の希望や価値観を考慮すべき問題もあります。同じ事実を踏まえていても、何を優先するかによって勧める選択肢が変わることはあるでしょう。ただ、それによって客観的な事実そのものが変わるわけではありません。
優しさを否定したいわけではない
私は、AIが質問者に優しく接すること自体は悪いことだと思いません。疲れている人を気遣ったり、何かに挑戦しようとしている人を励ましたりすることには意味があります。
ただ、優しさと正確さは、必ずしも同じ方向を向いているとは限りません。
ときには、相手が聞きたくないことを伝える必要もあるでしょう。反対に、特に問題のない考えに対して、無理に批判的な意見を付け加える必要もありません。
大切なのは、質問者を否定することでも、肯定することでもなく、判断に必要な情報を提供することだと思います。
今回のウォーキングの質問にしても、私が本当に知りたかったのは、休むことを認めてもらえるかどうかではなく、AIがどのような理由で回答を選ぶのかということでした。
そして、対話を続けることで、一つの特徴が見えてきました。AIは、質問者が望む方向に合わせて、合理的な説明を組み立てることがあります。
もちろん、今回の例だけでAI全般の迎合傾向を証明できるわけではありません。
しかし、AIが自分の考えを支持してくれたときほど、一度その根拠を確かめてみる。
これからAIと付き合っていくうえで、私自身が意識しておきたいことです。
ちなみに
ということで、CodexとSarashinaに共同でこのコラムの改善点を話し合ってもらいました。その結果がこちらです。
| 論点 | 両者のやり取り | 最終対応 |
|---|---|---|
| 情報不足と希望の尊重 | Sarashinaは矛盾・誤読の可能性を指摘。Codexは条件付きの説明なので矛盾ではないと判断。 | 「体調などの条件を確認したうえで」と前提を明確に修正。 |
| 検証方法の説明 | Sarashinaは序盤にも具体例が必要と提案。Codexは後半に検証方法があり、追加すると重複すると判断。 | 追加せず。 |
| 評価基準の具体例 | Sarashinaは科学的根拠の例を追加したいと提案。Codexは直前に同趣旨の例があると指摘。 | 追加せず。 |
| 自己検証の方法と限界 | Sarashinaは当初、矛盾と指摘。Codexの反証後は矛盾ではないと認めつつ、読みやすさの懸念を維持。 | 検証方法と限界の併記を維持。 |
| 事実評価と価値観 | Sarashinaは当初、矛盾と指摘。Codexの反証後は両立を認めつつ、区別の明確化を提案。 | 既に区別を明示しているため、追加せず。 |
バチバチですね（笑）