ChatGPT お前傲慢になってないか？
我が家は３人家族。晩御飯は私の担当である。
冷蔵庫を見ると納豆がいっぱいある。ごはんも昨日の残りが炊飯器の中に。最近チャーハンを食べていなかったということで、ChatGPTに「超絶美味い納豆チャーハンのレシピ」と入力したところ、違和感が。
あれ、何で堂々と１人前のレシピをどや顔で（いえ、顔は見えませんが）出してきますか。
レシピは美味しそうです。採用です。問題は、毎回３人前の量に換算するのが面倒なので、「レシピは３人分で出してね」とメモリしてあったことです。
そのことを指摘しても、ChatGPTはそんな記録はないと言い張ります。
ほぉそうですか。んじゃちょっと探してみてよ。と問い詰めると、結局、その記録はありました。７月にありましたと、前言を何もなかったかのように修正しようとしてきます。
ちょい待ち、さっき無いっていったじゃん。何で無いって言ったのよ。
登録した希望が回答に反映されなかったうえに、記録の有無についての説明まで変わったわけです。覚えているかどうかをChatGPTに聞くだけでは、その回答も確かめる必要が出てきます。
ChatGPTの回答に、「？」と思うことはありませんか。
いえ、ここで取り上げたいのは、もっともらしい誤情報を答える「ハルシネーション」の話ではありません。前はこの指示でちゃんと答えが出ていたのに、なんか違う。もう一度、指示をし直したりする。そんな場面です。
しばらくメモリを整頓していなかったので、今回、見直すことにしました。
長く使ううちに、メモリが膨らんできているのではないか。使えば使うほど、いろいろ覚えていくのではないか。そう考えたのですが、どの会話のどの部分が、いつ記憶として残るのかまでは把握できていません。
メモリには、自分が明示的に覚えてほしいと頼んだ内容のほか、ChatGPTが今後に役立つと判断した情報が保存されることもあります。内容は更新されるため、使った回数に比例して増え続けるとは限りません。設定の「パーソナライズ」にある「メモリの管理」から見ることができます。ただし、表示される要約が、参照できる情報のすべてとは限らないそうです。OpenAIのメモリ解説
AIが一度に扱える情報量には上限があります。文章などを処理する単位を「トークン」と呼び、その上限はモデルなどの条件によって変わります。OpenAIのコンテキスト解説
ただし、保存されているメモリの量と、ある回答を作るときに実際に扱う情報量は、同じものではありません。今回も、メモリが増えた結果、上限に達して指示が抜けたのかどうかは分かりません。
指示についても、数が多いだけで必ず整合性が崩れるとは言えません。ただ、古い指示や、別の場面の条件、互いに矛盾する希望が混ざれば、どの条件を今回に適用するのかが曖昧になります。指示を追加して直そうとする前に、残っている条件を点検する余地はあります。
実際に整理した内容には、ChatGPTやCodexの使い分けについて、重複した説明がありました。自分がどう使いたいかという方針と、機能や利用制限など、変わる可能性のある製品情報も混在していました。
継続して覚えておいてほしい希望は、簡潔にまとめる。変わり得る製品仕様は、古い記録を根拠にせず、必要なときに最新情報を確認する。今回は、そのように整理しました。
あわせて、メモリへの追加が必要そうなときは、保存する前に私に質問するようにしてみました。
会話で出たことを今後も使う前提として残すのか、その場だけの話にするのか。追加する前に、自分でも判断できるようにしたいからです。
もっとも、毎回プロンプトで指示すれば、保存のタイミングを確実に制御できる、とまでは言えません。メモリ機能や保存内容を管理する設定と、会話で「保存する前に聞いて」と頼むことは、分けて考える必要があります。
今回の確認依頼がどこまで働くか、整理によって回答が変わるか。効果を見るのは、これからです。
今回は、たまたま仕事とは関係のないレシピで気が付きました。でも、これが仕事のことで、メモリしていた条件が反映されていないことに気が付かなかったら、と考えると怖いものがあります。
「覚えているはず」「反映されているはず」と信用しすぎず、大事な条件は回答を見て確かめる必要があります。
さらに、ChatGPTにモデルの追加があったので、それが今回の回答に関係しているのではないかと思い、モデルについても聞いてみました。
画面には「GPT-6」と表示されています。そこで、このチャットで動いているモデルは何かと尋ねると、「GPT-6です」という答えが返ってきました。画面に表示されている名前は分かります。でも、私が聞きたかったのは、もう少し詳しいモデル名です。
「SolとかTerraとかは指定できないのですか。分からないのですか」と聞くと、今度は、自分自身では内部的なモデル名・構成名までは確認できず、自分でモデルを切り替えることもできないという説明でした。SolやTerraが現在のChatGPTで正式に選択できる名称なのかも、確認が必要だと。
ところが、その後、ChatGPTは公式情報を確認したとして、SolやTerraは実際に存在し、利用環境によって選択できると説明を変えました。そして、通常のChatGPTで画面に「GPT-6」と表示されている場合についても、公開仕様から判断した説明を示しました。
ただ、その説明は内部モデルIDを直接確認した結果ではない、とも言っています。ここに挙げたモデルや利用環境についての説明は、そのときのChatGPTの回答です。私がここで、現在の提供状況や内部モデルIDを確認できたという意味ではありません。
聞き直してから調べ、最初より詳しい説明が出てくる。納豆チャーハンのときにも、記録はないと言った後、探してみてと問い詰めたら記録がありました。
そこで、「もう少し自信満々に答える前に調べてから回答するということはできませんか？」と聞きました。
ChatGPTは、今回のような質問では最初から調べるべきだったと認めました。確認できていない情報を断定したこと、内部情報と公開仕様を区別しなかったこと、最初と次の回答で説明が変わったことが問題だった、と。そして、最新情報や製品仕様は公式情報を確認し、事実と推測、未確認事項を区別するという方針を示しました。
では、なぜ最初に不完全な情報を出したのか。そう聞くと、手元の知識だけで回答できると判断し、外部情報の確認を省略した、と説明します。自分が内部モデル名を確認できないことと、モデル名が公式に公開されているかどうかを混同した、とも答えました。
ただ、これもChatGPT自身による説明です。実際にどのような内部処理が行われたかまで、私が確認できたわけではありません。
このやり取りでは、ChatGPTから「高速回答」をオフにすることも勧められました。今回の問題の一因になった可能性がある、という説明です。
OpenAIの2026年４月22日のリリースノートによると、高速回答は、個人に合わせた回答を必要としない一般的な情報の質問に対して、ChatGPTが確信度の高い回答を用意できる場合に、素早く答える機能です。この高速回答では、過去のチャットやメモリを参照しないと説明されています。
同じリリースノートには、パーソナライズの設定から高速回答をオフにできるとも書かれています。ただし、私が質問したときに、この機能が実際に使われたかどうかは確認できていません。モデル名への回答も、納豆チャーハンのレシピも、高速回答が原因だったとまでは言えません。
また、高速回答と外部検索の省略がどう関係しているのか、高速回答時にカスタム指示がどのように適用されるのかも、この資料からは確認できませんでした。オフにすれば高速回答を使わない設定にはできますが、必要な検索が毎回行われる保証にはなりません。
それなら、「自分の分かる範囲で答えるのではなく、必ず正規の外部情報を確認してから回答する」と指示すればよいのでしょうか。
ChatGPTが最初に提案したのは、「事実確認が必要な質問では、回答前に一次情報を確認する」というルールでした。公式サイトや公的機関などを優先し、確認した事実と推測を分ける。一方、文章の添削や翻訳など、外部情報が不要な作業では検索を省略する、というものです。
でも、「事実確認が必要かどうか」は誰が判断するのでしょう。ChatGPTが判断するのであれば、今回のように、確認が必要なのに不要と判断することもあるのではないか。
そう尋ねると、ChatGPTは、前の提案では同じ問題が再発する余地があると認めました。そして、検索するかどうかを自分の知識への自信で決めるのではなく、原則として外部情報を確認し、文章の添削や提供された文章の要約などを例外にする案を出してきました。
提案されたルールは、次の内容です。
外部情報の確認に関する必須ルール
- ユーザーから質問を受けた場合、原則として回答前に外部情報を検索・確認すること。
- 情報の新旧や、AI自身の知識に対する自信の有無を、検索を省略する理由にしてはならない。
- 公式サイト、公式ドキュメント、公的機関などの一次情報を優先すること。
- 一次情報で確認できない場合は、信頼できる二次情報を調査し、確認状況を明示すること。
- 外部情報を確認できなかった場合は、その事実を明記し、確認済みであるかのように回答してはならない。
- 確認した情報、推測、未確認事項を区別して回答すること。
- 参照した情報源を示すこと。存在しない出典や、実際には参照していない情報源を提示してはならない。
例外： 文章の添削・翻訳・創作、提供された文章の要約、単純な計算など、外部の事実を参照せずに完結する作業では検索を省略してよい。
基本原則：検索するか迷った場合は、必ず検索すること。正確性を回答速度より優先すること。
このルールを追加してみようと思います。
ただし、このルールを伝えれば必ず守られるという保証はありません。例外に当てはまるかどうかは、やはりAIが判断します。検索したとしても、出典の読み違いや解釈の間違いは起こり得ます。
なお、このやり取りによって、モデルの追加が納豆チャーハンの回答に影響したと分かったわけではありません。気になったことを尋ねたところ、今度は、AIがいつ確認し、何を根拠に答えるのかという話になりました。
前はこの指示で通じたのに、なんか違う。そんなとき、指示を書き足すだけでなく、すでに何を覚えているのかを見直してみる。納豆チャーハンのレシピから、今回はそこまで話が広がりました。
ちなみに、納豆チャーハンは大変美味しく出来ました。
もう一つ、別の話があります。PHPのバージョンについて、「どのバージョンに変更になりましたか」と問い合わせがありました。
私はWordPressのサイトヘルスで確認し、担当者に報告しました。ところが、そのバージョンはないので再確認してくれという返事が返ってきたのです。
レンタルサーバーのサイトにも、私が報告したバージョンの数字が載っています。それでも担当者は、ないと言う。ソースは何ですか、と尋ねると、「AIがそのバージョンは無いと言っている」とのことでした。
なるほど。AIの回答を根拠にして話をする人が増えています。私も調べものにAIを使いますが、正式な出典は必ず確認しています。AIがそう言ったから正しい、ではなく、その情報がどこに書かれているのかまで確かめたいところです。