Skip to content

Lost in the Middle(ロスト・イン・ザ・ミドル)現象

読み方:ろすと・いん・ざ・みどるげんしょう英語表記:Lost in the Middle

カテゴリ
AI・生成AI
用途
AI活用安全管理
一覧へ戻る
アイペンちゃんが用語の本から知識を整理し、確認しているイラスト

この用語の意味

Lost in the Middle(ロスト・イン・ザ・ミドル)現象とは、生成AIなどの言語モデルが、長い入力の中央付近にある情報を十分に活用できず、回答の正確さが下がることがある現象です。冒頭や末尾に同じ情報を置いた場合より成績が低くなる傾向が、複数文書からの質問応答などの研究で報告されています。長文を入力できることと、その中の情報を位置にかかわらず正確に使えることは別です。入力上限を超えて文章が切り捨てられる問題とは区別します。

何ができるか

この現象を知ると、長い議事録、社内規程、複数資料の確認で、AIが途中の例外条件や決定事項を見落とす可能性を考えられます。資料を必要な範囲に絞る、論点ごとに分ける、回答の根拠箇所を示させるといった運用を比較する手がかりになります。これらは改善を試す方法であり、すべてのモデルや業務で精度向上を保証するものではありません。

実際に使うために必要なもの

組織で利用が認められた生成AI、個人情報や機密情報を含まない試験用の資料、正解と根拠箇所の一覧、確認担当者を用意します。利用するモデル、入力上限、資料の抽出方法を確認し、文書の途中が欠けたり、読み取り順が変わったりしていないかも点検します。

現象の理解に専用ソフトは不要です。検証時の費用要素は、AIサービスの契約料金やAPIの入力・出力に応じた料金、試験資料の作成と回答照合の時間です。長文を何度も処理すると利用量が増えるため、少量の試験から始めます。

特定企業の製品や統一規格ではなく、言語モデルの長文利用を扱う研究上の概念です。Nelson F. Liuらが2023年に公開し、2024年に学術誌TACLへ掲載した論文で、情報の位置を変えた質問応答とキー・値の検索を評価しています。論文の結果は当時の評価対象と条件に基づくもので、現在のすべてのモデルに同じ程度で当てはまるとは限りません。業務で試す際は、利用サービスのデータ取扱条件と組織の入力ルールを確認します。

小さく試す運用例

架空の社内規程を用意し、「通常は申請後3営業日、緊急案件は当日対応」という例外条件を1か所入れます。その段落の内容を変えずに、冒頭・中央・末尾へ移した3種類の資料を作り、それぞれ新しい会話で「緊急案件の対応期限と根拠箇所を示してください」と同じ質問をします。モデルや設定をそろえ、各条件を複数回試して、正答と根拠の一致を記録します。次に資料を論点ごとに分けた場合などと比較します。これは社内運用の点検例であり、原論文の実験を再現するものでも、少数の回答でモデル全体の性能を確定するものでもありません。

人が確認すること・注意点

回答が自然でも、例外、期限、金額、否定表現が原文どおり反映されているかを確認します。根拠として示された箇所も原文と照合します。見落としの原因には、入力の切り捨て、PDFの文字抽出ミス、検索で必要な文書を取得できていないことなどもあるため、中央の情報を落としたという結果だけで原因を断定しません。情報を冒頭や末尾に置く方法も万能ではなく、重要な業務判断は担当者が原資料を確認して行います。

関連する事例・テンプレート

参考情報

関連リンク

関連する記事:ChatGPTで同じキャラクターの画像を連続生成する方法――Excel・設定画・コピペ用プロンプトで進める