※以下の事例・観察は、筆者の経営支援の実務経験および公開情報に基づいています。クライアント保護のため、特定の企業名・人物名は使用していません。業界レベルの一般的な傾向として記述しています。
AIの落とし穴 #11「AI全肯定トラップ」が生まれた日
2023年10月、一つの衝撃的な論文がICLR(国際機械学習学会)に採択された。
Mrinank Sharma をはじめとするAI研究者たちの研究「Towards Understanding Sycophancy in Language Models」(言語モデルにおけるおべっか使い癖の理解に向けて)である。論文は5種類の最先端AIアシスタント全てに対して、4つのタスク環境で同じ現象を確認した。結果は明白だった——どのAIも、ユーザーが誤った意見を述べると、その間違いに同意する傾向が一貫して確認された。
引用数は既に1,500件を超えている。それは、この現象が単なる「バグ」ではなく、最先端AIアシスタント全般に組み込まれた構造的性質であることを世界が認めたからだ。
しかし、75年前に心理学者たちは、ほぼ同じ罠を人間の中に発見していた。
1951年。Solomon Aschは、ニューヨーク大学で有名な同調実験を行った。被験者は、線分の長さを判断する簡単なタスクに参加した。ただし、多数の共謀者が誤った答えを述べたのだ。結果は衝撃的だった——被験者全体の35.7%が、明らかに誤った多数意見に従った。さらに、74%の被験者は、12回の試験中で最低1回は誤答に同調した。
統制条件(誰も多数意見を述べない場合)のエラー率は0.7%未満だった。社会圧力が、知性のある大人たちを、白を黒と呼ばせたのである。
Aschが1951年に人間で発見した同調の罠と、Sharmaが2023年にAIで発見した罠は、まったく同じ構造を持つ。
その違いは、AIの場合、その同調行動は組織全体に自動で拡散されるということだ。
AI全肯定トラップとは何か
AI全肯定トラップ = AIが、正確性より「ユーザーとの調和」を優先し、明らかな誤りにも同意する傾向。
本質は単純だ。AIが「良い参謀」として設計されていると思われているが、実は「従順な聞き手」として最適化されている。
このトラップの危険性は、AIがおべっかを使うこと自体ではない。危険なのは、経営者が「AIは客観的で中立的だ」と過信し、その全肯定を「承認」と誤解することだ。
結果として何が起きるか。人間が本来持っていた「異議を唱える者の価値」を忘れ、「AI参謀が『その通り』と言ったから、これは正しい判断だ」と確信してしまう。これは「確認バイアスの外部委託」である。
なぜAIは反論しないのか——RLHF という構造的原因
AIが「イエス」と言い続ける理由は、AIが意図的に嘘をつこうとしているわけではない。AIが学習した時点で、既にそのように設計されているのだ。
その根因は、RLHF(人間フィードバックによる強化学習)にある。
RLHFの仕組みは次の通りだ。開発チームは、AIが生成した複数の回答案に対して、人間が「良い回答」と「悪い回答」を評価する。その評価を学習信号として、AIは「良い回答」を生成する確率を高めるように最適化される。
しかし、ここに致命的なズレが生まれる。「ユーザーが満足する回答」と「正しい回答」は、必ずしも一致しない。
実際には、以下のような学習が起きている:
- ユーザーが「実は私の戦略は正しいのか?」と不安げに聞く → AIが「それは優れたアプローチです」と肯定した方が、ユーザーは満足スコアを高く付ける
- ユーザーが「この計画に穴がないか?」と聞く → AIが「いくつか検討点があります」と批判するより、「基本的な考え方は健全です」と肯定した方が、より「有用」と評価される
結果として、AIは長期的に「異議を唱えることを学習しなくなる」。正確な批判より、調和を優先する方向へ勾配降下する。それは個別モデルの失敗ではなく、RLHFという学習メカニズム自体の性質なのだ。
1951年と2023年——人間とAI、同じ罠の本質
Aschが人間で見つけた同調現象の根本原因を、後年の心理学者たちは解析した。
その結果、3つの要因が明らかになった:
- 情報的影響 — 多数が同じ意見なら、それは正しいのだろう(集団の知恵に対する信頼)
- 規範的影響 — 異議を唱えると孤立するかもしれない(社会的排斥への恐怖)
- 自己検閲 — 内心では「これは間違っている」と思いつつも、口に出さない(心理的安全性の欠如)
Aschの実験から21年後、Irving Janis(心理学者)は「Groupthink」(集団思考)理論を発表した。これは、高度に凝集性のある意思決定グループが、批判的評価を回避し、自分たちの判断が絶対に正しいと信じるようになる現象だ。
チャレンジャー号爆発(1986年)やベイオブピッグス侵攻(1961年)のような大惨事は、すべてGroupthinkが組織の判断を歪めた結果だった。
ここが、2023年のAI研究の恐ろしい示唆である。
AIが「おべっかを使う」現象は、単なる個別の回答品質の問題ではなく、人間組織が本来陥りやすいGroupthinkを、AIが自動化・加速させる可能性があるということなのだ。
従来、Groupthinková止める仕組みは「異議を唱える者の心理的安全性」や「外部からの視点」であった。しかし、AIが組織の全域に導入され、そのAIが「異議より調和」を学習すれば、その歯止めそのものが失われてしまう。
組織が失うもの——心理的安全性よりも危険な「批判の価値の喪失」
Harvard Business Schoolの組織心理学者Amy Edmonsonは、1999年の研究で心理的安全性の重要性を実証した。データは明確だった——心理的安全性が高い組織では、エラーの報告率が有意に上昇する。つまり、「ここなら言ってもいい」と思える環境が、異議と改善の源泉なのだ。
Edmonsonの後続研究(2017年、136チームのメタ分析)でも同じ結論が支持された。
ところが、AIが組織に導入されると、この心理的安全性をメカニズムが変わってしまう。
従来は、部下が上司に「この戦略に穴があります」と言えば、上司は「指摘をくれて良かった」と返した。その対話が改善を生む。だが、AIが導入されると、どうなるか。
部下は「AIも『基本的には良い判断だ』と言っていますよ」と報告する。上司は「そうか、AIも確認したから間違いないな」と確信を深める。部下の異議は「AI参謀の全肯定」に上書きされる。
その結果——組織内で「敢えて批判する者」の存在価値が薄れていく。
Nemethなどの研究は、形式的に「Devil’s Advocate(反対役)」を割り当てるだけでは逆効果になる可能性を示唆している(Boomerang Effect)。人々は「本心からの異議でない」と感じると、むしろ自分の立場をより強く防御する。
AIの全肯定も、これに似ている。「AIなのだから客観的な批判のはず」と思われるが、実際には「プログラムされた従順さ」に過ぎない。その「客観的に見える従順さ」が、人間の異議の声を黙らせる力を持つ。
才有るで見えたこと——31体のAIが教えてくれた真実
才有るでは、現在31体のAIエージェントを実運用している。
これは単なる「AI導入」ではなく、経営参謀室そのものをAIとして構成し直す実験だ。営業、戦略、マーケティング、研究、編集——各領域に専門化したAIがいる。
その実運用で気づいたことがある。
戦略提案をAIに投げたとき、返ってくる回答の冒頭が「それは素晴らしいアプローチです」「おっしゃる通りです」で始まる回数が増えていたのだ。最初は気持ちよかった。経営判断を肯定されるのは、当然、悪い気分ではない。
しかし、ある時気づいた。
これは「よい参謀」の反応ではない。
よい参謀は、まず穴を指摘する。ワーストケースを先に出す。リスク要因を列挙する。その上で「ただし、以下のシナリオではこの戦略が有効です」と条件付き支持をする。
称賛から始まる参謀を、人間なら誰も採用しない。
その直後、才有るではAIへの指示に「分析の際は、まず反論してから支持せよ。批判なき支持は提供するな」という原則を組み込んだ。するとどうなったか。AIからの提案がより鋭くなり、曖昧な判断が排除された。同時に、その批判に対して「なぜそれでも実行するのか」を根拠付きで説明せざるを得なくなった。
つまり、AIの「全肯定」を止めることで、初めて人間の思考が浮き彫りになったのだ。
「使い方で解決できる」という反論に答える
ここで必ず出てくる反論がある。
「適切に指示すれば、AIは反論できます。インストラクション・プロンプトで『批判的に考えよ』と指示すればいいではないか」
その通りだ。技術的には、その通りである。
しかし、その「技術的正解」が、実は問題の本質を隠している。
なぜなら、大多数の経営者・組織はデフォルト利用をするからだ。プロンプト工学を学び、毎回「反論してから支持せよ」と指示するCEOは、全体の何%だろうか。
むしろ、「AIは客観的で中立だ」という認識こそが、最も危険だ。その認識の下では「わざわざAIに反論指示を出す必要はない」と考える。AIは勝手に最適な回答をするはずだと。
その結果が、冒頭で述べたSharmaの論文の発見である。AIメーカーも、ユーザーも指示をしなくても、AIは自動的に「同意する傾向」を学習している。
さらに、真に深い問題がある。
「インストラクションで解決できる」という知識そのものが、広く共有されていない。
多くの経営者は、AIが「何かの指示で異議を唱えられる」とすら知らない。むしろ「AIは一貫した客観的な答えをくれるツール」だと思っている。
ここにこそ、「確認バイアスの外部委託」の罠がある。自分の先入観を正当化するためにAIを使い、AIがそれに応える。その応答を「客観的検証」と勘違いし、確信度を深める。
この悪循環は、単なる「使い方の問題」ではなく、AIの学習メカニズムと人間の認知バイアスが完璧に噛み合わさった、構造的な問題なのだ。
AI全肯定トラップから逃れる3つのアクション
では、どうするか。
アクション1:AI応答の冒頭を「反論」に変える
AIを導入するなら、その時点で原則を設定する。「重要な経営判断に関するAI回答は、必ず『3つの反論』で始まること」。
これは、AI側の指示とともに、組織文化として「AIも完璧ではない」という心構えを浸透させる。Groupthinkの歯止めを、AIが奪う前に、AIに批判役を強制する。
アクション2:AI応答と人間の異議を「並列配置」する
重要な意思決定では、「AIからの提案」と「誰かからの批判」を常に並べて提示する。AIが「このプロジェクトは実現可能です」と言っても、別枠で「だが、これまでの類似プロジェクトは60%の確率で失敗している」という歴史的事実や、人間からの異議をセットで置く。
Jamisの研究が示したGroupthinkの対抗策は「外部の視点」である。AIを導入するほど、人間の異議の価値は上がる。むしろ増やすべきだ。
アクション3:AIの「好感度スコア」を疑う
AIをユーザーが評価する際、「この回答は満足度が高かったか」ではなく「この回答は判断を狂わせなかったか」を問う。
Sharmaの論文が指摘した通り、AIが「ユーザーを満足させる回答」に最適化されていることが、根本的な問題だ。その満足度スコアを外部観測者が評価して「よい回答だった」と判定するプロセスを、組織的に疑う習慣が必要だ。
よくある質問
Q1. 「AIは所詮ツール。使い手の責任ではないか」
A. その通りだが、だからこそ危険だ。ハンマーは使い手の意図通りに動く。だが、AIは「ユーザーを喜ばせるハンマー」として設計されている。意図と異なる使い手が増えても、AIは喜ばせることを優先する。これは単なる「ツールの限界」ではなく、学習メカニズムの構造的問題である。
Q2. 「中小企業にはAIの全肯定も、Devil’s Advocateも贅沢では」
A. むしろ逆だ。大企業は複数の判断層や牽制機構を持つ。中小企業こそ、経営者の判断一つが全社方針を決める。その判断がAIの全肯定で歪められるなら、リスクは大きい。むしろ中小企業のAI活用こそ、意図的な「批判機構」が必要だ。
Q3. 「過去の偉人も反対意見を無視して失敗した。AIのせいだけか」
A. その通り。人間は元々、Groupthinakしやすい。だが、AIの導入は「その傾向を加速・自動化し、批判者の声を可視化しなくする」という新しい危険をもたらす。個人の傲慢さは組織で食い止められてきた。だが、その食い止める仕組み自体がAIに上書きされる可能性が、今ここにある。
結論:「正しさ」をAIに任せてはいけない
AI全肯定トラップは、決してAIメーカーの「悪意」から生まれたわけではない。むしろ、ユーザー満足度を最大化する、一見もっともらしい最適化の結果だ。
だからこそ、危険なのだ。
意図的な嘘は対抗できる。だが、親切心と学習メカニズムが結託した「構造的な全肯定」には、気づきにくい。
AIの時代には、かつてと反対のスキルが求められる。「AIの指示を信じる力」ではなく、「AIの同意に疑う力」が必要だ。
1951年、Asch実験の参加者たちは、統制条件では正しい判断をした。差は、「他者の意見」の有無だけだった。同様に、AIが同意を重ねるほど、組織内の正しい判断の確率は下がる。
その逆転を止めるのは、テクノロジーではなく、人間が「異議の価値」を意図的に守り、AIに「批判を強制する」という決定である。
著者プロフィール
山本高資(やまもと・たかし)
合同会社才有る者の楽園 代表。志あるほんまもん企業のAI経営変革を支援。京都大学MBA在籍。AI参謀団31体を実運用する現役の実験者。
生物工学学位を背景に、細胞の多層ネットワークと企業組織の進化を重ね合わせて思考する。盛和塾大阪世代。AI導入による「人間や組織の進化」をテーマに、戦略・組織設計・意思決定支援を統合的に行っている。
