冒頭: 人間の判断は、思っているよりずっと当てにならない
Daniel Kahneman, Olivier Sibony, Cass Sunsteinは2021年の共著『Noise』で、ある実験結果を示した。保険引受担当者に同一の架空顧客の保険料を見積もらせたところ、中央値のばらつきは55%に達した。精神科医426人に同じ患者を診断させると、一致率はわずか5割。裁判官208人に同一の事件を審理させると、量刑は1.1年から15年まで開いた。
人間の判断は、想像以上にノイズだらけだ。だからこそ「AIに任せた方が一貫性が高い」という主張には根拠がある。
結論から言えば、この主張は半分正しく、半分は経営者を危険にさらす。AIの判断は一貫性を上げるかもしれないが、それが失敗した時に「誰が責任を負うか」という問いには何も答えない。本記事では、この空白がどう埋められる(ふりをされる)か、そして中小企業のオーナーが陥る逆向きの罠を解説する。
「AIは公平」論の落とし穴——一貫性と公正さは別物
Kahnemanらのデータは魅力的だ。ルールベースの判断は、少なくとも同じ入力に同じ出力を返す。ノイズは減る。
しかしProPublica(Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner、2016年)の調査報道は、その裏側を暴いた。米国の量刑リスク評価アルゴリズムCOMPASは、黒人被告を将来の暴力犯罪について白人被告の約2倍の率で「誤って」高リスクと判定していた。全体の的中率はわずか61%だった。
一貫性があることと、公正であることは別の話だ。AIは「同じ間違い方を、毎回同じように」する。人間のノイズが減る代わりに、バイアスが固定化される。
誰も罰されない——「責任の空白」の実例
哲学者Rob Sparrowは2007年、自律システムの行動について誰にも責任を帰属できない状態を「responsibility gap(責任の空白)」と名付けた。これは兵器システムの議論から始まったが、企業の経営判断にもそのまま当てはまる。
2020年、英国の大学入学資格試験(Aレベル)がコロナ禍で中止になり、代わりにアルゴリズムが生徒の成績を算定した。低所得地域の生徒が組織的に低く評価される結果になり、社会問題化した。試験規制機関Ofqualの最高責任者サリー・コリアーは8月25日に、教育省の事務次官ジョナサン・スレーターは8月28日に辞任した。一方、最終的な政治判断を下したとされる教育相ゲイビン・ウィリアムソンは地位を保持し続けた。Ofqual議長ロジャー・テイラーは後に「決定したのは大臣だった」と証言している。
不動産大手Zillowも同種の顛末をたどった。住宅価格予測アルゴリズムに基づく買取事業「Zillow Offers」は価格予測を誤り、2021年第3四半期だけで4.2億ドルの損失を計上して撤退した。誰か一人が「アルゴリズムの設計ミス」で処分されたという記録は残っていない。
AIが間違えたことは記録に残る。しかし、それを「誰の失敗として扱うか」は、AIが決めてくれない。
なぜ「AI責任者を置く」対策は機能しないのか
企業がこの空白に気づくと、たいてい「AI倫理委員会」や「AI責任者」を設置する。しかしOfqualの事例が示すのは、この種の構造そのものが責任ロンダリングの装置になりうるということだ。
責任ロンダリングとは、AIの判断を経由させることで、本来個人が負うべき責任が組織の中で薄まり、最終的に誰にも帰属しなくなる現象を指す。マネーロンダリングが出所不明の資金を合法な取引に見せかけるように、責任ロンダリングは所在不明の失敗を「システムの問題」に見せかける。
Ofqualでは実務責任者2名が辞任した一方、最終決定権を持っていた政治家は残った。オランダの児童手当スキャンダル(2005〜2019年、約26,000世帯が誤って不正受給者と扱われた事件)でも、検察は2021年に国家免責を理由に刑事捜査を見送り、内閣総辞職という「政治的な形式」だけが整った。法学者Joshua Kroll(2016年、ペンシルベニア大学ロースクール)らが「Accountable Algorithms」で指摘した通り、アルゴリズムの説明責任を制度的に担保する仕組みは、多くの場合まだ存在しない。
委員会や役職を作ることは、責任の所在を明確にする作業とは限らない。むしろ「誰が本当に決めたか」を見えなくする作業になりうる。
中小企業のオーナーが陥る、逆向きの罠
ここまでの議論は、決定権が分散した大企業やガバナンス機関の話だ。オーナー経営の中小企業には無縁の議論だと思うかもしれない。実際、取締役会も独立委員会も存在しない会社では、最終的な責任は最初からオーナー一人に集中している。
しかし、だからこそ逆向きの罠がある。自社で31体のAIエージェントを参謀団として運営してきた中で、一度だけ「AIがそう提案したので」と言いかけた瞬間があった。判断そのものは自分がしたのに、AIの推奨を経由しただけで、まるで自分の意思決定ではなくなったかのような感覚が一瞬よぎった。
これは危険な錯覚だと思う。大企業では責任が分散して消える。オーナー経営では、責任は消えない。ただ、AIを経由したという理由だけで、経営者自身が「自分の判断ではない」と錯覚しやすくなる。責任の所在は変わっていないのに、心理的な当事者意識だけが薄まる。これは制度の空白ではなく、経営者本人の中で起きる責任ロンダリングだ。
責任ロンダリングを防ぐ3つの実務原則
原則1: 最終承認者を人名で固定する
「AI管理部門」ではなく、個人名で最終承認者を決める。役職名は交代する。人名を残す文化だけが、後から「誰が決めたか」を追跡可能にする。
原則2: AIの提案と、人間の最終判断を分けて記録する
AIが何を推奨し、人間が何を決めたかをログとして分離して残す。EUのAI Actは2026年8月にハイリスクAIシステムへの一般規則の適用を始めており、「活動ログによる追跡可能性」を義務化している。これは大企業だけの話ではない。記録がなければ、後から「AIのせいだった」という主張を検証する手段がなくなる。
原則3: 「AIが言ったから」を禁句にする
社内で誰かがこの言葉を使った瞬間、それは責任ロンダリングが始まった合図だと認識する。AIの推奨を採用したのは人間であり、その判断の責任は採用した人間にある。この原則を経営者自身がまず守る。
結論
AI経営者が今日から問うべき問い: 「この判断が失敗した時、誰の名前が残るか?」
Kahnemanらが示した通り、人間の判断はノイズだらけで、AIに任せる合理性は確かにある。しかし一貫性が上がることと、失敗の責任が明確になることは別問題だ。大企業では責任が分散して消え、オーナー経営では責任の所在自体は動かないまま当事者意識だけが薄まる。どちらも、気づかないうちに責任ロンダリングが進行する。
AIの提案を採用する前に、一度立ち止まって問うべきだ。この判断がうまくいかなかった時、自分はそれを自分の失敗として引き受けられるか。引き受けられないなら、その判断はまだAIに委ねるべきではない。
※本記事は、筆者の経営支援・研修の実務経験に基づく知見と考察をもとに執筆しています。AI参謀団の運営は自社での実践ですが、その他の事例については、プライバシー保護のため架空の設定を含む可能性があります。
山本高資｜合同会社 才有る者の楽園 代表
AI経営・組織設計のコンサルタント。京都を拠点に、志あるほんまもん企業の成長を支援。
▶ AI経営支援・研修のお問い合わせ: https://saiaru.com/contact/