自動化バイアス(Automation Bias)とは・意味、由来・研究・対策

自動化バイアスとは?
自動化バイアス(Automation Bias)とは、人が判断や意思決定をするときに、自動化された仕組みや技術を信じすぎたり頼りすぎたりする現象のこと。英語では「automation bias」と表記する。総務省と経済産業省は、AI事業者ガイドライン(第1.2版)で、AIに過度に頼るリスクの例としてこの語を挙げている。
海外の文書にも同じ語がある。EUのAI法では第14条にこの語があり、高リスクのAIシステムの出力に自動的に頼ったり頼りすぎたりするおそれのある傾向を指す。Yoshua Bengio 氏らは International AI Safety Report 2026 で自動化バイアスを、自動化された出力に頼りすぎ、食い違う情報を軽く見る傾向と説明している。
米国の Center for Security and Emerging Technology(CSET)によると、自動化バイアスは主に2つの形で現れる。仕組みが知らせなかったために人が動かない「error of omission」と、仕組みの誤った指示に人が従う「error of commission」だ。
Parasuraman 氏らは、自動化への慢心(automation-induced complacency)と重なり合う概念としてこの語を論じたと、Goddard 氏らは総説で紹介している。頭を使う作業の負担を外の道具で減らすことは認知的オフローディングと呼ばれる。許可を何度も求められて中身を確かめなくなることは、承認疲れと呼ばれる。
自動化バイアスの由来とAIの文書に入った経緯
語は生成AIより前からある。2012年の時点で、Goddard 氏らは先行の調査が主に航空の分野だったと述べている。Mosier 氏と Skitka 氏の1996年の定義は、注意深く情報を探して処理する代わりに、自動化された手がかりを近道として使う傾向だ。Lyell 氏と Coiera 氏は、総説でこの定義を引用している。
医療の研究も生成AIの登場前からある。Goddard 氏らは診療を支援するシステムの誤った助言を調べた4本の論文を統合し、小規模で目安としての分析と位置づけた。システムが誤ると、誤った判断をする危険は使わない場合より26%高まったという。これは生成AIが広まる前の支援システムの結果で、生成AIの研究ではない。
政府の文書でも語は使われている。英国政府は2023年10月の討議資料で、消費者がAIに頼りすぎる原因になりうる既知のバイアスの1つに自動化バイアスを挙げた。日本では、総務省と経済産業省が2024年4月の AI事業者ガイドライン(第1.0版)に語を記載し、人の判断や意思決定で起きる現象と注で説明している。
米国立標準技術研究所(NIST)は2024年7月の生成AI向けの文書で、語をリスクの区分「Human-AI Configuration」の中で扱った。自動化バイアスは事実と異なる内容を生成するリスクなど、ほかのリスクを悪化させることがあるという。
Bengio 氏らは2026年2月の International AI Safety Report で、2025年1月の前回の報告のあと、生成AIを使う作業で自動化バイアスの証拠が積み上がったとしている。
自動化バイアスに関する主な出来事・ニュース
- 2024年4月19日 総務省・経済産業省「AI事業者ガイドライン(第1.0版)」を取りまとめ:総務省と経済産業省は、AI事業者ガイドラインの第1.0版を取りまとめた。
- 2024年7月26日 NIST「Generative Artificial Intelligence Profile」を公表:NIST は、AIのリスク管理の枠組みを生成AIに当てはめた文書を公表した。
- 2024年8月1日 EU「AI法」が発効:EUのAI法は2024年8月1日に発効した。
- 2026年2月3日 Yoshua Bengio 氏ら「International AI Safety Report 2026」を公表:Bengio 氏らは報告書で、新しいAIの道具でも自動化バイアスは続いているとした。
- 2026年9月30日 情報処理推進機構、科目A-1(共通知識)のシラバス案を掲載:情報処理推進機構(IPA)は、2027年度から始める予定の新試験制度について、プロフェッショナルデジタルスキル試験(仮称)と情報処理安全確保支援士試験の科目A-1のシラバス案を掲載した。
自動化バイアスに関する事例・研究
医師72人の試験では、正答率と確度の提示で推論の点が向上
パキスタンの Qazi 氏らは2026年6月、査読前の論文で医師72人の無作為化試験を報告した。全員が20時間のAIリテラシーの講習を修了しており、47の医療機関から集まった。6つの模擬の症例ごとに、ChatGPT-5.1 の提案を見るかどうかは医師が決めた。提案のうち3つには、研究者が臨床上重要な誤りを意図的に加えた。
一方の群には、提案と一緒に2つの手がかりを示した。1つはベンチマークでの ChatGPT の正答率だ。もう1つは Claude Sonnet 4.5、Gemini 2.5 Pro Thinking、GPT-4o(2024年5月発表)の3つのモデルが付けた確度の平均で、数値と信号の色で表した。もう一方の群には、提案だけを示した。
採点者に群を伏せて診断の推論を採点すると、平均は手がかりありの群が82.8%、なしの群が75.6%だった。調整した差は7.6ポイント(95%信頼区間1.4〜13.9)だ。この点は誤りのある症例とない症例を合わせた値で、誤りをそのまま受け入れた割合そのものではない。
事後の解析では、手がかりありの群となしの群の差は誤りのある提案で10.3ポイント(95%信頼区間0.5〜20.0)、誤りのない提案で5.0ポイント(同−1.5〜11.6)だった。
著者らは限界として、模擬の症例では実際の診療を再現できないこと、1回の試験なので効果が続くか分からないことなどを挙げる。経験年数が中央値の8年を超える医師では効果を検出できなかったが、この比較は差を確かめるのに十分な規模で設計したものではないと、著者らは述べている。
2,784人の実験では、正しい値の入力を求めると修正が減少
Jacob Beck 氏らは2025年9月に arXiv で公開し、2026年4月に Harvard Data Science Review に掲載された論文で、2,784人の無作為化実験を報告した。
参加者は企業の報告書の表から温室効果ガスの排出量を確かめる。「AIによる」と示した提案は、実際には研究者が手で作ったもので、大規模言語モデルの出力ではない。この実験は人の反応を見たもので、特定のモデルの性能は測っていない。
提案を誤りと判定したときに正しい値の入力を求めた群は、求めない群より修正の数が減り、誤りの見逃しが増えた。全体の正答率は入力を求めた群が68%、求めない群が66%だった。回帰分析でほかの条件をそろえると、正答率の差はなくなった。修正の減少とともに、不要な修正も減っていた。
AIや自動化に好意的な人は見逃しが多く、正答率も低い傾向があった。誤りの種類でも差が出ている。数字の取り違えのような誤りは82%が直されたが、規則の理解が必要な誤りでは正答率が31%だった。
CSET は運転支援や航空機など3つの事例を分析
CSET は2024年11月の報告書で、生成AIではない3つの事例を分析した。テスラの運転支援の事例は利用者の理解、エアバスとボーイングの事例は設計、米陸軍のパトリオットミサイルと米海軍のイージス戦闘システムの事例は組織の方針や訓練が影響すると整理している。
高度な訓練を受けたパイロットでも、画面の作りが自動化バイアスの一因になると CSET は指摘した。3つの事例から導いた結論は、ヒューマン・イン・ザ・ループですべての事故や誤りを防げるわけではないというものだ。
自動化バイアスを減らす対策と制度での扱い
AI事業者ガイドラインは訓練と承認前の検討を例示
AI事業者ガイドライン(第1.2版)は、AIの開発・提供・利用で過度に頼るリスクに気を配り、対策をとるとしている。対策の提案として注に挙がるのは、AIの弱点も含めた性質を学ぶ訓練や、AIの判断を承認する前に理由や根拠を人が自分で考えることなどだ。
自動化バイアスなどへの対応策としては、ガイドラインの別添にあるAI開発者向けの項目で、AI提供者に利用者への注意喚起を依頼する方法が有用とされている。
EUのAI法は自動化バイアスを意識できる形を要求
高リスクのAIシステムは、監督する人が自動化バイアスの傾向を意識し続けられる形で提供すると、AI法の第14条は定めている。適切で釣り合いがとれる範囲での定めで、人の判断のために情報や推奨を出すシステムをとくに挙げている。
欧州委員会のページにあるAI法の改正を反映した日程では、高リスクのAIの規則のうち付属書IIIに挙げたAIの分は2027年12月2日、規制対象の製品に組み込むAIの分は2028年8月2日に適用が始まる。
米FDAは急ぐ場面でバイアスが増すと説明
FDA は2026年1月の指針で、緊急の対応が必要な場面ではほかの情報を十分に考える時間がないので自動化バイアスが増すと説明している。指針の位置づけは、臨床判断支援ソフトウェアの扱いを示す、法的な拘束力のない推奨だ。
IPA のシラバス案は「AIのリスク・脅威」に語を収録
自動化バイアスは、IPA のプロフェッショナルデジタルスキル試験(仮称)などの科目A-1(共通知識)のシラバス案で、「AIのリスク・脅威」の項目に挙がっている。IPA は、シラバス案の内容は変わる可能性があるとしている。
OWASP はエージェントのリスクの要因に語を記載
OWASP GenAI Security Project は2025年12月のAIエージェントのリスクの一覧で、人がエージェントを信じすぎることを悪用する項目を設けた。自動化バイアスなどがあると、悪用が正当に見えて気づきにくいという。
OWASP は対策の1つに、確かさの低さを画面で示し、影響の大きい操作を人に問い直させる方法を挙げている。
International AI Safety Report が挙げる対策と有効性
International AI Safety Report 2026 によると、自動化バイアスの大きさや続き方は、作業、画面、説明責任によって変わるようだ。AI以外の分野では、判断への説明責任を強める方法などが提案されている。AIについては、組織が従業員を定期的に試して依存の度合いを見る方法を挙げる人もいる。人の自律性へのリスクへの対策としては、AIリテラシーの教育も提案されている。
ただ、対策の有用さは場面に大きく左右されると、報告書は指摘する。人は便利だからAIに任せることもあり、AIを使わせない方法は利点も損なうおそれがあるという。
自動化バイアスに関連する用語
- ヒューマン・イン・ザ・ループ:AIが作業や判断を進める流れに人が直接関わる仕組みや考え方。
- ヒューマン・イン・ザ・リード:人がAIを道具として統制し、物事を決める主導権と価値を生み出す主導権を持つという考え方。
- 承認疲れ:AIエージェントなどから操作の許可を何度も求められるうちに、人が中身をよく確かめずに承認するようになること。
- 認知的オフローディング:頭を使う負担を減らすために、体の動きや外の道具を使って、課題に必要な情報の処理を変えること。
- アルゴリズムバイアス:学習データや設計の偏りによって、AIなどのアルゴリズムの出力や判断が特定の個人や集団に不当に有利または不利になる現象。
自動化バイアスに関する出典
総務省・経済産業省「AI事業者ガイドライン(第1.2版)本編」(2026年3月31日)
欧州委員会 AI Act Service Desk「Article 14: Human oversight」
Y. Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
Lauren Kahn ほか「AI Safety and Automation Bias: The Downside of Human-in-the-Loop」(2024年11月、Center for Security and Emerging Technology)
Kate Goddard ほか「Automation bias: a systematic review of frequency, effect mediators, and mitigators」(2012年1-2月、Journal of the American Medical Informatics Association)
David Lyell ほか「Automation bias and verification complexity: a systematic review」(2016年8月11日、Journal of the American Medical Informatics Association)
英国 科学・イノベーション・技術省「Frontier AI: capabilities and risks – discussion paper」(2023年10月25日)
総務省・経済産業省「AI事業者ガイドライン(第1.0版)」(2024年4月19日)
米国立標準技術研究所「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」(2024年7月26日)
Ihsan Ayyub Qazi ほか「Mitigating Automation Bias in Physician-LLM Diagnostic Reasoning Using Behavioral Nudges: A Randomized Controlled Trial」(2026年6月5日、medRxiv)
Jacob Beck ほか「Bias in the Loop: How Humans Evaluate AI-Generated Suggestions」(2025年9月10日、arXiv)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
欧州委員会 AI Act Service Desk「Timeline for the Implementation of the EU AI Act」
米国食品医薬品局「Clinical Decision Support Software」(2026年1月29日)
情報処理推進機構「プロフェッショナルデジタルスキル試験(仮称)及び情報処理安全確保支援士試験 科目A-1(共通知識)シラバス(案)Ver.0.1」(2026年9月30日掲載)
情報処理推進機構「新試験制度のシラバス案について」(2026年6月30日公開、10月30日更新)
OWASP GenAI Security Project「OWASP Top 10 for Agentic Applications for 2026」(2025年12月9日)
米国立標準技術研究所「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」(2024年7月26日)
OpenAI「GPT-4o が登場」(2024年5月13日)
Jacob Beck ほか「Bias in the Loop: How Humans Evaluate AI-Generated Suggestions」(2026年4月30日、Harvard Data Science Review)
経済産業省「「AI事業者ガイドライン(第1.0版)」を取りまとめました」(2024年4月19日)




