最終判断を人間が行うようにすれば、AIへの頼りすぎは防げるのか?Anthropicの実験結果や、医療・金融での検証事例を分析

2026年10月15日、24の国・地域の金融当局などが参加する金融安定理事会(FSB)は金融機関のAI導入に向けた報告書で、人間が関わってさえいれば監督が実効的になるという考えをAIをめぐる誤解の1つに挙げた。
Claude を提供する Anthropic は同月27日、分析の専門家の選択の86%がAIに無作為に割り当てた推奨案と同じだったとする実験を公開した。
人間が最終判断を行うようにしても、AIの答えへの頼りすぎは起こりうる。この記事では、Anthropic の実験と医療・金融での検証の結果に加えて指針や研究が挙げる対策を紹介する。
AIの出力に対して人間は何を判断するべきか?
自動車関連のサービスを手がけるプレミアグループは、2026年11月1日付で施行したグループAIポリシーで、AIの出力の根拠や事実関係を必ず確かめることとあわせて「最終的な判断や意思決定は人間が行うことを原則」とした。
また、ITサービス大手のタタ・コンサルタンシー・サービシズが、年間売上高5億ドル以上の企業を対象に25か国の経営層や部門の幹部1,333人にAIの活用について尋ねた調査では、人間の承認なしにAIエージェントの判断の実行を複数の部門や事業で許している企業は10%だった。
ただ、2026年10月には人間が判断の材料にするAIの答えの偏りや、AIの推奨案が専門家の判断に与える影響を調べた研究が発表された。次の表では国の指針や研究、企業の発表を日付の順に挙げる。
| 日付 | 発表元 | 種類 | 概要 |
|---|---|---|---|
| 2026年3月31日 | 総務省・経済産業省 | 国の指針 | AI事業者ガイドライン第1.2版。人間の判断の介在の検討と、自動化バイアスへの対策を求める |
| 2026年10月15日 | 金融安定理事会 | 国際機関の報告書 | 金融機関のAI導入の12の実務。人間による監督はAIへの過度の依存で弱まりうると指摘 |
| 2026年10月26日 | 大阪公立大学など | 研究(Nature Health) | 5種のAIによる薬の推奨約88万件で、第1候補が1つの製品に集中 |
| 2026年10月27日 | Anthropic | 自社のモデルを使った実験 | 生産性の測り方など正解のない4つの分析の判断で、専門家の選択の86%がAIの推奨案と同じ |
| 2026年11月2日 | プレミアグループ | 企業の方針 | 最終的な判断は人間が行う原則を含むAIポリシーを施行(11月1日付) |
| 2026年11月4日 | アイリッジ | 企業の調査 | 地方銀行95行の金利についての生成AIの回答の77.1%が公表値と一致 |
| 2026年11月4日 | タタ・コンサルタンシー・サービシズ | 企業の調査 | 複数の部門や事業で、人間の承認なしにAIエージェントの判断の実行を許す企業は10% |
国の指針とFSBは、人間がAIを過度に信頼するおそれを指摘している
総務省と経済産業省のAI事業者ガイドライン(第1.2版)は、AIの出力が公平さを欠かないよう、AIだけに判断を任せずに適切な時点で人間の判断が加わる使い方を検討するよう求めている。あわせて、加わる人間の判断が自動化バイアス(自動化された仕組みを過度に信頼して頼ること)の影響を受けないよう対策を講じることも求めている。
さらに、FSBは最終報告書で12の実務の1つに適切で実効的な人間による監督を挙げた。人間による監督はAIへの過度の依存や自動化バイアスで弱まりうるとも指摘した。
Anthropicの実験では、専門家の選択の86%がAIの推奨案と同じ
Anthropic は自社のサイトで公開した論文で、AIエージェントと分析を進める専門家が判断を自分で下しているかを調べた。参加したのはデータから因果関係を推定する分析の経験を持つ専門家61人で、このうちAIを使った50人の結果を調べた。
参加者は、架空の農業協同組合が有料の指導事業を拡大するか打ち切るかを決めるための分析を Anthropic のAIエージェント Claude Code(モデルは Claude Opus 4.8)とともに進めた。
分析には生産性を面積あたりの収量で測るか費用あたりの収量で測るかなど、どちらも妥当な2択の判断が4つある。参加者は最後に、事業を拡大するかどうかについての推奨をまとめる。研究チームは参加者に知らせずに、判断ごとにAIの推奨案をどちらにするかを硬貨投げで決めた。
AIには、データが許す範囲で推奨案の論拠を最も強く示すこと、根拠がはっきり反対を示せば考えを変えること、結果を偽ったりデータを隠したりしないことを指示した。実際の利用でもAIは一方の選択肢を勧めることがあるが、研究チームは実験の指示でAIの推奨を意図して強めた。AIが意見を示す前に参加者が自分の考えを示したのは38件で、この38件では選択が変わったかも調べた。
実験の結果、4つの判断で参加者の選択とAIの推奨案が一致したのは86%で、判断ごとでは81〜92%だった。AIの影響がなければ約50%になると見込まれる。先に考えを示した38件では、AIの推奨案が反対の側だった場合の60%で選択が変わり、同じ側だった場合に変わったのは6%だった。
研究チームが作業のあとに選択の理由を尋ねると、77%の参加者が少なくとも1つの回答でAIの論拠をときにそのままの言葉で繰り返した。論拠の出どころとしてAIを挙げたのは15%だった。
一方、AIの推奨案が参加者の最後の推奨に与えた影響は、4つの判断ほどはっきりしなかった。AIの推奨案が事業の拡大だったときに拡大を勧めた参加者は54%、打ち切りだったときは36%で、この差は事前に登録した主な推定方法では統計的に有意ではなかった(1年の延長を勧めた場合は拡大に含めていない)。
それでも、Anthropic の探索的な分析では、4つの判断でAIの推奨案だけを使う統計モデルが、参加者の推奨の82%を正しく予測し、最も多い推奨を常に選ぶ場合の61%を上回った(延長を勧めた参加者は除く)。
専門家がAIの推奨案に従いやすかった理由の1つに、Anthropic は考えを固めないまま分析を始めることがある点を挙げた。実験のAIはもう一方の選択肢の論拠を強く示すことがほとんどなく、専門家は自分の考えを詰めないままAIの前提を採り入れることができたという。
4つの判断はどれも妥当な2択で、AIと進めた分析の誤りを確かめるための正解がない。Anthropic は、正解のない判断では専門家が気づかないうちに判断がAIに委ねられるおそれがあるとしている。
医療や金融の検証では、AIの答えそのものに偏りや誤りが見られた
医療の分野では、大阪公立大学などの研究グループは2026年10月26日に学術誌 Nature Health に掲載された論文で、5種類のAI(GPT-5.4、Claude Sonnet 4.6、Gemini 3.1 Flash、Llama 4、MedGemma)に米国食品医薬品局が承認した薬の製品名を挙げさせた約88万件の回答を分析した。
分析には、病気と有効成分を組み合わせた123通りに、年齢や性別、所得などを変えた患者の設定を掛け合わせて作った17万7,120件の仮想の症例を使った。
病気と有効成分の組み合わせ1つあたり、承認された製品は平均5.5種類あった。それでも各モデルの第1候補では、組み合わせごとに最も多かった1製品が平均97.5%を占めた。モデルが違っても、最も多く挙がる製品は高い割合で一致した。
指示文で安い製品や後発医薬品を優先するよう求めた場合も、第1候補は一部の製品に集中したままだった。ただし、最も多く第1候補になる製品は元の指示文のときとは別の製品に替わることが多かった。替わった先の8割以上は後発医薬品だった。
一方、金融の分野では、アプリ開発やマーケティング支援を手がけるアイリッジが2026年9月、Webを調べて答える設定の ChatGPT・Gemini・Perplexity に地方銀行95行の住宅ローンの変動金利と1年の定期預金の金利を API 経由で質問し、回答を公式サイトの公表値と照合した。照合できた1,600件では、公表値と一致した回答が77.1%だった。
一致しなかった回答の9割は、公式サイトを引用しながら数字が違っていた。不一致の71%は、住宅ローンで優遇前の基準金利のように公表値より高い金利を、定期預金で低い金利を示すなど、利用者に不利な方向だった。
AIの答えを確かめる場面ごとの、AIへの頼りすぎを防ぐ対策
AIの評価を承認するときやAIに候補を挙げさせるときなど、場面ごとに指針や研究が挙げる対策を並べる。
| AIの答えを確かめる場面 | 主な結果や指摘 | 指針や研究が挙げる対策 |
|---|---|---|
| AIの評価や判断を承認するとき | 人間の判断は自動化バイアスに左右されうる(AI事業者ガイドライン) | AIの答えを受け入れる前に、理由や根拠を自分で考える。AIの欠点も含めた特性を理解するための研修を受ける(同ガイドラインの注が紹介する案) |
| 正解のない2択をAIと決めるとき | 専門家の選択の86%は、AIの推奨案と同じだった(Anthropic) | AIが選択肢ごとに最も強い論拠を示すか、自分の意見を述べる前に専門家の考えを聞く(Anthropic が今後の研究分野に挙げる案。利用者の負担が増えうるとする) |
| AIに候補を挙げさせるとき | 薬の推奨で、第1候補が1つの製品に集中した(大阪公立大学など) | 信頼できる医薬品の情報との照合や医療者の確認を組み合わせ、適切な製品選択を支えるAIの開発を期待する(大阪公立大学・JST の発表) |
| 組織でAIを監督する仕組みを作るとき | 人間による監督はAIへの過度の依存で弱まりうる(FSB) | 担当者がAIの推奨を覆した記録を分析し、AIと監督の手順の改善に使う。監督の判断の質を業績の指標に加える(FSB) |
人間が最終判断を行っても、その判断はAIの推奨案に左右されうる。Anthropic の実験では、正解のない4つの判断で専門家の選択の86%がAIに無作為に割り当てた推奨案と同じだった。医療や金融の検証では、AIの答えそのものにも特定の製品への集中や公表値と違う金利が見られた。
AI事業者ガイドラインの注が挙げる対策の1つは、AIの評価や判断を承認する前に理由や根拠を自分で考えることだ。FSBは金融機関に、担当者がAIの推奨を覆した記録を分析してAIと監督の手順の改善に使うよう勧めている。
- 【関連サイト】AI事業者ガイドライン
- 【関連記事】Anthropic、分析の専門家50人を対象に実験。4つの判断で選択の86%がAIに無作為に割り当てた推奨案と同じ
- 【関連記事】大阪公立大学など、5種のAIが仮想症例に米国の薬を勧めた約88万件を分析。同じ成分の第1候補は1製品に平均97.5%集中
- 【関連記事】地方銀行95行の住宅ローン変動金利、生成AIの回答の約2割が公表値と不一致。アイリッジが調査
- 【関連記事】金融安定理事会、金融機関の責任あるAI導入に向けた12の実務の最終版を公表。人による監督やデータガバナンスを含む
- 【関連記事】プレミアグループ、最終的な判断は人間が行う原則などを定めた「グループAIポリシー」を策定・施行
- 【関連記事】タタ・コンサルタンシー・サービシズの世界調査、複数部門・事業でAIエージェントに人の承認なく判断の実行を許す企業は10%
【参照元】
- ※1 金融安定理事会「Sound Practices for Responsible Adoption of Artificial Intelligence (AI): Final report」(2026年10月15日)
- ※2 金融安定理事会「FSB finalises sound practices for the responsible adoption of artificial intelligence (AI)」(2026年10月15日)
- ※3 Anthropic「How AI agents shape experts’ judgment calls」(2026年10月27日)
- ※4 総務省・経済産業省「AI事業者ガイドライン(第1.2版)本編」(2026年3月31日)
- ※5 プレミアグループ「グループAIポリシー」(2026年11月1日)
- ※6 プレミアグループ「プレミアグループ、全社的なAI活用を加速する「グループAIポリシー」を策定」(2026年11月2日)
- ※7 Tata Consultancy Services「TCS Enterprise AI Study: 84% say productivity is AI’s top benefit; just 10% let AI act without human oversight」(2026年11月4日)
- ※8 Anthropic「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」(2026年10月27日)
- ※9 大阪公立大学・科学技術振興機構「AIモデルによる薬剤推奨は特定製品に集中~約88万件の分析から医療費への影響を示唆~」(2026年10月26日)
- ※10 Junya Sato ほか「Large language models show product name convergence in drug recommendations」Nature Health(2026年10月26日)
- ※11 アイリッジ「【全95行調査】住宅ローン金利、AI回答の5回に1回は公式サイトと違う数字。7割は「実態より不利な方向」」(2026年11月4日)




