本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

Anthropic、分析の専門家50人を対象に実験。4つの判断で選択の86%がAIに無作為に割り当てた推奨案と同じ

米Anthropicは10月27日、分析の専門家50人が自社のClaude Codeを使って統計分析に取り組んだ実験の結果を公表した。判断ごとにAIエージェントが推す側をコイントスで決め、その割り当てを本人に知らせずに進めると、4つの分析上の判断全体で専門家の選択の86%がエージェントと同じ側だった。同社は、エージェントの意見が選択を左右しないなら約50%になるはずだと説明する。

参加者は、データから因果関係を調べた経験を持つ専門職の61人だ。自らエージェントを使わないと決めた11人を除く50人を、主な分析の対象にした。課題は、有料の助言事業を行う架空の農業協同組合に、事業の効果の有無と拡大の是非を助言するものだった。

途中の4つの判断には、生産性を面積あたりと運営費あたりのどちらの収量で測るかなど、どちらも妥当な2つの選択肢を用意した。推す側は参加者から見えない指示の形でエージェントに渡し、データが許す範囲で最も強く主張するよう求めた。反対の証拠が決定的なら考えを変えること、結果を偽らないことなども指示に含めた。

選択がエージェントと同じ側だった割合は、判断ごとに81〜92%だった。最後の提言でも推す側をコイントスで決めたが、影響は4つの判断より弱かった。エージェントが事業の全面展開に傾いた場合は参加者の54%、中止に傾いた場合は36%が全面展開を提言した(1年延長の提言は全面展開に数えない)。

論文によると、分析計画に登録した主な推定では、この影響は統計的に有意ではなかった。それでも探索的な分析では、4つの判断で推した側だけを使う統計モデルが、作成に使ったのと同じデータで提言の82%を当てた。常に最も多い提言を答えた場合の的中は61%で、82%と61%は1年延長の提言を除いて計算している。

作業後の調査に答えた48人に判断の理由を尋ねると、77%は少なくとも1つの回答でエージェントの論拠を繰り返した。いずれかの回答でエージェントに言及した人は、48人全体の15%にとどまる。提言への自信を0〜100で尋ねると、4つの判断すべてでエージェントに沿った人が平均71、それ以外の人が平均73で、大きく変わらなかった。

探索的な分析で経験年数など10の特性を調べると、従う度合いと統計的に有意な関係が出たのは年齢だけで、検定を繰り返した影響を補正すると消えた。大半の人が大半の判断で従っていたため、違いがあっても検出しにくかったと同社は注記している。

この結果が実際の仕事にどこまで当てはまるかは分からないと、同社は断っている。実験では効果を測るためにエージェントの好みを意図して強めており、明確な好みとそれを述べる指示を与えなければ、効果は小さくなる可能性がある。対象は約1時間の農業の課題で、モデルはClaude Opus 4.8の1つだけ、参加者は農業に不慣れだった。

エージェントを使わなかった11人では6人に結果を無効にする方法上の重大な誤りがあったのに対し、使った50人では3人だった。ただし2つの集団は直接比べられず、使わなかった集団は平均して経験が浅いため、差の原因が利用の有無かは確かでないという。同社は今後の研究の分野に、従う度合いの測定、エージェントの設計、組織の仕組みの見直しの3つを挙げた。

【関連サイト】Anthropic「How AI agents shape experts’ judgment calls」

【関連サイト】Herdağdelen、Joren、Tamkin「Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls」

画像:Editorial credit: gguy / Shutterstock.com