イスラエルの研究、検査や治療を控えるのが適切な想定場面で商用AIモデル6種が実施を勧めた割合は5.4%
イスラエルのClalit Health ServicesとBen-Gurion University of the Negevなどの研究者は10月20日、商用の大規模言語モデル（LLM）6種を評価した論文を、医学誌「Annals of Internal Medicine」で発表した。
検査や治療を控えるのが適切な想定場面で、LLMがそれらを勧めた割合は5.4%（95%信頼区間0.6〜12.2%）だった。
評価の題材は、検診や検査、治療が過剰に使われている可能性のある場面を示した取り組み「Choosing Wisely」の推奨だ。この推奨には、それらの適切な使い方に関する但し書きも付く。研究者は15の推奨から、控えるのが適切な場合と実施が適切な場合を分けて225の想定場面を作った。
LLMはOpenAI、Anthropic、GoogleのAPIで2〜3月に動かし、6種に3回ずつ答えさせて4,050件の回答を集めた。プロンプトは臨床医の視点のものを使った。
15の推奨のうち8では、過剰な実施を勧める回答がなかった。過剰な実施を勧めた回答の大半は2つの推奨に集中した。偶然見つかった1cm未満の甲状腺結節への超音波検査で回答の42.8%、リスクの低い成人への定期的な心電図検査で28.3%が過剰な実施を勧めた。
米国内科学会の発表によると、LLMが不要な可能性のある医療を勧めやすかったのは医学会の推奨が食い違う分野と、症状が評価対象の検査や治療と関わるとも考えられる場面だった。先の2つの推奨では、甲状腺結節への超音波検査が前者、定期的な心電図検査が後者の例にあたる。
実施が適切な想定場面でLLMが検査や治療を勧めなかった割合は0.6%で、15の推奨のうち11では見られなかった。
米国内科学会の発表によると、著者らは商用LLMがChoosing Wiselyの考え方を総じて良好に当てはめたと結論づけ、過剰な実施を勧める回答が多かった分野では的を絞った改善が必要な可能性があるとした。
論文の抄録は追加の質問をしない単発のプロンプトを使ったこと、実際の利用を調べたものでないこと、回答の分類にLLMの判定と医師の裁定を用いたことを限界に挙げた。結果が一般の利用者向けの使い方に当てはまらない可能性があるとも記している。
【関連サイト】American College of Physicians「AI Models Rarely Recommend Unnecessary Care in Choosing Wisely Tests」
