OpenAI、AIが日常の用事をこなせるか測る「LifeVal」を発表。GPT-6 Astraの平均スコアは80.6%

OpenAIは11月2日、育児・介護、家計の管理、行政サービスの利用といった日常の用事をAIモデルがどこまでこなせるかを測るベンチマーク「LifeVal」を発表した。169件のタスクで自社の5つのモデルを評価し、GPT-6 Astraの平均報酬（重み付けなし）は80.6%だった。

平均報酬は、タスクごとの採点基準で付けた点を平均した値を指す。GPT-5.2は49.3%で、リリース順にGPT-5.4が73.0%、GPT-5.5が77.4%、GPT-5.6が80.0%だった。同社の論文の図では、同じモデルでも設定によって平均報酬が変わり、最も高い値ではGPT-5.6とGPT-6 Astraが80%台前半で並ぶ。

タスクを選ぶ際、OpenAIは米国生活時間調査と多国籍生活時間研究に、米国の人口構成を反映した3,995人への新たな調査を組み合わせた。同社は過去1年、モデルの性能を追跡し、改善するためにこのベンチマークを使ってきた。

タスクの作成者には、そのタスクを自分で何度もこなし、実生活で1年以上にわたり結果を見届けた経験などを求めた。各タスクは依頼文と採点基準に加え、参考ファイルや追加の情報、作成者本人のChatGPTの会話とメモリーといった個人の文脈を含む。

作成者は個人情報を合成データに置き換え、ChatGPTのデータの提供に同意した。そのChatGPTのデータは、研究に使う前に匿名化されている。モデルのウェブ操作の大半は、実際のサイトではなく評価用の環境で行う。

OpenAIは採点に自社のGPT-5.6を使う。17人の評価者がGPT-5.5の結果を30タスク分採点した確認では、採点基準の点の平均が人で83.61%、GPT-5.6で84.20%となり、両者の相関係数は0.864だった。

GPT-6 Astraの最高記録が100%に達したタスクには、車の整備時期を確かめてドライブ旅行前に点検を予約する用事、メールマガジンの配信停止などがある。

論文は、推論の強さをxhighにしたときの失敗の内訳も示した。GPT-6 Astraでは、依頼された操作を完了しなかった失敗が42%を占め、GPT-5.6の25%から増えた。誤った操作の割合は32%から17%に減っている。

モデル間で最も変わりにくい失敗は誤った情報や提案で、個人の会話にある重要な情報の見落としが多いと論文は説明する。作成者が必要な情報の置き場所を1つだけ挙げた採点基準の平均達成率は、過去の会話が33.33%、メモリーが47.8%、タスクに添えた追加の情報が55.8%だった。その追加の情報を直接渡さず過去の会話の中に入れると、55.8%から41.5%に下がった。

限界として論文は、過去の生活時間調査にない新しいタスクを取りこぼすおそれ、同社の新たな調査が米国中心で英語だったため米国外に多いタスクが十分に反映されないおそれなどを挙げた。時期で変わる情報や閲覧に頼るタスクではウェブのキャッシュを固定しておらず、評価用の環境でぶれを大きく減らしても残るため、実行のたびに内容や点数が変わりうることも記している。

【関連サイト】OpenAI「LifeVal」

【関連サイト】OpenAI「LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks」