カーネギーメロン大学などの研究者、AIで生産性2倍を掲げた企業を分析。1人あたりのプルリクエストもレビュー負担も倍増
米カーネギーメロン大学とスタンフォード大学などの研究者は7月2日、AIの導入で開発の生産性を2倍にする目標を掲げた企業の開発記録を分析した論文をarXivで公開した。論文に査読を経たとの記載はない。開発者1人が作成したプルリクエスト（PR）の数は目標を出す前の2.09倍になり、レビューをする人1人あたりの負担も倍増した。
対象は研究開発部門に数百人のエンジニアがいる中規模のソフトウェア企業だ。社名は伏せられ、同社はデータを提供しただけだった。PRはコードの変更を取り込むための提案で、マージ前に内容を確認できる。同社のCTOは2025年6月、AIの導入で開発の生産性を12か月で2倍にする目標を示し、エンジニア1人あたり月間のマージ済みPRの数を指標にした。研究チームは同社の記録から、2024年1月から2026年4月までの開発者802人、PR19万6,212件を調べた。
活動中の開発者1人が1か月に作成したPRの数の平均は、目標を出す前の2025年1〜4月の21.2件から、2026年4月には44.3件に増えた。開発者ごとにAIツールを使い始める前と比べると、PRの数は3か月で1.51倍、9か月で1.99倍と推定された。ただし、使い始める時期や使う量は開発者が選んだもので、論文は、AIの導入と利用が伸びにつながったことを強く示すとしつつ、正確な因果の大きさまでは特定できないと説明する。
AIが作ったと社内で分類されたPRは最終的に全体の約9割に増え、PRの総数は2025年初めの3.1倍になったが、レビューをする開発者は1.5倍にとどまった。人が1回以上レビューしたPRの割合は89%から68%に下がり、AIの自動レビューを受けた割合は約19%から約84%に上がった。マージ率はほぼ変わらず、マージ後に取り消される割合はやや下がったが、論文はこれらを欠陥や障害、保守のしやすさを捉えない短期の大まかな指標とみている。
研究チームは、マージ済みPRの数だけで管理せず、レビューの待ち時間や取り消し・障害の割合なども見るべきだと指摘する。論文は、AIツールを利用量の制限なく使える企業1社の結果で、業界の平均というより上限に近い値だと位置づける。マージ済みPRの数を目標にしたため膨らみうる分を、開発が実際に速まった分と切り分けきれないことも認めている。
