マイクロソフト社内のClaude CodeかCopilot CLIの利用者、マージ数は使わない場合より約24%多いと推計
マイクロソフトの研究者3人は7月1日、AnthropicのClaude CodeとGitHubのCopilot CLIの利用が年初から社内で広がった同社で、数万人のエンジニアを分析した論文をarXivで公開した。ツールの利用者は、使わなかった場合の推計と比べて、マージされたプルリクエストが約24%多かった。分析は社内の利用記録と人事データによる観察研究で、論文に査読を経たとの記載はない。
プルリクエストは、チームがコードの変更をレビューしてからメインブランチに取り込むための仕組み。約24%は、1月5日〜11日にどちらかのツールを使った人の4月29日までの実績と、どちらも使ったことのない人のデータによる推計との差で、両者とも1月5日より前の4週間に2件以上マージした人に限る。この差は分析期間を通して続いた。ただし論文は、使うかどうかは本人が選んでおり、この推計は偏りうると指摘する。
分析期間中に使い、1月5日より前の4週間に2件以上マージした人を本人の週どうしで比べると、使わなかった週よりマージ数は3日使った週で15.0%、5日以上で50.1%多かった。著者は、よく使う週は作業の中身が軽い可能性もあるとして、この結果を因果ではなく関連とみている。ツールを1つだけ使った人では、使わなかった週より、Copilot CLIを使った週は24.9%、Claude Codeを使った週は11.4%多かった。著者は差の理由の仮説に、両ツールの用途の違いと、マイクロソフトがCopilot CLIを作るGitHubを所有し、同ツールが社内の働き方に合うよう整えられたとみられる点を挙げる。
論文によると、Copilot CLIだけを対象にした導入の分析では、最初の利用は主に社内の人のつながりで広がり、使い続けるかどうかは属性よりもコードを書く活動量と関係していた。ただし、同僚の影響と、似た人どうしが集まる傾向とは区別できないとした。
論文は、マージの件数がそのまま価値を表すわけではないと断り、増えた分がより良いソフトウェアにつながるかを残る課題に挙げた。対象は1社だけで、Azure DevOps以外のプルリクエストは数えていない。著者は、自分たちがAIツールを販売するマイクロソフトの社員で、明示的な圧力はないが、その立場が研究の問いや設計、解釈に影響した可能性があると明記した。
