SWE-bench とは・意味、問題の構成・派生版の違い・事例

SWE-bench とは?
SWE-bench とは、GitHub に実際に寄せられた不具合などの報告(issue)を題材にAIがコードを書き換えて問題を解決できるかを、テストに通るかどうかで測るベンチマークのこと。ベンチマークは、AIの性能を比べるための共通の問題集を指す。
SWE-bench は、Carlos E. Jimenez 氏ら7人の研究者が2023年10月に論文で示した。元の版は、よく使われる12の Python のリポジトリ(コードの保管場所)から集めた2,294問でできている。
SWE はソフトウェアエンジニアリング(ソフトウェア開発)の略で、Anthropic はシステムカードで「Software Engineering Bench」と表記している。Google は Gemini 3 の日本語の発表でも SWE-bench Verified と英語のまま表記し、コーディングエージェントを測るベンチマークとして紹介した。
SWE-bench の問題の構成と採点の方法
1問は、GitHub で解決済みの issue と、それを解決したプルリクエスト(PR、コードの変更の提案)の組から作られている。AIに渡されるのは、issue の文章と修正前の状態のリポジトリだ。
採点には2種類のテストを使う。FAIL_TO_PASS テストは PR に含まれていたテストで、修正前のコードでは失敗し、正しく直すと通る。issue が解決したかを確かめるためのテストだ。PASS_TO_PASS テストは、修正の前と後のどちらでも通る必要があるテストで、関係のない機能を壊していないかを確かめる。
採点のテストはAIからは見えない。両方のテストに通ったときだけ、その問題は解決したとみなされる。公式サイトのリーダーボードでは、解決した問題の割合(% Resolved)が点数になる。
SWE-bench Team「SWE-bench Leaderboards」
以上をもとに編集部作成
Jimenez 氏らによると、SWE-bench の問題を解くには、複数の関数やクラス、ファイルにまたがる変更をまとめて扱う必要があることが多い。実行の環境とのやりとりや、とても長い文脈の処理、従来のコード生成の課題をはるかに超える複雑な推論も求められるという。
SWE-bench の由来と広まった背景
Jimenez 氏らは論文の冒頭で、言語モデルの進歩に評価の方法が追いついていないと指摘した。そのうえで、実際のソフトウェア開発を、次の世代の言語モデルを測るための、題材が豊富で難しい試験の場と位置づけた。
OpenAI は2024年8月、SWE-bench をソフトウェア開発の評価で最もよく使われるものの1つと説明した。同社は、解くのが難しいか解けない可能性がある問題が一部にあり、そのせいで SWE-bench はモデルの自律的なソフトウェア開発の力を一貫して低く見積もっていたとした。
OpenAI は、AIのリスクに備えるための自社の枠組み Preparedness Framework の中で、SWE-bench をモデルの自律性のリスクを測る評価の1つに使っていた。2026年2月には、SWE-bench Verified が公開されたあと、最先端のモデルの発表で報告される標準の指標になったと振り返っている。
スタンフォード大学の HAI は、報告書「AI Index」の2026年版で SWE-bench Verified を主要なコーディングのベンチマークとして取り上げた。報告書によると、このベンチマークでの成績は1年で60%からほぼ100%まで上がった。
SWE-bench に関する主な出来事・ニュース
- 2023年10月10日 Jimenez 氏ら「SWE-bench: Can Language Models Resolve Real-World GitHub Issues?」を公開:Carlos E. Jimenez 氏らは、12の Python のリポジトリの GitHub の issue から作った2,294問のベンチマーク SWE-bench を論文で示した。
- 2024年8月13日 OpenAI「SWE-bench Verified」を公開:OpenAI は SWE-bench の作者と協力し、開発者が確かめた500問の部分集合 SWE-bench Verified を公開した。
- 2024年10月4日 Yang 氏ら「SWE-bench Multimodal」を公開:John Yang 氏らは、問題文やテストに画像を含む JavaScript のソフトウェアの課題で測る SWE-bench Multimodal を論文で示した。
- 2025年9月19日 Scale AI「SWE-Bench Pro」を発表:Scale AI の研究チームは、41のリポジトリから集めた1,865問の SWE-Bench Pro を発表した。
- 2026年2月23日 OpenAI、SWE-bench Verified の点数の報告をやめると発表:OpenAI は、テストの欠陥と汚染を理由に SWE-bench Verified の点数の報告をやめ、SWE-bench Pro の点数を示すよう勧めた。
- 2026年9月22日 Scale AI、SWE-Bench Pro の公開の問題を見直した V2 を公開:Scale AI は、無効と判断した89問を除き、公開の問題を731問から642問にした。
SWE-bench の派生版の違い
SWE-bench には、元の版のほかに、問題を絞った版と対象を広げた版がある。
| 名称 | 作成主体 | 問題数 | 特徴 |
|---|---|---|---|
| SWE-bench | Jimenez 氏ら | 2,294問 | 12の Python のリポジトリの issue から作った元の版 |
| SWE-bench Lite | Jimenez 氏ら | 300問 | 評価の費用を抑えるための部分集合。直すファイルが1つの問題などに絞った |
| SWE-bench Verified | OpenAI と SWE-bench の作者 | 500問 | 開発者が問題文とテストを確かめて選んだ部分集合 |
| SWE-bench Multimodal | Yang 氏ら | 480問 | 問題文やテストに画像を含む JavaScript のソフトウェアの課題 |
| SWE-bench Multilingual | Khandpur 氏ら | 300問 | C、Go、Java、Rust など9つの言語の42のリポジトリの課題 |
| SWE-Bench Pro | Scale AI | 1,865問 | 41のリポジトリの長い課題。公開しているのは一部で、多くの問題は外に出していない。公開の問題は2026年9月の V2 で642問になった |
※2026年11月時点。SWE-bench Multimodal の問題数は、2026年9月1日の v2 で残した数。
SWE-bench Verified を作るため、OpenAI は Python に詳しい93人の開発者と協力し、元の版から無作為に選んだ1,699問を調べた。1問ずつ3人の開発者が別々に見て、問題文があいまいなものや、正しい解答を不正解にしうるテストを持つものを外した。
OpenAI が調べた1,699問のうち68.3%が除かれ、同社は残った問題から500問を選んで SWE-bench Verified とした。
SWE-Bench Pro を作った Scale AI は、AIの開発に使うデータの事業を手がける会社で、AIモデルの成績の一覧(リーダーボード)も公開している。1,865問の内訳は、公開の731問、外部に出さない858問、商用の276問だ。商用の問題は、Scale AI が提携するスタートアップの非公開のコードから作った。
Scale AI は2026年9月22日に公開の問題を見直した V2 を出し、無効と判断した89問を除いて公開の問題を642問にした。
公開の問題は、学習データから外されている可能性が高いコードとして GPL のような強いコピーレフトのライセンス(改変したものにも同じ公開の条件を課す決まり)のリポジトリから集めたと、Scale AI は説明している。参照の解答の変更は、平均で4.1のファイルの107.4行に及ぶ。
SWE-bench に関する事例・研究
Google など3社はモデルの発表で SWE-bench の点数を示した
Google は2025年11月の Gemini 3 の発表で、SWE-bench Verified で76.2%を記録し、前のモデルの Gemini 2.5 Pro を大きく上回ったとした。
OpenAI は2026年4月の GPT-5.5 の発表で、SWE-bench Pro の公開の問題で58.6%を記録したと示した。同社は表の注で、この評価に暗記の証拠があるとAIの開発元が指摘していると注記している。
Anthropic は2026年9月、Claude Opus 5.5 のシステムカード(モデルの性能と安全性の評価をまとめた文書)で、SWE-bench Pro・Multilingual・Multimodal の3つの版の点数を示した。点数は5回の試行の平均で、Pro は89.9%だった。
Pro の89.9%を V1 と V2 のどちらの問題で測ったかは、システムカードに記載されていない。
OpenAI は SWE-bench Verified の点数の報告をやめた
OpenAI は2026年2月23日、SWE-bench Verified の点数の報告をやめたと発表した。最先端の成績の伸びは鈍り、直近の6か月では74.9%から80.9%に上がったという。同社は、残った失敗がモデルの限界なのか、データセットの性質なのかを調べた。
OpenAI は、o3 が64回の実行で毎回は解けなかった138問を、1問につき6人以上の経験のあるエンジニアに確かめさせた。138問のうち59.4%には、テストの作りか問題文に重大な問題があったという。
監査した138問のうち、特定の実装の細部を求める狭すぎるテストを持つ問題は35.5%、問題文にない機能まで確かめる広すぎるテストを持つ問題は18.8%だった。残りの5.1%は、狭すぎるテストにも広すぎるテストにも当てはまらない、さまざまな問題があるものだった。
OpenAI は、評価の問題と解答が学習データに混ざる汚染も調べた。SWE-bench の題材になったリポジトリは、多くのモデルの提供者が学習に使うオープンソースのものだ。
OpenAI が調べた GPT-5.2-Chat、Claude Opus 4.5、Gemini 3 Flash Preview は、どれも一部の問題で元の修正(ゴールドパッチ)か問題文の細部を再現できた。同社は、この再現から、どのモデルも学習のあいだに少なくとも一部の問題と解答を見ていたことが分かるとした。
OpenAI は監査と汚染の調べから、SWE-bench Verified での伸びは、実際のソフトウェア開発の力の伸びをもはや表さないと結論づけた。新しい評価ができるまでは、ほかの開発元にも SWE-bench Pro の点数を使うよう勧めている。
Anthropic は暗記の疑いがある問題を除いて点数を比べた
Anthropic は2026年4月、Claude Mythos Preview のシステムカードで、SWE-bench Verified・Multilingual・Pro に暗記の兆しがないかを調べた。どの版もオープンソースのリポジトリを題材にしており、その中身が学習データに入りうるためだ。
学習データ全体から評価の問題を除いたあとでも、3つの版のすべてで暗記の兆しが一部見られたと Anthropic はしている。ある問題では、モデルが自分で解答を組み立てて試したあと、参照の解答と同じ補助の関数を再現したという。
暗記の疑いがある問題を除いて採点し直しても、Mythos Preview と Claude Opus 4.6 の大きな差は残ったという。暗記の判定で基準にした閾値では、各版の8〜15%の問題が除かれ、両モデルの差が縮んだ幅は最大3.5ポイントだった。Mythos Preview の SWE-bench Verified の点数は、5回の試行の平均で93.9%だった。
採点に通ったAIのパッチの約半分は保守担当者が不採用と判断
METR は、最先端のAIエージェントを調べている非営利の研究機関だ。METR の研究者らは2026年3月のノートで、SWE-bench Verified の自動の採点に通ったAIのパッチ(コードの変更)を実際のリポジトリの保守担当者に審査させ、2024年半ばから2025年後半のエージェントのパッチのおよそ半分は、保守担当者の判断のばらつきを補正しても本体に取り込まれない判定だったと報告した。
審査したのは、scikit-learn、Sphinx、pytest の3つのリポジトリで保守を担う4人だ。担当者はAIが作った296件の PR を、書いたのが人かAIかを知らされずに見た。
Claude Opus 4 から Claude Sonnet 4.5 への進歩は、主にコードの質の改善によるものだったと、METR の研究者らは分析している。GPT-5 は、コードの質で Anthropic のモデルよりかなり劣っていたという。
METR の研究者らは、ベンチマークの点数をそのまま読むとエージェントの有用さを高く見積もるおそれがあるとしたうえで、この結果がAIの能力の根本の限界を示すとは主張していない。AIのパッチは1回きりの提出で、開発者が普段するように指摘を受けて直す機会がなかったためだ。そのうえで、AIの進歩と実社会への影響を予測する人は、ベンチマークを決め手ではなく証拠の1つとして見るよう求めている。
SWE-bench の点数を比べるときの注意
リーダーボードには作りの違うAIのシステムが並ぶ
Verified のリーダーボードには、言語モデルを単純な繰り返しで動かすエージェントから何度も試して答えを選ぶ仕組みまで、さまざまなAIのシステムの結果が並ぶ。
SWE-bench のチームはモデルどうしを同じ条件で比べるため、すべてのモデルを mini-SWE-agent という小さなエージェントで動かした結果も掲載している。この比較では、モデルは bash(文字で命令を打つ環境)だけを使い、特別な道具や仕組みを持たずに課題を解く。
SWE-bench のチームは、mini-SWE-agent の1.x と2.x の版の結果は必ずしも比べられないとしている。2.x では、操作を道具の呼び出しで行う形に変わったためだ。
METR は飽和か飽和に近い例に SWE-bench Verified を挙げた
METR は2026年5月の報告書で、一部の課題が壊れていることがあるため、ベンチマークは100%よりかなり手前で飽和することが多いと記した。同じ注で、飽和した、または飽和に近いとみられる例に SWE-bench Verified を挙げている。
OpenAI は SWE-bench Pro にも汚染の例を見つけた
OpenAI は2026年2月の発表で、SWE-bench Pro にも汚染の例がいくつか見つかったとした。ただし Verified よりかなりまれで程度も軽く、ゴールドパッチをそのまま出したモデルはなかったという。
SWE-bench に関連する用語
- Benchmaxxing(ベンチマキシング):AIのモデルを、全般の能力ではなく特定のベンチマークの点数に合わせて仕上げること。
- エージェントハーネス:AIエージェントのうち、AIモデルそのもの以外の部分のこと。
- Time Horizon(タイムホライズン):AIエージェントが決まった確率でやり遂げられる作業の長さを、専門家がその作業にかかる時間で表した指標のこと。
SWE-bench に関する出典
Carlos E. Jimenez ほか「SWE-bench: Can Language Models Resolve Real-World GitHub Issues?」(2023年10月10日、2024年11月11日改訂、arXiv)
Anthropic「System Card: Claude Mythos Preview」(2026年4月7日)
Google「Gemini 3 による知性の新時代」(2025年11月19日)
OpenAI「SWE-bench Verified のご紹介」(2024年8月13日、2025年2月24日更新)
SWE-bench Team「SWE-bench Leaderboards」
OpenAI「SWE-bench Verified を評価しなくなった理由」(2026年2月23日)
Stanford HAI「The 2026 AI Index Report」
SWE-bench Team「SWE-bench Lite」
SWE-bench Team「SWE-bench Multimodal」
John Yang ほか「SWE-bench Multimodal: Do AI Systems Generalize to Visual Software Domains?」(2024年10月4日、arXiv)
SWE-bench Team「SWE-bench Multilingual」
Scale AI「SWE-Bench Pro: Raising the Bar for Agentic Coding」(2025年9月19日)
Scale AI「SWE-Bench Pro Leaderboard」
OpenAI「Introducing GPT-5.5」(2026年4月23日)
Anthropic「System Card: Claude Opus 5.5」(2026年9月22日)
METR「About METR」
Parker Whitfill ほか「Many SWE-bench-Passing PRs Would Not Be Merged into Main」(2026年3月10日、METR)
SWE-bench Team「SWE-bench Verified」
METR「Frontier Risk Report (February to March 2026)」(2026年5月19日)
Scale AI「SWE-Bench Pro V2」(2026年9月22日)




