OpenAI、自社のCOBOL移行評価でGPT-6.1 Solの正解率は推論量を低くすると86.6%、増やすと97.9%
OpenAIは10月19日、AIの学習用のコードや文書が乏しいCOBOL、Fortran、Visual Basicなどの言語で、自社のモデルの能力を測った結果を研究の記事として公表した。同社が開発したCOBOL移行評価で、「GPT-6.1 Sol」の正解率は推論量を低く設定したときに86.6%、推論量を増やすと97.9%だった。
この評価では、COBOLで書かれたプログラムを、C++やJava、Pythonなど5つの言語のどれかへ書き換えさせ、元のプログラムの動作を保てるかを見る。判定には公開していないテストを使い、外から確かめられる出力が元とバイト単位で一致することを求め、すべてのテストを通ったときだけ移行に成功したと数える。同社は例として、COBOLは固定小数点演算で丸めを指定しない限り余分な小数の桁を切り捨てるため、書き換えたプログラムが値を丸めると、エラーが出なくても金額の計算が変わりうると説明する。
同じ低い推論量の設定で、「GPT-5.6 Sol」の正解率は5.4%だった。この設定で評価にかかったAPIコストは、GPT-6.1 SolがGPT-5.6 Solの61%にとどまる。同社は97.9%について、この評価で取りうる上限に近いとみている。
同社はもう一つ、SQLiteと互換性のあるデータベースエンジンを、指定した言語で新たに作らせる評価「MultiLangBench」も開発した。推論量を最大にした「GPT-6 Astra」の20言語の平均合格率は87.4%で、GPT-5.6 Solの26.8%を上回った。20言語のうち、Astraの合格率が83%に届かなかったのはCOBOLだけで、72.1%だった。MultiLangBenchの評価環境とテスト一式は、GitHubで公開した。
OpenAIは、動作を保つ能力は古いシステムを保守・刷新するチームに役立つとしつつ、本番のソフトウェアに使うには、専門家による確認と、業務のルールや依存関係を踏まえたテストが引き続き要ると説明している。同社は、チームで使う言語のコーディング作業で、今回測った最新のモデルをAPIで試すよう開発者に呼びかけている。
