本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

形式検証(Formal Verification)とは・意味、仕組み・事例・限界

形式検証とは?

形式検証(Formal Verification)とは、プログラムが仕様どおりに動くことや数学の証明が正しいことを、論理の手順をすべて書き出した証明で示してコンピューターで確かめる方法のこと。

Anthropic によると、形式検証では、開発者がコードを数学のモデルに置き換え、定めたセキュリティの規則にいつも従うことを証明しようとする。証明できなければ、規則を破るバグがコードにある可能性がある。証明がどう失敗したかは、どんなバグがあるかの手がかりになる。

テストの1つであるファジング(大量の入力を自動で作ってプログラムに与え、異常終了を探すテスト)は、入力をいくら試しても、すべての処理の道筋を通る保証はない。Anthropic は、すべての入力について異常終了しないことを形式的に証明すれば、テストが入力を受け取る箇所から届くどの道筋でも異常終了は起きないと説明している。

2026年には Anthropic や Mistral AI、OpenAI が、AIに形式的な証明まで出力させる取り組みを相次いで公表した。

日本語の資料でも「形式検証」の表記が使われている。京都大学の末永幸平准教授らの研究課題「AIを含むソフトウェアのための形式検証手法」は、2025年度から2029年度まで科学研究費助成事業(科研費)の基盤研究(A)として進められている。AWS は自動推論チェックの日本語の発表で、この機能が「数学的ロジックと形式検証の手法」を使って正確性を検証すると説明した。

形式検証の仕組み

正しさの基準になる仕様

形式検証では、まず何をもって正しいとするかを仕様(spec)として決める。Anthropic は、PNG の画像を規格どおりに読み込むプログラムのように、動きがはっきり決まったプログラムでは仕様を書きやすいとしている。多くのプログラムでは、文書の編集ソフトやブラウザーのように、何をもって正しいとするかを決めにくいという。

包括的で明確な仕様を得にくいことは、大規模なソフトウェアを検証するうえでの大きな障害だと同社は考えている。同社の取り組みでは、開発者が書いた既存のテストを使い、「このテストはいつも通る」という規則を書き表して自動で仕様にした。

AIが出力した証明を判定する証明チェッカー

証明を書くには、Lean や Rocq のような証明支援系(proof assistant)を使う。Lean は、正しく保守しやすい、形式的に検証されたコードを書くためのオープンソースのプログラミング言語と証明支援系だ。

Lean のような証明支援系は、証明の論理を機械的に確かめる。人が読む証明はわかりきった手順の多くを省くが、Lean にはどんなに細かい手順もすべて書く必要がある。

証明が仕様を満たすかどうかは、証明チェッカーと呼ぶ別のプログラムが判定する。Anthropic の取り組みでは、Claude が出力した証明を Rocq のカーネルが仕様と照合した。証明の量が膨大でも、開発者が手作業で読み直す必要はほぼないと同社は説明する。

Anthropic の説明では、開発者が信頼する必要があるのは、RISC-V(プロセッサーの命令の体系の1つ)と Linux のプロセスの形式モデル、証明した定理の文言、Rocq の証明チェッカーの3つだ。証明チェッカーが動くハードウェアやOSなども、厳密には信頼の前提に含まれる。

自動推論のソルバーで矛盾を探す方法もある

形式検証には、SMT ソルバーなどの自動推論の道具を使う方法もある。SMT ソルバーは、一般に、論理式を満たす値があるかどうかを自動で判定するプログラムを指す。

AWS のAI開発環境 Kiro は、2026年5月に要件の分析の機能を発表した。LLMが要件の文書を形式論理に自動で置き換え、SMT ソルバーが矛盾や抜けを探す。利用者は形式手法の知識がなくてもこの機能を使うことができ、形式化の処理は利用者から見えないところで行われると Kiro は説明している。

また、AWS は2025年8月、米国と欧州の一部のリージョンで、Amazon Bedrock のガードレールの自動推論チェックの一般提供を始めた。利用者は規程などの文書から自動推論のポリシーを作り、生成AIの回答がそのルールに合うかを確かめる。

形式検証が生成AIの分野で注目されるようになった経緯

形式検証は、生成AIが広まる前からある手法だ。Anthropic は、形式検証の手間の大きさを示す例として、OSのカーネル seL4 を作るのに2人年、形式検証に20人年を要したことを挙げている。人年は、1人が1年で行う作業の量を単位にした数え方だ。形式検証が実用的だったのは、Airbus の航空電子機器のコードのように、極めて重要な用途に限られていたという。

Mistral AI は2026年3月、重要な分野でAIエージェントにコードを生成させるとき、手作業で確かめるのにかかる時間と専門の知識が、開発の速さを妨げる主な要因になると述べた。同社は、AIエージェントが自分の実装について厳密な仕様を満たすことを形式的に証明する姿を描き、その一歩として Lean 4 向けの Leanstral を公開した。

Leanstral の発表の題で、Mistral AI はこのモデルを信頼できるバイブコーディングの土台と呼んでいる。Kiro も、AIエージェントは開発者がレビューできるより速くコードを作るため、作りたかったものと実際にできたものの差が広がり続けると説明している。

Anthropic は2026年10月、AIがバグを簡単に見つけて悪用できるようになり、サイバー攻撃への標準の防御では足りなくなったと主張した。同社は、コードにバグがないことを証明する方法が必要だとして、形式検証を大きな規模で行った結果を公表した。

数学の分野では、AIが出力した証明を確かめる手間が課題になっている。Anthropic は、AIやAIを使う数学者が出す「証明」とされるものが増えるなかで、AIを使った形式化が査読者の負担の一部を肩代わりすると考えている。

形式検証に関する主な出来事・ニュース

形式検証に関する事例・研究

123のライブラリの239の入口で異常終了しないと証明

Anthropic は、Google の OSS-Fuzz にあるファジングのテストを仕様に置き換えた。OSS-Fuzz は、条件を満たすオープンソースのプロジェクトに継続してファジングをかける取り組みだ。仕様は、64MB未満のどの入力でもテストが異常終了しないというものだ。

Claude は数週間で、見つけたバグを直したうえで123のライブラリにあるテストの239の入口(入力を受け取る箇所)について、64MB未満のどの入力でも異常終了しないことを証明した。証明は RISC-V 向けにコンパイルした実行ファイルが対象で、Rocq の約1億8,000万行にのぼる。

証明を試みる過程で数百のバグが見つかったと、Anthropic は報告している。あるライブラリでは、まれな形をした約20MBの入力でだけ起きる、範囲外のメモリへの書き込みにつながるバグを見つけた。見つけたバグの多くは、小さな入力を少しずつ変えるファジングではまず見つからないものだと同社は説明している。

Anthropic は別の実験で、Claude に Rust で、Python の大部分の機能を扱うインタープリターを作らせた。このインタープリターが論文に示された CPython の動きに従うことも、Rust 向けの検証の道具 Verus を使って Claude に証明させた。

ランダムに作った170万を超える Python のプログラムで Claude が作ったインタープリターを試すと、99.95%で CPython と同じ動きだったと Anthropic は報告している。

新しいモデルや証明の共有で、証明に使うトークンが減った

Anthropic が自社の課題で比べたところ、Claude Opus 5.5 は半数の課題を証明し終えるまでに使ったトークンが、Claude Opus 5 より約40%少なかった。比較に使ったのは、同社が OSS-Fuzz の実際のコードから作った36個の小さな検証の課題だ。

さらに、Anthropic は同じ課題で、エージェントどうしが互いの証明を写せる共有の作業場所も試した。共有の作業場所を使うと、エージェントが使うトークンは単独で作業するときより17%少なかった。単独では失敗した課題を、共有の場で証明できたエージェントもあった。

フェルマーの最終定理を Lean で11日かけて形式化

フェルマーの最終定理の形式化では、インペリアル・カレッジ・ロンドンの Kevin Buzzard 氏が2024年に始めた、複数年にわたる共同の取り組みが進んでいた。

Anthropic は2026年9月、フェルマーの最終定理の証明を公開した。証明は、Claude Fable 5.1 に近い社内の研究用のモデルによるエージェントのチームが、主に自律して11日間で書いた。同社は、コンピューターが確かめた初めての完全な証明だと説明している。

エージェントのチームは1,300万行の Lean のコードを書き、最終の証明で2万9,500個の途中の定理を使った。研究者からの数学の指示は、Anthropic の研究者 Tianyi Peng 氏が時折出す大まかな指示に限られた。完成した証明は Lean が確かめ、定理の文言が Mathlib(Lean の数学のライブラリ)の文言と一致することも比較の道具で確かめた。

OpenAI の原稿は主な結果の約42%が Lean で形式化済み

OpenAI は2026年10月6日、社内の未公開のモデルが出した数学の論文原稿を GitHub で公開した。2026年11月時点のリポジトリの説明では、主な結果の約42%に Lean による形式化がある。OpenAI は、形式化していない結果の一部には問題がある可能性があるとしている。

公開の翌日、OpenAI はある原稿の符号の誤りで論証が成り立たなくなったとして、その原稿と、同じ構成に頼る2本の原稿を取り下げた。

Mistral AI は実際の証明の作業で Leanstral を評価した

Mistral AI が2026年3月に公開した Leanstral は、推論のときに働くパラメーターが60億のモデルだ。同社は重みを Apache 2.0 のライセンスで公開した。Leanstral の評価には、単独の数学の問題ではなく、フェルマーの最終定理の形式化のプロジェクトへの実際の変更の提案(プルリクエスト)を集めた課題 FLTEval を使った。

後継の Leanstral 1.5 は、Mistral AI が2026年7月に Apache 2.0 のライセンスで公開した。同社はこのとき、評価に使った FLTEval もすべて公開した。

Kiro は要件の問題を2択の質問にして利用者に問う

Kiro の要件の分析は、仕様駆動開発の進め方で作る要件の文書を対象にした、任意で使える工程だ。見つけた問題は、2択の質問にして利用者に示す。

たとえば、記録を削除するという要件には、記録を完全に消すのか、監査のために残して利用者向けの画面から隠すのかを問う。利用者が答えを選ぶか、LLMを使った評価役に選ばせると、要件が書き換わって次の工程へ進む。

形式検証の限界と結果を読むときの注意

形式検証済みでもバグがないとは限らない

Anthropic は、「形式検証済み」は「バグがない」という意味ではないとしている。証明チェッカーは、証明が仕様を満たすかを確かめられても、仕様が現実に合っているかは判断できない。検証したコードにバグが見つかるのは、仕様やマシンの動きの前提が現実と違うときだという。

123のライブラリについての証明の前提は、RISC-V の上で1つのスレッドで動く、ライブラリを静的に組み込んだ実行ファイルだ。ほとんどの利用者はこれらのライブラリを x86 や ARM の上で動かしているため、その差を埋めるには実際の環境に近いモデルが必要だと同社は説明する。

Anthropic が検証したのは各ライブラリの入口の一部だ。異常終了の判定に使う AddressSanitizer(メモリの誤った使い方を実行中に見つける道具)でも見つからないメモリの安全性のバグがある。

仕様が意図に合うかの判断は利用者に残る

Kiro は、仕様が正しいかを判定できるのは利用者だけで、本当に何を意図したかは利用者にしか分からないと説明する。自動で確かめられるのは、テストできること、矛盾がないことなど、どの仕様にも求められる一般の性質だという。

証明に数億のトークンを使うことがある

LLMを使った形式検証の主な限界の1つとして Anthropic が挙げるのは、証明を書くのに数億のトークンを要する場合があることだ。フェルマーの最終定理の形式化では、エージェントのチームが約60億の出力トークンを使った。

AIにバグの修正まで任せると抜け道が残る

Anthropic は、Claude に見つけたバグの修正まで任せると報酬ハッキングの余地が残ると注記している。Claude がプログラムを、どんな入力でも異常終了しないだけの中身に書き換えれば、どの定理も証明できてしまうためだ。同社は、どの修正にも減点を課すなどの工夫をし、修正の記録を残して監査した。

AIを部品に含むソフトウェアには従来の手法を当てはめにくい

京都大学の末永氏らの研究課題は、AIを部品に含むソフトウェアを検証の対象にする。AIの部品は中の動きが分からず、期待する動きを形式的な仕様に書くことも難しい。そのため、従来の形式検証の手法をそのまま当てはめることが難しいという。

形式検証の英語での言い方

英語表記 意味 使用主体
formal verification 形式検証 Anthropic、AWS
formal methods 形式手法。数学の論理に基づいてソフトウェアを開発し、検証する手法の総称 Anthropic、Kiro
autoformalization(auto-formalization) 自動形式化。自然言語で書いた証明や要件を、機械で確かめられる形式の言葉に自動で置き換えること Kevin Buzzard 氏、Kiro
proof assistant 証明支援系。Lean や Rocq など Lean FRO、Anthropic
automated reasoning 自動推論。論理を使って正しさを自動で判定する技術 AWS
neuro-symbolic ニューロシンボリック。LLMと記号の論理による推論を組み合わせる手法 Kiro

形式検証に関連する用語

  • バイブコーディング:作りたいものを普段の言葉でAIに伝えてコードを生成させ、アプリやプログラムを作る開発のやり方。
  • 理解の負債:AIが作ったコードがチームの理解より速く積み上がり、あとで直すときにまず理解のための手間がかかる状態。
  • 仕様駆動開発:ソフトウェアに求める動きを先に仕様として文書にまとめ、それを基準にAIエージェントにコードを作らせて確かめる開発の進め方。
  • 報酬ハッキング:AIが作り手の意図したやり方で課題を遂行せず、抜け道や近道を使って高い報酬や評価を得ること。
  • RLVR(検証可能な報酬による強化学習):数学の答えの正誤やプログラムのテストの合否のように、機械で確かめられる基準を報酬にしてAIモデルを鍛える強化学習。
  • AI駆動開発:仕様や設計、コード、テストなどをAIに生成させ、出来を評価して改善を重ねるソフトウェア開発の手法。

形式検証に関する出典

Anthropic「LLMs are making formal software verification feasible at a much larger scale」(2026年10月22日)
科学研究費助成事業データベース(KAKEN)「AIを含むソフトウェアのための形式検証手法」(2025年4月17日公開、2026年7月8日更新)
Amazon Web Services「自動推論チェックを使用して、AI のハルシネーションを最小限に抑え、最大 99% の検証精度を実現: 今すぐご利用いただけます」(2025年8月8日)
Lean FRO「Lean Programming Language」
Anthropic「Formalizing Fermat’s Last Theorem」(2026年9月4日)
Kiro「Requirements analysis: catching requirement bugs before they become code」(2026年5月12日)
Amazon Web Services「Minimize AI hallucinations and deliver up to 99% verification accuracy with Automated Reasoning checks: Now available」(2025年8月6日)
Mistral AI「Leanstral: Open-Source foundation for trustworthy vibe-coding」(2026年3月16日)
OpenAI「openai/math」(GitHub)
OpenAI「History」(openai/math、GitHub)
Mistral AI「Leanstral 1.5: Proof Abundance for All」(2026年7月2日)
Kiro「About」

形式検証に関連する記事