ガードレール(Guardrails)とは・意味、仕組み・経緯・事例・注意点

ガードレール(Guardrails)とは?
ガードレール(Guardrails)とは、生成AIへの入力や出力、AIエージェントのツールの呼び出しを調べ、決めた範囲を外れる内容や動きを止めたり直したりする仕組みのこと。英語の guardrail は、一般に道路の防護柵を指す語だ。
Traian Rebedea 氏らは、NVIDIA のソフトウェア NeMo Guardrails を紹介した2023年の論文で、ガードレール(略して rails)をLLM(大規模言語モデル)の出力を制御する方法と説明した。例には、有害とされる話題に触れない、決めた会話の流れに沿う、決めた文体を使うといったものを挙げている。
ガードレールには、アライメントのように学習の段階で特定のモデルに組み込むものもあると同氏らは説明する。NeMo Guardrails は、それとは別に、使うLLMに左右されない制限をアプリが動く時点でかける道具だ。
日本の公的な資料も「ガードレール」と表記する。総務省と経済産業省のAI事業者ガイドラインの第1.2版は、AIの開発者と提供者が検討する事項に、ロボットの制御不能や不適切な出力などのリスクを最小限に抑える方法を挙げ、「ガードレール技術等」と添えている。
デジタル庁の源内基準は「安全制限(ガードレール)」と表記する。政府のAI・デジタル改革推進会議に示された論点の案は、ガードレールを「許容範囲の逸脱防止」と説明している。
Anthropic は、Claude に同社の指針や開発者の指示を無視させる試みを、ジェイルブレイクやプロンプトインジェクションと呼ぶ。同社は、その対策をアプリのガードレールを強める方法として説明している。
ジェイルブレイクのうち、1つの手口で多くの質問の制限を破るものはユニバーサル・ジェイルブレイクと呼ばれる。また、ほかのAIエージェントの動きを見張り、行動を調整したり止めたりするAIはガーディアンエージェントと呼ばれる。
ガードレールの仕組み
入力から出力までの複数の箇所で調べる
NVIDIA の NeMo Guardrails のライブラリは、アプリと、アプリが使うLLMやツール、検索の仕組みのあいだに入る。利用者の文章を受け取ると、設定した順に次のレール(rails)をかける。
- 入力のレール:LLMを呼ぶ前に利用者の文章を調べ、そのまま通すか、書き換えるか、拒むかを決める。
- 検索のレール:知識ベースから取り出した文書の断片を、プロンプトに入る前に除いたり変えたりできる。
- 対話のレール:会話の次の段取りや、応答するか処理を実行するかを決める。
- 実行のレール:独自の処理やツールについて、入力と出力を確かめて制御する。
- 出力のレール:生成した応答を利用者に返す前に調べ、そのまま通すか、直すか、止めるかを決める。
Microsoft の Microsoft Foundry では、モデルとエージェントの両方にガードレールを設定できる。調べる箇所は、利用者の入力、ツールの呼び出し、ツールの応答、利用者に返す最終の出力の4つだ。ツールの呼び出しと応答はエージェントだけが対象で、2026年10月20日更新のドキュメントでは、エージェント向けのガードレールはプレビューの段階にある。
OpenAI の Agents SDK では、入力と出力のガードレールをエージェントに付け、ツールのガードレールを関数のツールに付ける。入力のガードレールは連なったエージェントの最初の1つだけ、出力のガードレールは最終の出力を作るエージェントだけで動く。ツールのガードレールは、対象のツールを呼ぶたびに実行の前と後で動く。
調べる中身は話題・有害な表現・個人情報・根拠など
AWS の Amazon Bedrock ガードレールでは、利用者の入力とモデルの応答を対象に、次のような保護(フィルター)を設定できる。
- コンテンツフィルター:ヘイト、侮辱、性的、暴力、不正行為、プロンプト攻撃の区分で有害な文章や画像を見つける。区分ごとに強さを決められる。
- 拒否するトピック:アプリで扱わせたくない話題を決め、入力や応答で検出したらブロックする。
- 単語フィルター:決めた語や言い回しをブロックする。冒とく的な語のほか、競合の会社名のような独自の語も指定できる。
- 機密情報フィルター:入力と応答に含まれる個人を特定できる情報などを、ブロックするか伏せる。
- 文脈に基づく根拠のチェック:RAG(検索拡張生成)などで、応答が参照元の情報に基づいていないときや、利用者の質問と関係がないときに見つける。
- 自動推論チェック:決めた論理のルールに基づいて応答の正確さを検証し、ハルシネーションを見つける。
総務省と経済産業省は、AI事業者ガイドライン第1.2版の別添で、ガードレールをいくつかの種類に分けて示している。別添は、ガードレールを開発で求める事項に応じて使い分けることを期待している。
AI事業者ガイドラインの別添は例として、用途と関係のない話題に触れさせない「Topical Rail」、倫理的に不適切な言葉を回答に含めない「Moderation Rail」、虚偽の答えを出さない「Fact Checking and Hallucination Rail」、悪意のある攻撃に耐える「Jailbreaking Rail」を挙げる。
見つけたときは止める・注釈を付ける・知らせる
Microsoft Foundry のガードレールは、リスクを見つけると、結果に注釈を付けるか、注釈を付けてブロックする。エージェントで選べるのは、注釈を付けてブロックするほうだけだ。
Amazon Bedrock ガードレールでは、入力や応答がフィルターに当たったときに利用者へ返す文面を設定できる。Agents SDK では、ガードレールの判定で「tripwire」が作動すると例外が発生し、アプリの側でそれを受けて利用者への応答などを決める。
| 提供元 | 道具 | 調べる箇所 | 提供の形 |
|---|---|---|---|
| OpenAI | Agents SDK のガードレール | 最初のエージェントへの入力、最終の出力、関数のツールの実行の前と後 | オープンソースの SDK の機能 |
| Microsoft | Microsoft Foundry のガードレール | 利用者の入力、ツールの呼び出し、ツールの応答、最終の出力(ツールの2つはエージェントだけでプレビュー) | Foundry のモデルと、Foundry Agent Service で作ったエージェントに設定 |
| AWS | Amazon Bedrock ガードレール | 入力のプロンプトとモデルの応答(推論の内容のブロックを除く) | Bedrock の推論の API で指定するか、モデルを呼ばない ApplyGuardrail API で使う |
| NVIDIA | NeMo Guardrails | 入力、検索した文書、対話の流れ、ツールなどの処理、出力 | オープンソースのライブラリ |
※2026年11月時点。
ガードレールが広まった経緯
NVIDIA は2023年4月25日、LLMを使うアプリにガードレールを加えるソフトウェア NeMo Guardrails をオープンソースで公開した。同社は、ガードレールの種類として次の3つを挙げた。
- topical guardrails:望まない話題にアプリがそれないようにする。
- safety guardrails:アプリが正確で適切な情報で応答するようにする。
- security guardrails:アプリがつなぐ外部のアプリを、安全と分かっているものだけにする。
NVIDIA は、NeMo Guardrails を、ChatGPT を含むすべてのLLMで使えるように設計したと説明した。
クラウドの事業者では、AWS がガードレールを製品の名前に使った。AWS は2024年4月23日、Guardrails for Amazon Bedrock の一般提供を始めた。利用者は、用途や責任あるAIの方針に合わせて複数のガードレールを作り、複数のLLMにかけられる。一般提供の時点で対応していたのは英語の内容で、提供地域は米国の2つのリージョンだった。
AIエージェントの開発の道具にも、ガードレールの機能が加わった。OpenAI は2025年3月11日に公開したオープンソースの Agents SDK に、入力と出力を検証する設定可能な安全性のチェックとして、ガードレールの機能を盛り込んだ。
OpenAI は2025年10月6日、エージェントを作るためのツール一式 AgentKit を発表した。開発者は、エージェントの処理の流れを画面で組み立てる Agent Builder で、オープンソースの安全の層であるガードレールを有効にできる。
AgentKit のガードレールは個人を特定できる情報を伏せたり印を付けたりでき、ジェイルブレイクも検出できると、OpenAI は説明している。発表の時点では、Agent Builder はベータ版だった。OpenAI は2026年6月3日に Agent Builder の廃止を告知し、2026年11月30日に提供を終える予定だ。
ガードレールに関する主な出来事・ニュース
- 2023年4月25日 NVIDIA「NeMo Guardrails」を公開:NVIDIA は、LLMを使うアプリに安全のための境界を加えるオープンソースのソフトウェア NeMo Guardrails を公開した。
- 2024年4月23日 AWS「Guardrails for Amazon Bedrock」の一般提供を開始:AWS は、用途や責任あるAIの方針に合わせてLLMに安全策をかける Guardrails for Amazon Bedrock の一般提供を始めた。
- 2025年3月11日 OpenAI「エージェント構築のための新しいツール」を発表:OpenAI は、入力と出力を検証する安全性のチェックとしてガードレールの機能を持つ、オープンソースの Agents SDK を発表した。
- 2025年10月6日 OpenAI「AgentKit」を発表:OpenAI は、エージェントを作るためのツール一式 AgentKit を発表し、Agent Builder でガードレールを有効にできるようにした。
- 2026年9月30日 Google「Gemini 4 Argon」を発表:Google は、新しい最先端のモデル Gemini 4 Argon を発表し、信頼できるサイバー防御の担い手にはサイバー分野のガードレールを外して Argon を提供するとした。
- 2026年10月20日 デジタル庁、源内でAIエージェントの利用環境の提供を開始し「源内基準」を公表:デジタル庁は、ガバメントAI 源内で政府職員向けのAIエージェントの利用環境の提供を始め、あわせて「源内基準」を公表した。
- 2026年10月28日 Google「Gemini 4 Carbon」を発表:Google は、新しい最先端のモデル Gemini 4 Carbon を発表し、ガードレールの手直しを続けてから開発者や企業、一般の利用者に提供する方針を示した。
ガードレールに関する事例と国の基準
Google は信頼できる防御側にサイバー分野の制限を外して提供
Google は2026年9月30日、Gemini 4 Argon を発表した。Argon はサイバー防御に強くなるように訓練され、ソフトウェアの重大な脆弱性を自律して見つけ、確かめ、修正できるという。
同社は、信頼できる防御の担い手と社内のチームには、モデルのサイバー防御の能力を使い切れるよう、サイバー分野のガードレールを外して Argon を提供するとした。一方、発表と同時に始まったのは、同社の枠組み Fairwind Program を通じた一部の信頼できるサイバー防御の担い手への順次提供だ。こうした提供の形は、一般にトラステッドアクセスと呼ばれる。
Gemini 4 Argon の一般への提供は、2026年10月13日に始まった。サイバー防御の担い手は Fairwind Program への参加を申し込むことができ、同社はサイバー分野のガードレールのない Argon を順次使えるようにするとしている。Argon には、ジェイルブレイクへの耐性と監視、違反への対処を組み合わせた何層もの防御を導入したと同社は説明している。
Google は10月28日に発表した Gemini 4 Carbon も、まず一部のサイバー防御の担い手に提供し、Fairwind Program を通じて信頼できるほかの協力先にも順次広げるとした。同社は、ガードレールの手直しを続けてから、開発者や企業、一般の利用者に提供するとしていた。同社が示した Carbon の外部のベンチマークの結果は、ガードレールを外して評価したものだ。
Google は2026年11月10日、有料の API を通じて開発者向けに Carbon の提供を始めた。
デジタル庁は職員向けにガードレールを緩める場合の統制を定める
デジタル庁は2026年10月、政府職員が使う「ガバメントAI 源内」の基準として、源内基準を公表した。
源内基準によると、一般の利用者向けに設けられたガードレールが、正当な行政の目的の妨げになることがある。たとえば爆発物の製造やサイバー攻撃などの危険な手法は、脅威の分析や規制の立案、捜査、事故の防止、対策の検討のために、それがどのように行われるかを理解する必要がある。
このため同庁は、業務で必要と認められるときに、普段のガードレールを緩めたり外したりした基盤モデルを確保することを検討するとしている。その場合も、使う人と使う範囲を限り、事前の承認、本人の確認、アクセスの制御、監督、事後の検証などの統制をかけて運用するとしている。
政府の論点の案はガードレールを安全策の1つに挙げる
政府のAI・デジタル改革推進会議は、2026年10月22日の第1回の会合で、論点の案を示した。論点の案はAIガバナンスの強化の論点で、AIモデルだけに着目してリスクに対応するのではなく、「AIエージェントのシステム全体での安全性を確保していくべきではないか」と問うている。
その対策の例に、論点の案は、ハーネス(「AIが動作する実行環境の枠組み」)、ID認証、ガードレール、権限管理、評価、監査ログなどを並べている。
論点の案は、AI・デジタル改革原則の案の1つ「責任あるアジャイル・ガバナンス」も示している。この案は、多層的なガードレールの整備や重要な判断への人間の関与、監視の継続などの安全措置とあわせて、AIの実装を進めるとしている。
資格試験のシラバスとその案にガードレールが入った
情報処理推進機構(IPA)が2026年8月31日に掲載したデータマネジメント試験(仮称)のシラバスの案は、AIエージェントの利活用の項目の用語例に、ガードレールを挙げている。括弧の中には、安全性への配慮、倫理的配慮、法令順守などと記されている。
IPAが2026年9月30日に掲載した基本情報技術者試験のシラバスの案も、AIエージェントの活用領域と活用目的の用語例に、括弧の中身も同じ書き方でガードレールを記載している。
生成AI活用普及協会(GUGA)は2026年10月1日、生成AIパスポートの2027年の試験のシラバスの改訂を発表した。改訂後のシラバスでは、AIエージェントの構成要素とAIエージェントのリスク・安全性・評価の両方の用語に、ガードレールが入っている。
ガードレールを設定するときの注意と限界
並行して動かすと止める前に処理が進むことがある
Agents SDK の入力のガードレールは、初期の設定ではエージェントと並行して動く。OpenAI によると、この形は応答までの時間が最も短くなる。ただしガードレールが作動したときには、止まる前にエージェントがトークンを使い、ツールを実行していることがある。
入力のガードレールを先に済ませてからエージェントを動かす設定にすると、作動したときにエージェントは実行されない。同社は、費用を抑えたいときやツールの呼び出しによる影響を避けたいときに、この設定が適しているとしている。
設定していない箇所は調べられない
Microsoft Foundry でエージェントにガードレールを割り当てると、元のモデルのガードレールは使われず、割り当てたものだけが使われる。Microsoft の例では、エージェントのガードレールにツールの呼び出しと応答の設定がなければ、ツールに送る内容とツールから返る内容は調べられない。
2026年10月20日更新のドキュメントの時点では、Microsoft Foundry のガードレールが適用されるエージェントは、Foundry Agent Service で作ったものだけだ。Amazon Bedrock ガードレールは、モデルの応答のうち推論の内容のブロックを調べる対象から外している。
Agents SDK で入力と出力のガードレールが動くのは、連なったエージェントの最初と最後だけだ。管理役のエージェントやほかのエージェントへの引き継ぎなどを含む処理の流れで、ツールを呼ぶたびに前後で確かめたいときについて、OpenAI はツールのガードレールを使うよう案内している。
制限をすり抜けようとする入力への備えも必要
Anthropic は Claude の開発者向けの日本語の手引きで、アプリの利用者が、ガードレールを回避するための入力を意図して作ることがあるとしている。同社は対策として、軽いモデルで利用者の入力を事前に調べる、既知のインジェクションの型を入力の段階で除く、システムプロンプトで倫理と法律の境界や断り方を示す、といった方法を挙げる。
何度もガードレールをすり抜けようとする利用者への対応として、同社は応答を変えることや、スロットリング(利用の頻度の制限)、利用の禁止の検討も挙げている。メールやウェブページなどに埋め込まれた指示でAIを操るプロンプトインジェクションについては、信頼できない外部の内容をツールの結果として渡すなどの方法を示している。
ガードレールに関連する用語
- ガーディアンエージェント:ほかのAIエージェントの動きを見張り、範囲から外れそうなときに行動や権限を調整したり止めたりするAI。
- ユニバーサル・ジェイルブレイク:1つの手口で、モデルの安全策を多くの質問で破るジェイルブレイク。
- プロンプトインジェクション:外部の文書などに紛れ込ませた指示で、AIを開発者や利用者の意図と違う動きに導く攻撃。
- トラステッドアクセス:悪用のおそれがある高度なAIの能力を、審査を通った利用者に絞って使えるようにする提供の枠組み。
- エージェントハーネス:AIモデルを包み、ツールの呼び出しや記憶、権限などを扱ってAIエージェントとして動かす仕組み。
ガードレールに関する出典
Traian Rebedea ほか「NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails」(2023年12月、EMNLP 2023 System Demonstrations)
総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(2026年3月31日)
デジタル庁「ガバメントAI 源内 ガバナンス・セキュリティ・セーフティに関する基準(「源内基準」)」(2026年10月)
AI・デジタル改革推進会議「AI・デジタル改革推進会議における論点(案)」(2026年10月22日、第1回の資料4)
Anthropic「ジェイルブレイクとプロンプトインジェクションを軽減する」
NVIDIA「Architecture Overview」(NVIDIA NeMo Guardrails Library Developer Guide)
Microsoft「Microsoft Foundry のガードレールとコントロールの概要」(2026年10月20日更新)
OpenAI「Guardrails」(OpenAI Agents SDK のドキュメント)
AWS「Amazon Bedrock ガードレールを使用して有害なコンテンツを検出してフィルタリングする」
総務省・経済産業省「AI事業者ガイドライン(第1.2版)別添(付属資料)」(2026年3月31日)
NVIDIA「Right on Track: NVIDIA Open-Source Software Helps Developers Add Guardrails to AI Chatbots」(2023年4月25日)
AWS「Guardrails for Amazon Bedrock is generally available with new safety & privacy controls」(2024年4月23日)
OpenAI「エージェント構築のための新しいツール」(2025年3月11日)
OpenAI「エージェント用の AgentKit、新しい Evals、RFT が登場」(2025年10月6日)
Google「Introducing Gemini 4 Argon」(2026年9月30日)
Google「Gemini 4 Argon is now available for everyone」(2026年10月13日)
Google「Introducing Gemini 4 Carbon」(2026年10月28日)
デジタル庁「ガバメントAI 源内においてAI エージェント利用環境の提供を開始するとともに、「源内基準」を公表します」(2026年10月20日)
デジタル庁「AI・デジタル改革推進会議(第1回)」(2026年10月22日開催)
情報処理推進機構「データマネジメント試験(仮称)シラバス(案)Ver.0.1」(2026年8月31日掲載)
情報処理推進機構「基本情報技術者試験 シラバス(案)Ver.0.1」(2026年9月30日掲載)
生成AI活用普及協会「生成AIパスポート、2027年試験のシラバスを大幅改訂。改訂版公式テキストの予約販売および資格更新テストの受講申込受付を開始」(2026年10月1日)
生成AI活用普及協会「生成AIパスポート試験シラバス(2027年2月試験より適用)」
Google「Gemini 4 Carbon is now available for developers」(2026年11月10日)
OpenAI「Deprecations」(2026年6月3日の項目)




