本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

プロンプトキャッシング(Prompt Caching)とは・意味、仕組み・主なサービスと提供状況・使うときの注意

プロンプトキャッシングとは?

プロンプトキャッシング(Prompt Caching)とは、生成AIのモデルへの依頼の前半が前の依頼と同じとき、その部分を処理した途中の結果を保存しておき、次の依頼で計算し直さずに使う仕組みのこと。

Anthropic は日本語の開発者向けの文書で「プロンプトキャッシング」の語を使い、繰り返しの多い作業で処理の時間と費用を大きく減らせる機能だと説明している。

Amazon Web Services(AWS)の日本語の文書は「プロンプトキャッシュ」、Microsoft は「プロンプト キャッシュ」と表記する。Google は Gemini API の同じ機能を「context caching」と呼ぶ。

保存するのは、プロンプトの文章そのものではなく、モデルが入力を処理するときに計算する途中の値だ。新しく加わった入力は、モデルがその都度処理して新しい応答を作る。プロンプトキャッシングを使っても、開発者が API から受け取る応答は使わない場合と同じだと、Anthropic は説明している。

プロンプトキャッシングの仕組み

入力の前半を処理した途中の値を保存する

モデルは入力のトークンを処理するとき、キーとバリュー(KV)と呼ばれる途中の値を計算する。KV の値は、モデルが前のトークンを参照しながら新しい入力を処理し、出力を作るために使う。プロンプトキャッシングは、プロンプトの先頭にある変わらない部分(プレフィックス)について、この値を保存する。

あとの依頼のプレフィックスが同じで、保存した値が見つかれば、モデルはその部分を処理し直さずに使える。オープンソースの推論エンジン vLLM の文書も、処理した依頼の KV の値を保存し、同じプレフィックスの新しい依頼で再利用する手法として説明している。

区切りまでの前半が完全に同じときだけ使える

Anthropic の Claude の API でキャッシュから読むには、区切り(キャッシュブレークポイント)を置いた位置までの文章と画像が100%同じでなければならない。前半は、ツールの定義、システムプロンプト、会話のメッセージの順に組み立てる。ある段を変えると、その段から後ろの段までのキャッシュがすべて無効になる。

たとえば Claude の API では、ツールの定義を変えるとキャッシュの全体が無効になる。ただし対応するモデルでは、開発者は会話の途中のメッセージでツールを足したり定義を変えたりできる。このベータの機能では最初に送ったツールの一覧を書き換えないので、前半は前の依頼と同じままで、新しく処理されるのは原則として足したメッセージだけだ。

また、Claude の API で Web 検索の有効・無効を切り替えると、システムプロンプトが変わり、システムプロンプトと会話の部分のキャッシュが無効になる。OpenAI も、使うモデルやツール、推論の深さの設定などを変えると、キャッシュしたプレフィックスに影響することがあるとしている。

区切りは自動でも開発者の指定でも置ける

Claude の API では、依頼に cache_control の欄を付けて有効にする。依頼の最上位に1つ付けると、キャッシュできる最後のブロックに区切りが自動で置かれ、会話が伸びるにつれて前へ進む。ブロックごとに区切りを置く方法もあり、区切りは4か所まで置ける。

OpenAI の API では、対応するモデルでプロンプトキャッシングが既定で有効だ。GPT-5.6 以降のモデルでは、OpenAI が区切りを置く方式(implicit)と、開発者が選んだ区切りだけを使う方式(explicit)を選べる。どちらの方式でも、1回の依頼で書き込めるキャッシュは4つまでだ。

Google の Gemini API では、Gemini 2.5 以降のモデルで暗黙のキャッシュ(implicit caching)が既定で有効で、設定は不要だ。開発者がキャッシュを作って指定する明示的なキャッシュ(explicit caching)はベータの機能で、対応する Gemini 3 と Gemini 2.5 のモデルで使える。Gemini 4 のモデルは暗黙のキャッシュだけを使う。

キャッシュの標準の保存時間は5分から1時間

Claude の API のキャッシュは、標準で5分保たれる。キャッシュを使うたびに追加の料金なしで時間が延び、追加の料金で1時間を選ぶこともできる。時間は、キャッシュに書き込む・キャッシュから読む依頼が始まった時点から数え、応答を作る時間も含む。

OpenAI の GPT-5.6 以降のモデルでは、Responses API で、キャッシュを少なくとも保つ時間を30分(既定)と12時間から選べる。OpenAI は、開発者が選んだ時間より長く保つこともある。

一方、OpenAI の GPT-5.6 より前のモデルでメモリーの上だけに置く保存(in_memory)を選ぶと、使われない状態が多くの場合5〜10分ほど続いたところでキャッシュが消え、保たれるのは長くても1時間だ。長い保存(24h)では、多くの場合30分ほど保たれ、最長で24時間残ることもある。Gemini API の明示的なキャッシュは、保存の時間を指定しなければ1時間だ。

Message threads を使うときもキャッシュは別に指定する

Anthropic は2026年11月2日、Claude の API で、会話をサーバーに短い時間保持する Message threads をベータで提供し始めた。2回目以降の依頼では、新しいメッセージと前の応答の ID だけを送る。スレッドは最後の依頼から5分で期限が切れ、最後に使ってから1時間以内に削除される。

スレッドの中でもキャッシュの区切りは開発者が決める。プロンプトキャッシングの働きは、スレッドを使わない場合と同じだ。

プロンプトキャッシングが広まった経緯

In Gim 氏らは2023年11月、「Prompt Cache」と名付けた手法を提案する論文を arXiv で公開した。システムメッセージやプロンプトのひな形、文脈として渡す文書のように、多くのプロンプトで重なる部分の注意の計算の状態を前もって計算して保存し、使い回す手法だ。

生成AIの API では、2024年に Google、Anthropic、OpenAI が相次いで提供を始めた。Google は2024年6月18日に Gemini API でコンテキストのキャッシュに対応した。

Anthropic は2024年8月14日に Claude の API でベータとして提供を始め、OpenAI は10月1日、開発者向けの催し DevDay で発表した新機能の1つとしてプロンプトキャッシングを提供し始めた。

2025年5月8日、Google は Gemini 2.5 のモデルで暗黙のキャッシュを始めた。開発者がキャッシュを作らなくても、前の依頼と前半が同じ依頼はキャッシュを使える対象になり、使えた分の割引が自動で適用される。OpenAI は2025年11月13日、キャッシュしたプレフィックスを最長24時間保つ長い保存を始めた。メモリーが埋まると、KV の値を GPU のローカルの記憶装置へ移す方式だ。

2026年には、区切りの置き方を選ぶ機能が増えた。Anthropic は2月19日に、区切りを自動で置く方式を始めた。OpenAI は7月9日に公開した GPT-5.6 のモデルで、区切りを開発者が指定できるようにした。

2026年9月と10月には、キャッシュの使われ方を調べる道具と、12時間の保存が加わった。OpenAI は9月8日に、GPT-5.6 以降の対応するモデル向けに、キャッシュが外れた理由を調べる Prompt Cache Diagnostics の一般提供を始めた。

Anthropic は9月23日に、Claude の API で、前の依頼とプレフィックスが食い違った箇所を報告するキャッシュの診断(Cache diagnostics)のベータを終えた。OpenAI は10月20日に、12時間のプロンプトキャッシングを選べるようにした。

プロンプトキャッシングに関する主な出来事・ニュース

プロンプトキャッシングの主なサービスと提供状況

各社の API での提供状況を、有効にする方法と保存の時間、キャッシュできる最小の長さで並べる。

提供元(API) 有効にする方法 標準の保存時間 長い保存の選択肢 キャッシュできる最小の長さ
OpenAI(OpenAI API) 対応するモデルでは既定で有効。GPT-5.6 以降は区切りを開発者が選ぶ方式もある 30分(GPT-5.6 以降) 12時間(GPT-5.6 以降の Responses API) 1,024トークン(GPT-5.6 以降)
Google(Gemini API) Gemini 2.5 以降は暗黙のキャッシュが既定で有効。Gemini 4 は暗黙のキャッシュだけ 明示的なキャッシュは指定しなければ1時間。Gemini 4 は対象外 明示的なキャッシュは保存の時間に上限・下限がない 4,096トークン(Gemini 4 の各モデル)
Microsoft(Azure OpenAI) GPT-5.6 以降は区切りを自動で置く方式が既定で、開発者が選ぶ方式もある 30分(GPT-5.6 以降) 12時間(対応する Responses API のデプロイ) 1,024トークン
Anthropic(Claude の API) 依頼に cache_control を付ける(自動の区切りと、ブロックごとの区切り) 5分 1時間 512トークン(Claude Opus 5.5・Sonnet 5.5・Haiku 5.5 など)
AWS(Amazon Bedrock) 暗黙と明示の2種類があり、使えるものはモデルと API による 多くのモデルで5分 モデルカードに書かれた条件による 明示の区切りごとに512〜4,096トークン(モデルによる)

※2026年11月時点

Claude の API の料金は、書き込みが通常の入力の1.25倍(5分)か2倍(1時間)だ。読み出しは多くのモデルで0.1倍、Opus 5.5 と Sonnet 5.5 で0.05倍、Fable と Mythos の5.1・5.2 で0.025倍になる。OpenAI の GPT-5.6 以降は、書き込みが1.25倍(30分)か2.5倍(12時間)、読み出しが多くのモデルで0.1倍だ。

プロンプトキャッシングを使うときの注意とデータの扱い

同時に送った依頼はキャッシュを読めないことがある

Anthropic によると、キャッシュは最初の依頼の応答が始まってから使えるようになる。同じ前半の依頼を並べて送り、どれもキャッシュから読みたいときは、最初の応答を待ってから残りを送る必要がある。

OpenAI の API では、キャッシュの状態は個々のマシンに置かれ、依頼が1分あたり15件を超えると、ほかのマシンに振り分けられることがある。キャッシュを使えるのは、期限の切れていない一致する記録を持つマシンに依頼が届いたときだけだ。

AWS も Amazon Bedrock の明示的なキャッシュについて、記録を書いたサーバーが期限の切れる前にあとの依頼を処理したときだけ、キャッシュを読めると説明している。

キャッシュは組織やワークスペースの単位で分けられる

Anthropic のプロンプトキャッシングでは、キャッシュが組織ごとに分かれ、同じプロンプトでも別の組織とは共有されない。Claude の API では、同じ組織の中でもワークスペースごとにキャッシュが分かれる。

OpenAI も、キャッシュは組織をまたいで共有されないとしている。同社は、アプリの利用者ごとに別のキャッシュのキーを使う方法も示している。候補のプロンプトを送り、キャッシュが使われたかどうかから、ほかの利用者が同じ内容を送ったかを探る行為を防ぐのに役立つという。

各社のキャッシュの保存先と保存の既定

Anthropic は、プロンプトや応答の文章そのものを保存せず、KV の値とキャッシュの内容の暗号学的なハッシュをメモリーの上にだけ置くと説明している。

一方、OpenAI は暗号化した KV の値を GPU のローカルの記憶装置に保存することがあるとしている。メモリーの上だけに置く保存と長い保存の両方に対応するモデルでは、データを保存しない設定(Zero Data Retention)を有効にした組織はメモリーの上だけの保存、そうでない組織は長い保存が既定になる。

前半を書き換えるとキャッシュを使えなくなる

OpenAI によると、会話の要約や、古いやり取りを短くまとめるコンパクション、文脈の切り詰めはプレフィックスを変え、キャッシュの再利用を振り出しに戻すことがある。同社は、変わらない指示を先頭に置き、日時や利用者ごとの内容は後ろに配置するよう案内している。

プロンプトキャッシングの英語での言い方

英語表記 意味 使用主体
prompt caching 同じプロンプトの前半を処理した結果を保存し、あとの依頼で使い回すこと Anthropic、OpenAI
prompt cache プロンプトの前半の KV の値を保存する場所 OpenAI
context caching Gemini API で、繰り返し渡す入力のトークンを保存して使い回す機能 Google
implicit caching 開発者が設定しなくても自動で働くキャッシュ Google、OpenAI
explicit caching 開発者がキャッシュの対象や区切りを指定するキャッシュ Google、OpenAI
cache breakpoint キャッシュするプレフィックスの終わりを示す区切り Anthropic、OpenAI
prefix caching 同じ前半を持つ依頼の間で KV の値を再利用する手法 vLLM

プロンプトキャッシングに関連する用語

  • システムプロンプト:利用者とのやり取りの前に、開発者などがモデルの役割や守る制約を設定する指示文。変わらない前半になりやすい。
  • コンテキストウィンドウ:モデルが応答を作るときに参照できる情報の範囲と、その上限。
  • トークン:モデルが文章を処理するときの単位。キャッシュの最小の長さもトークンの数で決まる。
  • コンパクション:長い会話の文脈を要約などで小さくする手法。

プロンプトキャッシングに関する出典

Anthropic「プロンプトキャッシング」
Anthropic「Prompt caching」
OpenAI「Prompt caching」
Google「Context caching」
Google「Context caching(generateContent)」
Microsoft「Microsoft Foundry モデルで Azure OpenAI を使用してキャッシュを要求する」
Amazon Web Services「モデル推論を高速化するためのプロンプトキャッシュ」
Anthropic「Claude Platform release notes」
OpenAI「Changelog」
Google「Gemini API release notes」
Google「Gemini 2.5 Models now support implicit caching」(2025年5月8日)
In Gim ほか「Prompt Cache: Modular Attention Reuse for Low-Latency Inference」(2023年11月7日、arXiv)
vLLM「Automatic Prefix Caching」
Anthropic「Message threads」

プロンプトキャッシングに関連する記事