Anthropic、Messages APIで長い会話の応答開始を速めるMessage threadsを公開ベータで提供

Anthropicは11月2日、Claudeの「Messages API」で会話をサーバー側に保持する機能「Message threads」の公開ベータを始めたと発表した。同社によると、長い会話やエージェントのループ処理でリクエストが小さくなり、最初のトークンが返るまでの時間を短くできる。
Message threadsを使わない場合、やり取りのたびに会話全体を送り直し、APIがその全体を検証してトークンに分け直す。使う場合は、初回に会話全体とシステムプロンプトやツールを送り、次からは新しいメッセージと直前の応答のIDのほか、モデルなど毎回同じ値にする指定を送る。
Message threadsを使うと、APIの検証などの作業の大半は新しいやり取りの分に限られる。同社によると、Claude Codeでは大半の利用者に標準で有効にしており、50万〜100万トークンのリクエストでは最初のトークンが返るまでの時間の中央値が約35%短くなっている。
サーバー側に置く会話「スレッド」の保持は保証されない。スレッドの失効は最後のリクエストの5分後で、中身は最後の使用から遅くとも1時間で消える。応答が保存されるたびに、この5分は数え直される。
失効などでスレッドを続けられなくなると404エラーが返るので、会話全体を送り直して新しいスレッドを作る。応答が保存されたかは次のリクエストを送るまで分からず、同社のドキュメントは、全メッセージのコピーをアプリの側に持つよう開発者に求めている。
提供先はClaude API、Claude Platform on AWS、Claude Models on Google Cloud(Anthropic managed)、Claude in Microsoft Foundryの4つだ。Message threadsを使っても、Claudeが毎回読むのは会話全体のままなのでトークンの使用量は同じで、料金とレート制限も変わらない。
Message Batchesやトークン数の計算など、組み合わせて使えない機能もある。HIPAA対応を有効にした組織も対象外だ。Message threadsはゼロデータ保持の対象にならないが、使っても対象のほかの機能の利用には影響しない。
【関連サイト】Anthropic「Make long-running agents faster with message threads」
【関連サイト】Anthropic「Claude Platform release notes」
【関連サイト】Anthropic「Message threads」









