トークン(Token)とは・意味、数え方・料金・注意

トークン(Token)とは?
トークン(Token)とは、生成AIのモデルが文章や画像などの入力と出力を処理するときの単位で、1文字や単語、単語の一部といったまとまりのこと。Google の開発者向けの文書によると、Gemini のモデルでは1トークンが約4文字にあたり、100トークンは英語の約60〜80語にあたる。
モデルが使うトークンの全体は語彙(vocabulary)と呼ばれ、文章をトークンに分ける処理はトークン化(tokenization)と呼ばれる。Gemini の API では、料金の請求が有効なとき、入力と出力のトークンの数が呼び出しの料金を決める要素の1つになる。
モデルが1回に扱える量の上限であるコンテキストウィンドウも、トークンの数で表す。Anthropic の Claude の現行の4つのモデルでは、上限は100万トークンだ。
日本の公的な資料でも「トークン」の表記が使われている。情報処理推進機構(IPA)は2026年9月30日、2027年度から始める予定の新しい試験制度のうち、基本情報技術者試験などのシラバス案を掲載した。基本情報技術者試験のシラバス案は、生成AIの技術の特徴の用語例に、大規模言語モデル(LLM)やコンテキストウィンドウとともにトークンを挙げている。
APIの利用の許可を示す「アクセストークン」のように、ITのほかの分野にも同じ語がある。生成AIの料金や上限の説明で使われるトークンは、モデルが処理する単位のほうを指す。
トークンの数え方
長い単語は複数のトークンに分かれる
Google が挙げる例では、トークンは「z」のような1文字のこともあれば、「cat」のような1つの単語のこともある。長い単語は、いくつかのトークンに分けて数える。
画像や音声もトークンの数に換算される
Gemini の API では、文章だけでなく画像や動画、音声の入力もトークンに換算する。縦と横がどちらも384ピクセル以下の画像は258トークンとして数え、それより大きい画像は768×768ピクセルの区画に分けて、区画ごとに258トークンとして数える。音声は1秒あたり32トークンだ。
送る前にトークンの数を調べる機能がある
Anthropic の Claude の API には、メッセージを送る前に入力のトークンの数を調べる機能がある。システムプロンプトやツール、画像、PDF を含めて数えられ、使うのは無料だが、1分あたりのリクエストの数には利用の段階に応じた上限がある。数は見積もりで、実際にメッセージを送ったときの入力のトークンとわずかに違う場合がある。
OpenAI の API にも、送る前に入力のトークンの数を調べる機能がある。返される数には、会話の中の発言者の役割や区切りを表すためのトークンも含まれる。tiktoken などの手元で動かすトークナイザー(文章をトークンに分ける仕組み)は、文字だけの文章には使えるが、画像やファイルには対応していない。画像やファイルでは文字数を4で割るような見積もりは不正確になると、同社は説明している。
トークンの数で決まる料金
生成AIの大手3社の API は、入力と出力に分けて、100万トークンあたりの単価で料金を示している。主なモデルの標準の単価を米ドルで挙げる。
| 提供元 | モデル | 入力の単価 | 出力の単価 |
|---|---|---|---|
| OpenAI | GPT-6 Astra | 10ドル(入力が27万2,000トークン以下のとき) | 50ドル(同) |
| Gemini 4 Argon | 2026年11月30日までは2ドル、12月1日からは4ドル | 2026年11月30日までは10ドル、12月1日からは20ドル。思考のトークンを含む | |
| Anthropic | Claude Opus 5.5 | 4ドル | 20ドル |
※2026年11月時点
入力の量が多いと単価が上がるモデルもある。OpenAI の GPT-6 Astra は、入力が27万2,000トークンを超えると入力20ドル・出力75ドルになる。
Anthropic は、Claude Haiku 5.5 を除く Claude 4.6 以降のモデルで、100万トークンのコンテキストウィンドウ全体を同じ単価にしている。Claude Haiku 5.5 は、入力が10万トークンを超えると高い単価になる。
答える前に考える推論モデルでは、考えるのに使うトークンも料金の対象になる。OpenAI の API では推論のトークンの中身は見えないが、コンテキストウィンドウの容量を使い、出力のトークンとして課金される。Google も Gemini 4 Argon の出力の単価に思考のトークンを含めている。
単語をサブワードに分ける方法の経緯
Rico Sennrich 氏らは2015年8月に arXiv で公開した機械翻訳の論文で、まれな単語や未知の単語を、単語より小さい単位(サブワード)の並びとして表す方法を示した。同氏らは単語の分け方として、文字の n-gram(連続する n 文字の組)のモデルや、データ圧縮の手法であるバイト対符号化(byte pair encoding)にもとづく分け方などの向き不向きを論じている。
OpenAI が自社のモデルで使うために公開しているトークナイザーの tiktoken は、バイト対符号化を使う。
トークンに関する主な出来事・ニュース
- 2015年8月31日 Rico Sennrich 氏ら「Neural Machine Translation of Rare Words with Subword Units」を公開:Sennrich 氏らは、まれな単語や未知の単語をサブワードの並びとして表す機械翻訳の方法を示した論文を arXiv で公開した。
- 2026年4月16日 Anthropic「Introducing Claude Opus 4.7」を公開:Anthropic は、更新したトークナイザーを使う Claude Opus 4.7 を公開した。同社は、同じ入力が内容の種類によっておよそ1.0〜1.35倍のトークンになるとした。
- 2026年9月30日 IPA、基本情報技術者試験のシラバス案を掲載:IPAは、2027年度から始める予定の新しい試験制度のうち、基本情報技術者試験などのシラバス案を掲載した。
トークンの英語での言い方
| 英語表記 | 意味 | 使用主体 |
|---|---|---|
| token | モデルが入力と出力を処理する単位 | Google、Anthropic、OpenAI など |
| tokenization | 文章をトークンに分ける処理 | |
| tokenizer | 文章をトークンに分ける仕組み。モデルによって違う | Anthropic、OpenAI |
| vocabulary | モデルが使うトークンの全体 | |
| reasoning tokens/thinking tokens | 推論モデルが答える前に考えるのに使うトークン | OpenAI、Google |
| MTok | 100万トークン。料金の単位に使う | Anthropic |
トークンの数で費用を見積もるときの注意
Claude 4.7 以降は同じ文章でもトークンが約3割増える
トークンの分け方はモデルによって違う。Anthropic によると、Claude 4.7 以降のモデルと Claude Mythos Preview は、新しいトークナイザーを使う。同じ入力の文章でも、それより前のモデルに比べておよそ30%多いトークンになり、増え方は内容によって違うという。
Anthropic は、前のモデルで測ったトークンの数を、費用の見積もりやコンテキストウィンドウに収まるかの判断に使い回さないよう案内している。同社は、移る先のモデルで数え直すよう勧めている。
文字数からの見積もりは目安にとどまる
1トークンを約4文字とする目安は、Google が Gemini のモデルについて示したもので、単語数の目安も英語の語数にもとづく。送る前の数は各社のトークンを数える機能で調べられ、実際に使った数は応答に含まれる使用量で確かめられる。
答えが表示されなくても費用がかかる場合がある
OpenAI は、同社の推論モデルの生成したトークンがコンテキストウィンドウの上限や開発者が決めた出力の上限に達すると、表示される答えが出る前に応答が止まることがあると説明している。この場合、表示される答えがなくても、入力と推論のトークンの費用がかかる可能性があるという。
トークンに関連する用語
- 大規模言語モデル(LLM):大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデル。
- 推論モデル:問題を小さな段階に分けて考える途中の過程を最終の答えの前に作り、それを踏まえて答えるAIモデル。
- トークンマキシング:AIのトークンをできるだけ多く使うこと自体を目標にする考え方や、社員にそれを促す会社のやり方。
- Tokens per Watt(ワットあたりのトークン数):AIを動かす計算の基盤が、電力1ワットに対してどれだけのトークンを生み出せるかを表す効率の指標。
- Context Rot(コンテキストロット):AIモデルに渡す情報(コンテキスト)が長くなるほど、モデルがその中の情報を正しく扱えなくなり、答えの質が落ちる現象。
- コンパクション:AIエージェントやチャットの会話が長くなったときに、それまでのやり取りを要約に置き換え、モデルに渡す文脈を小さくする手法。
トークンに関する出典
Google「Understand and count tokens」
Anthropic「Models overview」
情報処理推進機構「新試験制度のシラバス案について」(2026年6月30日公開、10月30日更新)
情報処理推進機構「基本情報技術者試験 シラバス(案)Ver.0.1」(2026年9月30日掲載)
Anthropic「Token counting」
OpenAI「Counting tokens」
OpenAI「Pricing」
Google「Gemini Developer API pricing」
Anthropic「Pricing」
OpenAI「Reasoning models」
Rico Sennrich ほか「Neural Machine Translation of Rare Words with Subword Units」(2015年8月31日、arXiv)
Anthropic「Introducing Claude Opus 4.7」(2026年4月16日、5月4日更新)
OpenAI「tiktoken」




