本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

Transformer(トランスフォーマー)とは・意味、仕組み・RNNとの違い・由来

Transformerとは?

Transformer(トランスフォーマー)とは、入力のどの部分どうしが関係が深いかを注意(attention)と呼ぶ仕組みで計算して、文章などを処理するニューラルネットワークの構造のこと。Google Brain と Google Research で研究した Ashish Vaswani 氏らが、2017年の論文でこの構造を示した。

チューリング賞の受賞者 Yoshua Bengio 氏が率いた国際的な報告書 International AI Safety Report 2026 によると、今の最先端の汎用のAIモデルの多くは Transformer にもとづく。注意の仕組みは、モデルが入力の中で最も関係の深い部分に注目するのを助けるという。文の意味をとらえるうえでどの語が最も重要かを決めるのは、その一例だ。

Transformer は、ディープラーニングで使うニューラルネットワークの組み方の1つだ。ディープラーニングは、層を重ねたニューラルネットワークに大量のデータから学ばせる手法を指す。Google は機械学習の講座で、Transformer を大規模言語モデル(LLM)を作るのに最も成功し、広く使われている構造と説明している。

基本情報技術者試験のシラバス案や生成AIパスポートのシラバスでは、英語のまま「Transformer」と表記されている。日本ディープラーニング協会の Generative AI Test のシラバスのように、カタカナで「トランスフォーマー」と表記し、英語の表記を括弧で添える例もある。

それまで翻訳などで一般的だった再帰型ニューラルネットワーク(RNN)は、文を端から順に1語ずつ処理していた。Transformer は、文の中のすべての語どうしの関係を、位置にかかわらず直接とらえる。

Transformerの仕組み

文章をトークンのベクトルに変えて層を重ねる

Transformer は、入力のトークン(文章をAIが扱う単位に区切ったもの)を、学習で決まる数値の並び(ベクトル)に変えてから処理する。Vaswani 氏らは、この変換を埋め込み(embedding)の層で行った。

再帰も畳み込みも使わない Transformer では、トークンの並びの順の情報を別に与える必要がある。そのため Vaswani 氏らは、トークンの位置の情報を埋め込みに足す位置エンコーディング(positional encoding)を使った。

また、Transformer のモデルは自己注意の層を何層も重ね、前の層の出力を次の層の入力にする。Google は講座で、入力に近い層は基本的な文法を、深い層は文脈やテーマのつながりのような細かな意味をとらえることがあるとしている。たとえば、Meta が2026年10月に公開したAIモデル Muse Spark Open は、62の層を重ねている。

自己注意で語どうしの関係の強さを測る

Transformer は、自己注意(self-attention)と呼ぶ仕組みに大きく頼っている。自己注意は、同じ入力の中のトークンどうしの関係の重要さを測る。

Google Research の説明の例では、英語の文「I arrived at the bank after crossing the river」の bank が川の土手か銀行かを決めるとき、Transformer は bank を文のほかのすべての語と比べる。比べた結果は、語ごとの注意の点数(attention score)になる。

注意の点数は、bank を表す数値の並び(表現)を新しく作るときに、ほかの各語の情報をどれだけ取り込むかを決める。river に高い点数がつけば、川の土手の話だと分かる新しい表現が bank について作られる。

Vaswani 氏らは論文で、注意の計算を、クエリ(query)と複数のキー(key)・バリュー(value)の組から出力を求める処理として示した。クエリと各キーの合い具合から重みを求め、その重みでバリューを足し合わせたものが出力になる。

複数の注意のヘッドが別々の関係をとらえる

Transformer では、注意の計算を複数並べて同時に行う。Vaswani 氏らはこれをマルチヘッド・アテンション(multi-head attention)と呼び、位置の違う情報に別々の観点から同時に注意を向けられるとした。

注意のヘッドごとに違う関係を学ぶことがあると、Google は説明している。たとえば、あるヘッドは代名詞の it がどの名詞を指すかを学び、同じ層の別のヘッドは語どうしの文法上の関係を学ぶことがある。

Muse Spark Open では、クエリのヘッドが128、キーとバリューのヘッドが16ある。Meta はモデルカードで、この注意の作りを grouped-query attention と記している。grouped-query attention は一般に、複数のクエリのヘッドでキーとバリューのヘッドを分け合い、推論とメモリーの効率を高める作りを指す。

エンコーダーが読んだ入力からデコーダーが出力を作る

論文で示された Transformer は、エンコーダーとデコーダーからなる。エンコーダーは入力の並びを中間の表現に変え、デコーダーはその表現をもとに出力の並びを1つずつ作る。デコーダーは、それまでに作った出力も入力として使う。

Vaswani 氏らはデコーダーの自己注意で、出力のうちまだ作っていない後ろの位置を参照できないようにした。エンコーダーは前後の両方向の語から文脈を集め、デコーダーは片方向の語だけから集めると、Google の講座は説明している。

Transformer には、エンコーダーだけ、デコーダーだけの構造もある。Google は、エンコーダーだけの構造の用途に、分類などのほかの仕組みへ渡す埋め込みを作ることを挙げる。デコーダーだけの構造は、すでに生成した文章から新しいトークンを生成する作りで、一般に文章の生成に優れているという。

TransformerとRNN・Mambaの違い

文章が長くなると、Transformer の計算量は長さの2乗で増える一方、RNN の順の処理の回数と Mamba の計算量は長さに比例して増える。

構造 処理の方式 文章の長さと計算量
RNN(再帰型ニューラルネットワーク) 前の位置の状態と今の位置の入力から、順に1つずつ処理する 順に行う処理の回数が、長さに比例して増える
Transformer 自己注意で、すべての位置どうしを直接つなぐ 1層の計算量が、長さの2乗に比例して増える
Mamba 注意の仕組みを使わず、入力に応じて情報を選んで残したり忘れたりする状態空間モデルを組み込んだ構造 学習では計算量とメモリーが長さに比例して増える。推論では前の要素を保存する必要がなく、1ステップの時間は長さによらず一定

Mamba を取り入れた言語モデルを開発した IBM の説明では、Transformer の自己注意は、特に few-shot プロンプティング(少数の例を示して答えさせる方法)のように入力の中の例から学ぶ作業で Mamba より優れた点を持つ。同社は、両方を組み合わせたハイブリッドの構造なら、それぞれの長所を生かせるとしている。

Transformerの由来と広まった背景

Google Research の Jakob Uszkoreit 氏によると、RNN は離れた語どうしの関係を決めるのに多くの手順が必要だ。先行研究では、おおまかには手順が多いほど学習が難しくなることが示されていた。同氏は、RNN が順に処理するため、並列の処理を得意とする GPU や TPU(AIの計算を速く処理する半導体)の性能を引き出しにくいことも挙げている。

Vaswani 氏らは2017年6月に arXiv で公開した論文「Attention Is All You Need」で、再帰も畳み込みも使わず、注意の仕組みだけにもとづく構造として Transformer を示した。著者らは、自己注意だけで入力と出力の表現を計算する系列変換モデル(入力の並びを別の並びに変えるモデル)として、知る限り初めてのものだとしている。

2018年10月には Jacob Devlin 氏らが、Transformer のエンコーダーで文章の表現を前後の両方向から事前学習する BERT の論文を arXiv で公開した。著者らは、事前学習した BERT に出力の層を1つ足して追加で学習させるだけで、質問への回答などの幅広い作業向けのモデルを作れるとした。こうした追加の学習は、ファインチューニングと呼ばれる。

2020年10月には Alexey Dosovitskiy 氏らが、画像を小さな区画に分けたパッチの並びとして Transformer に入力して分類する Vision Transformer(ViT)の論文を arXiv で公開した。この時点で Transformer が自然言語処理の作業の事実上の標準になっていたと、著者らは述べている。

Transformer によるモデルの作り方は翻訳や自然言語処理、画像の認識、音声の認識を大きく改善し、今の最も進んだモデルの開発につながったと、International AI Safety Report 2026 はまとめている。

Transformerに関する主な出来事・ニュース

Transformerに関する事例

Gemini 4 Argon や gpt-oss は MoE と組み合わせる

Google DeepMind は2026年10月13日に公開した Gemini 4 Argon のモデルカードで、このモデルを Transformer にもとづく大規模な疎な MoE(Mixture of Experts) のモデルと説明している。Gemini 4 Argon は、文章と画像・動画、音声の入力にもともと対応する作りだ。

MoE は一般に、モデルの中の複数のエキスパートのうち、一部だけを選んで計算に使う作りを指す。OpenAI が2025年8月に公開した gpt-oss の2つのモデルも、MoE を使う Transformer だ。Meta は Muse Spark Open のモデルカードで、モデルの種類を「Mixture-of-Experts Transformer」と記している。

gpt-oss や DeepSeek-V4 は長い文脈向けに注意の計算を減らす

OpenAI は gpt-oss で、密な注意と、近くの範囲に絞った疎な注意を交互に使っている。推論とメモリーの効率のため、grouped multi-query attention も使い、最大128kトークンの文脈の長さに対応した。

100万トークンの文脈を扱える DeepSeek-V4 は、DeepSeek が2026年4月にプレビュー版を公開したモデルだ。このモデルは、2種類の圧縮した注意(Compressed Sparse Attention と Heavily Compressed Attention)を組み合わせる。

DeepSeek-AI は、100万トークンの設定では DeepSeek-V4-Pro の1トークンあたりの推論の計算量が DeepSeek-V3.2 の27%、KVキャッシュが10%に抑えられるとしている。KVキャッシュは一般に、生成の途中で計算したキーとバリューを、次のトークンの計算に使うために保存するメモリーを指す。

Granite 4.0 の多くのモデルは層の大半を Mamba-2 にした

IBM は2025年10月2日に発表した言語モデル Granite 4.0 の多くのモデルで、少数の Transformer の注意の層と、大半を占める Mamba-2 の層を組み合わせたハイブリッドの構造を採った。Mamba-2 の層と Transformer のブロックは、9対1の割合で順に並ぶ。

ハイブリッドの構造の利点として、IBM は性能を落とさずにメモリーの要求を大きく減らせることを挙げる。同社は、ハイブリッドの構造に対応していない環境に向けて、従来の Transformer の構造の Granite-4.0-Micro も公開した。

Transformerの言い方

表記 意味 使用主体
Transformer(transformer) 注意の仕組みにもとづくニューラルネットワークの構造 Vaswani 氏ら、International AI Safety Report など
transformer architecture Transformer の構造そのもの International AI Safety Report、IBM
transformer-based model Transformer にもとづくモデル Google DeepMind、IBM
Mixture-of-Experts Transformer MoE を組み合わせた Transformer Meta
Vision Transformer(ViT) 画像を区画の並びとして扱う Transformer Dosovitskiy 氏ら
Transformer モデル Transformer の構造で作ったモデル 生成AI活用普及協会
トランスフォーマー Transformer のカタカナの表記 日本ディープラーニング協会

Transformerの計算の限界と試験での扱い

文章の長さの2乗で計算が増える

Transformer の自己注意の計算量は、文章の長さの2乗に比例して増える。長さが2倍になると、計算の量は4倍になる。

Google は機械学習の講座で、自己注意の層とヘッドを複数持つ Transformer の計算量を、トークンの数の2乗に層の数とヘッドの数をかけた大きさで表している。計算の量とは別に、AIモデルに渡す情報が長くなるほど答えの質が落ちる現象もある。この現象はContext Rot(コンテキストロット)と呼ばれる。

生成AIパスポートのシラバスと基本情報のシラバス案にある

生成AI活用普及協会(GUGA)は2026年10月1日、同協会の資格試験である生成AIパスポートのシラバスを大きく改め、2027年2月の試験から使うと発表した。

生成AIパスポートの新しいシラバスの第2章には「生成AIを支える技術革新(Transformer以降)」の項目がある。詳細のキーワードには、Transformer、Self-Attention(自己注意機構)、Query、Key、Value、並列処理、長距離依存などが並ぶ。

情報処理推進機構(IPA)が2026年9月30日に掲載した基本情報技術者試験のシラバス案も、生成AIの技術の特徴の用語例に Transformer を挙げている。シラバス案は2027年度から始める予定の新しい試験制度のもので、IPA はシラバス案の内容が変わる可能性があるとしている。

Transformerに関連する用語

  • 大規模言語モデル(LLM):大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデル。
  • MoE(Mixture of Experts):AIモデルの中に複数のエキスパートを用意し、トークンごとにその一部だけを選んで計算に使うモデルの作り。
  • Context Rot(コンテキストロット):AIモデルに渡す情報が長くなるほど、答えの質が落ちる現象。
  • ファインチューニング:事前学習を終えたAIモデルに特定の用途のデータで追加の学習をさせ、目的の作業に適応させる手法。
  • ディープラーニング(深層学習):何層にも重ねたニューラルネットワークに大量のデータで学習させ、データの中の特徴や規則性を自動で見つけ出せるようにする機械学習の手法。

Transformerに関する出典

Ashish Vaswani ほか「Attention Is All You Need」(2017年6月12日、arXiv)
Yoshua Bengio ほか「International AI Safety Report 2026」(2026年2月3日)
Google「LLMs: What’s a large language model?」(2026年1月2日更新)
情報処理推進機構「基本情報技術者試験 シラバス(案)Ver.0.1」(2026年9月30日掲載)
生成AI活用普及協会「生成AIパスポート試験シラバス(2027年2月試験より適用)」
日本ディープラーニング協会「Generative AI Test(生成AIの理解度やリテラシーを図るミニテスト)」
Jakob Uszkoreit「Transformer: A Novel Neural Network Architecture for Language Understanding」(2017年8月31日、Google Research)
Meta Superintelligence Labs「meta-models/Muse-Spark-Open-816B-A42B」(2026年10月15日、Hugging Face)
IBM「IBM Granite 4.0: hyper-efficient, high performance hybrid models for enterprise」(2025年10月2日)
Albert Gu、Tri Dao「Mamba: Linear-Time Sequence Modeling with Selective State Spaces」(2023年12月1日、2024年5月31日改訂、arXiv)
Jacob Devlin ほか「BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding」(2018年10月11日、arXiv)
Alexey Dosovitskiy ほか「An Image is Worth 16×16 Words: Transformers for Image Recognition at Scale」(2020年10月22日、arXiv)
Google DeepMind「Gemini 4 Argon – Model Card」(2026年10月13日)
OpenAI「Introducing gpt-oss」(2025年8月5日)
DeepSeek「DeepSeek V4 Preview Release」(2026年4月24日)
DeepSeek-AI「deepseek-ai/DeepSeek-V4-Pro」(Hugging Face)
生成AI活用普及協会「生成AIパスポート、2027年試験のシラバスを大幅改訂。改訂版公式テキストの予約販売および資格更新テストの受講申込受付を開始」(2026年10月1日)
情報処理推進機構「新試験制度のシラバス案について」(2026年6月30日公開、10月30日更新)