継続学習（Continual Learning）とは・意味、仕組み・由来・研究

最終確認日：2026年10月26日

継続学習とは？

継続学習とは、前に学んだことを忘れずに新しい知識や技能を順に身につけていく、AIのモデルの学び方のこと。英語では Continual Learning という。Google Research は、モデルが古い知識を忘れずに時間をかけて新しい知識と技能を自ら獲得していく能力として、継続学習を説明している（※2）。

Google Research によると、今の大規模言語モデル（LLM）の知識は、入力した文章の範囲にある情報か、事前学習で身につけた変わらない情報に限られる（※2）。

継続学習の仕組みと主な手法

重みを書き換えると前の知識を忘れやすい

AIのモデルは学習の中で、モデルの中の「重み」と呼ばれる数値を調整して知識や技能を身につける。Google Research によると、新しいデータで重みを更新し続ける単純な方法では、新しい課題を学ぶと古い課題の性能が落ちる「破滅的忘却」が起きやすい（※2）。2017年の DeepMind などの論文によると、課題Aに大事な重みが課題Bの目標に合わせて変えられるために、破滅的忘却が起きる（※1）。

忘却を避ける従来のやり方の多くは、すべての課題のデータを同時に学習に使うものだった。課題が順に現れるときにこのやり方をとるには、前のデータを保存しておき、学習のたびに使い直す必要がある。DeepMind などの研究者は、このやり方は多くの課題を学ぶには現実的でないとしている。自分たちの実験の設定では、保存して使い直すデータが課題の数に比例して増えるからだ（※1）。

忘れないように、重みの更新の仕方を変える

DeepMind などの研究者が2017年に示した EWC（Elastic Weight Consolidation）は、前の課題にとって大事な重みほど学習を遅くして、前の課題のやり方を保つ手法だ。

研究者は、手書きの数字を分類する課題と、Atari 2600 のゲームをいくつか順に学ばせる実験で効果を示した。EWC は、新しい技能を身につけたマウスの脳で、強まったシナプスが後の学習のあとも残るという研究を手がかりにしている（※1）。

Google Research の Nested Learning は、一つのモデルを、入れ子になった小さな最適化の問題（よりよい値を探して重みを調整する問題）の集まりとみる考え方だ。Google Research は、モデルの部品ごとに重みを更新する頻度を変え、頻度の違う記憶の部品を並べる「continuum memory system」を考えた（※2）。

2026年8月の総説では、研究は重みの更新からシステム全体の適応へ

2026年8月に公開された総説の論文は、継続学習の研究が、主にモデルの重みを更新する方法からシステム全体で適応する方法へ移りつつあるとしている（※8）。論文によると、モデルを使う推論の段階で学習するテストタイム・トレーニングは、継続学習を学習の段階から推論の段階へ広げた。記憶やスキルの集まりなど、モデルの外の部品も、モデルの能力を広げる仕組みとして扱われている（※8）。

継続学習の由来と広まった背景

継続学習で扱う問題は、ニューラルネットワークが課題を順に学ぶときの問題として、1989年には論文の題になっていた。

Michael McCloskey 氏と Neal J. Cohen 氏が出した論文「Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem」は、題に「破滅的干渉」と「順に学ぶときの問題」を掲げた（※3）。2017年の DeepMind などの論文は、破滅的忘却の語の出典の一つに、この論文を挙げている（※1）。

「continual learning」という言い方の先行例には、Mark Bishop Ring 氏が1994年8月にテキサス大学オースティン校に出した博士論文「Continual Learning in Reinforcement Environments」がある。

Ring 氏は継続学習を、終わりを定めずに複雑な振る舞いを絶えず身につけていくことと定めた。同氏は、すでに身につけた技能の上に、もっと複雑な技能を積んでいく過程だとも説明している（※4）。

2017年の DeepMind などの論文は、ニューラルネットワークはそれまで課題を順に学ぶことができなかったと書いた。同じ論文は、破滅的忘却はニューラルネットワークの避けられない性質だと広く考えられてきたともしている（※1）。LLM が広く使われるようになってからは、Google Research が、LLM に足りない力として継続学習を挙げている（※2）。

継続学習に関する主な出来事・ニュース

• 2017年3月14日　Kirkpatrick 氏ら「Overcoming catastrophic forgetting in neural networks」を発表：DeepMind とインペリアル・カレッジ・ロンドンの研究者は、前の課題を忘れにくくする手法 EWC の論文を、米国科学アカデミー紀要（PNAS）で発表した。
• 2025年11月7日　Google Research「Introducing Nested Learning」を発表：Google Research は、継続学習のための機械学習の考え方 Nested Learning と、その考え方で設計したモデル Hope を発表した。
• 2025年11月25日　Ilya Sutskever 氏、「Dwarkesh Podcast」の対談で継続学習に触れる：AIを開発する SSI の Ilya Sutskever 氏は、ポッドキャスト「Dwarkesh Podcast」の司会の Dwarkesh Patel 氏との対談で、人は継続学習に頼っていると語った。
• 2026年6月4日　カリフォルニア大学バークレー校など「Continual Learning Bench」を公開：カリフォルニア大学バークレー校や Snorkel AI などの研究者は、LLM を使うシステムが経験を重ねて本当に良くなるかを測るベンチマークを公開した。ベンチマークは一般に、性能を比べるための試験を指す。

継続学習に関する研究

Google の試作モデル Hope は比べたモデルより言語の課題で好成績

Google Research は、2025年11月7日の記事で、Nested Learning の考え方で設計したモデル「Hope」を紹介した。

Google Research によると、Hope は言語モデルの課題と常識の推論の課題で、今の再帰型のモデルや標準の Transformer よりパープレキシティが低く正答率が高かった。再帰型のモデルは、文章を前から順に読み、途中の状態を持ち越すモデルだ。

パープレキシティは、モデルの予測の迷いの大きさを示す値で、低いほど良い。Transformer は、今の多くの LLM が使っているモデルの作りだ。長い文章の中から特定の情報を探す課題では、Hope は記憶の扱いが優れていたという。Hope は、長い記憶を扱う部品を持つ Titans をもとにしている。

Google Research のグラフでは、長い文章から特定の情報を探す課題の3つの難しさのどれでも、Hope と Titans が別の作りの2つのモデル（TTT と Mamba2）を上回っていた。Google Research は Hope を、考え方を確かめるための試作と位置づけている（※2）。

最先端のモデルは経験を次の課題に十分生かせないという研究も

カリフォルニア大学バークレー校や Snorkel AI などの研究者は、2026年6月4日、ベンチマーク「Continual Learning Bench（CL-Bench）」を公開した。CL-Bench は、ソフトウェア開発、感染症の流行の予測、データベースへの問い合わせ、戦略ゲームなど6つの分野の課題で、前の課題で学んだことが次の課題に生きるように作られている（※6）。

研究者は、Claude Opus 4.7、Claude Sonnet 4.6、Gemini 3.1 Pro、GPT 5.4 などのモデルに、経験をそのまま入力に入れる方法や専用の記憶の仕組みを組み合わせて比べた。

最もよかった Claude Sonnet 4.6 と経験をそのまま入力に入れる方法の組み合わせでも、経験なしで解いたときの得点と取りうる最高の得点との差のうち、経験を使って縮められたのは、6つの課題の平均で25.4%だった。大半の課題で、経験をそのまま入力に入れる単純な方法が、専用の記憶の仕組みを上回った。

研究者によると、ためた経験はしばしば助けにならず、かえって害になった。記憶の仕組みは、誤った一般化や古くなった思い込みを持ち込んでいた（※6）。

Base Labs の実験では、重みへの書き込みで前の事実を忘れることも

Base Labs の研究者は、重みが公開されたオープンウェイトのモデル Qwen3 を使い、架空の事実を1つずつ重みに書き込んでいく実験の結果を公表した（※7）。同じ事実を2つの形でくり返して学ばせた場合、20回の書き込みのあとに、前の事実についての質問に正しく答えられた割合は1%だった。同じ事実を24通りに言い換えた例で学ばせた場合は46%だった（※7）。

研究者は、答えられなくなった事実も、モデルが出す確率の上では跡が残っていたとしている。前の事実の残り方は、後の書き込みに使うデータによって変わったという（※7）。

継続学習の英語での言い方・略語

継続学習の実現時期の見通しとサービスの「学ぶ」の意味

Sutskever 氏は人のように学ぶシステムまで5〜20年とみる

AIを開発する Safe Superintelligence（SSI）の Ilya Sutskever 氏は、2025年11月の対談で、人と同じように学べ、その結果として人を超えるシステムまでの見通しを問われた。同氏の答えは5〜20年だった（※5）。

AIサービスの「学ぶ」は重みの更新と外の記憶で意味が違う

2026年8月の総説は、継続学習で更新が起きる場所を2つに分けている。モデルの中の重みと、記憶などモデルの外の部品だ（※8）。AIのサービスが「覚える」「学ぶ」と説明するときも、どちらの意味かで、できることとできないことが変わる。サービスの説明を読むときは、どちらの意味なのかを確かめておくと良いだろう。

仕事でAIを使う人は、自分の利用の記録がモデルの学習に使われるかどうかを、使うサービスの設定や規約で確かめておくことが大切だ。

継続学習に関連する用語

• 再帰的自己改善：AIが自らの能力や自らを開発・改善する手順を繰り返し良くしていき、その成果を次の改良に生かしていくこと。
• スーパーインテリジェンス：一般には人の知能をはるかに超えるAIを指す語。
• オープンウェイト：学習を終えたAIモデルの重みが公開され、手に入る状態。
• コンテキストエンジニアリング：AIモデルが答えを作るときに読む情報の全体（コンテキスト）を、作業の段階ごとに選んで整える技術。

継続学習に関する出典

※1 James Kirkpatrick ほか「Overcoming catastrophic forgetting in neural networks」（2017年3月14日、PNAS 第114巻第13号）
※2 Google Research「Introducing Nested Learning: A new ML paradigm for continual learning」（2025年11月7日）
※3 Michael McCloskey、Neal J. Cohen「Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem」（1989年、Psychology of Learning and Motivation 第24巻）
※4 Mark Bishop Ring「Continual Learning in Reinforcement Environments」（1994年8月、テキサス大学オースティン校の博士論文）
※5 Dwarkesh Patel「Ilya Sutskever — We’re moving from the age of scaling to the age of research」（2025年11月25日、Dwarkesh Podcast）
※6 Parth Asawa ほか「Continual Learning Bench: Evaluating Frontier AI Systems in Real-World Stateful Environments」（2026年6月4日、arXiv）
※7 Charles O’Neill ほか「Can a Language Model Learn Facts Continually in Its Weights?」（2026年7月13日、10月5日改訂、arXiv）
※8 Zhiyan Hou ほか「Continual Learning in Transition」（2026年8月6日、8月12日改訂、arXiv）