本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

llms.txtとは・意味、形式・robots.txtとの違い・事例

llms.txtとは?

llms.txtとは、ウェブサイトの概要とAIが読みやすい形の詳しいページへのリンクをまとめ、サイトに置くMarkdown形式のテキストファイルのこと。AIエージェントがサイトの情報を探すときの手がかりにすることを想定した形式だ。Markdown は、見出しや箇条書きを記号で表す文章の形式だ。

llms.txt は、Jeremy Howard 氏が2024年9月に Answer.AI のブログで提案した形式だ。同氏は提案の公式サイトで、ウェブサイトのページは人のために作られていると記している。ナビゲーションや広告、JavaScript に包まれた HTML から、きれいな文章を取り出すのは難しく、不正確にもなるという。

公式サイトによると、llms.txt の仕様は広く意見を受け付けている。仕様の文書は、GitHub のリポジトリに置いた非公式の概要という位置づけだ。Google は、Chrome の開発者向けの文書で、llms.txt を「emerging convention」(生まれつつある慣例)と呼んでいる。

llms.txtの形式と置き場所

必須の項目はサイト名の見出しだけ

公式サイトの仕様は、llms.txt に書く Markdown の項目とその順を決めている。必須なのは最初の見出しだけだ。

  • プロジェクトやサイトの名前を書いた見出し(H1)。
  • ファイルの残りを理解するための要点を短くまとめた引用の段落。
  • プロジェクトや、リンク先のファイルの読み方を詳しく書いた段落や箇条書き(見出しを除く)。
  • 小見出し(H2)で区切ったファイルの一覧。各行は「[名前](URL)」のリンクで、そのあとに「:」とファイルの説明を付けてもよい。

「Optional」という名前の小見出しには、慣例として補助の情報を置く。読み込む量を減らしたいときに、エージェントが飛ばしてよいリンクだ。

詳しい内容はリンク先に置く

Howard 氏は、エージェントが llms.txt を見るか検索して必要な情報を探し、関係するリンクをたどる使い方を想定している。llms.txt 自体はAIが一度に読める量に収まる大きさにとどめ、詳しい内容はリンク先に置く。リンク先は、必要になったときにだけ読み込まれる。

あわせて同氏は、エージェントが必要としうる情報を含むページについて、同じ URL に Markdown 版を置くことも勧めている。Markdown 版の URL は、元の URL の末尾に「.md」を足すか、拡張子を「.md」に替えたものにする。

サイトの直下にもフォルダの中にも置くことができる

llms.txt は、サイトの直下(/llms.txt)にも、サイトの中のフォルダ(/docs/llms.txt など)にも置くことができる。ファイルは置いたフォルダの下のページを受け持ち、複数のファイルが当たるときは、エージェントはいちばん範囲の狭いファイルを使うものとしている。

Howard 氏は2026年8月の改訂(v2)で、フォルダに置いたときの意味をこのように定めた。サイトの一部のフォルダしか管理できない作者も、これで十分に加わることができるという。

llms.txtとrobots.txt・sitemap.xmlとの違い

決まった名前のファイルをサイトの直下に置くやり方は、robots.txt や sitemap.xml にならったものだ。Howard 氏は公式サイトで、llms.txt を今あるウェブの標準と並べて使うものと説明し、2つのファイルとの違いを挙げている。

ファイル 主な読み手 役割
llms.txt LLM・AIエージェント サイトの内容を選んでまとめた案内。利用者を手伝うエージェントが、情報を必要としたときに読む
robots.txt クローラー(ウェブを巡回して集めるプログラム) サイトの運営者が、アクセスするときに守るようクローラーに求める規則を示す。規則はアクセスを許可する仕組みではない
sitemap.xml 検索エンジン 検索の索引に載せられる、人向けのページをすべて並べた一覧

robots.txt の決まりは、2022年9月にインターネットの技術の標準を作る IETF の文書 RFC 9309 になった。

Howard 氏は公式サイトで、sitemap.xml が llms.txt の代わりにならない理由を3つ挙げている。

  • AIが読みやすい版のページが載っていないことが多い。
  • 理解の助けになりうる外部のサイトへのリンクを含まない。
  • 全体では、ふつうAIが一度に読める量を超え、サイトの理解に不要な情報も多く含む。

llms.txtの由来と広まった経緯

Howard 氏が提案した2024年9月の時点では、プログラマーの開発環境でLLM(大規模言語モデル)がよく使われ、ライブラリや API の文書をウェブサイトから読み込む機能が多くの道具に入っていた。

Howard 氏は最初の提案で、ファイルの読み方を決めず、リンク先の中身をまとめて1つの文章に広げる道具「llms_txt2ctx」を紹介していた。

Howard 氏は2026年8月の改訂(v2)の説明で、コミュニティは予想をはるかに超えて提案を受け入れたと記した。何千ものサイトが llms.txt を公開し、文書の作成サービスは自動でファイルを作り、コーディングエージェントは確実に使っているという。

Howard 氏は v2 で、採用した人から最も多かった要望に応え、ページから Markdown 版や llms.txt を見つける方法を加えた。示し方は、HTML の link 要素か HTTP の Link ヘッダーだ。

同氏は読み方の想定も示した。エージェントが llms.txt を見るか検索し、関係するリンクをたどるという。llms_txt2ctx のような道具は提案から外した。

llms.txtに関する主な出来事・ニュース

llms.txtに関する事例

AIの開発元が開発者向けの文書に置いている

Howard 氏は2026年8月の v2 で、AIの開発元も自社の開発者向けの文書に llms.txt を置いていると記し、OpenAI、Anthropic、Gemini の文書を挙げた。

2026年11月の時点で、Anthropic の開発者向けの文書の llms.txt は文書の概要や、文書を探せる MCP サーバー(AIの道具とつなぐための仕組みのサーバー)の場所などを記載している。

OpenAI のファイルは、API や Codex などの文書の llms.txt をまとめた入口だ。Google の Gemini API のファイルには、エージェントが文書をどう使うべきかの項目がある。

文書の作成サービスが自動で作る

Mintlify は2024年11月、自社が提供する文書のサイトで、/llms.txt と /llms-full.txt を自動で作って公開する機能を発表した。llms-full.txt は、文書の文章をすべて1つの Markdown のファイルにまとめたものだ。

Mintlify は、AIのコーディング支援の道具に文書を読ませるとき、多くのリンクの代わりに llms-full.txt を1つ渡せると説明している。公式サイトには、Mintlify のほかにも GitBook、WordPress のプラグインの Yoast SEO、Wix など、llms.txt を自動で作れる文書のサービスや CMS(サイトの内容を管理する仕組み)が挙がっている。

Lighthouse の点検の項目に入った

Google は2026年6月、ウェブサイトを点検する道具のLighthouseに、AIエージェントにとっての使いやすさを見る Agentic browsing の分類を加えたと発表した。この分類は試験的なもので、Chrome 150 以降で利用できる。

Agentic browsing の分類の項目の1つが llms.txt だ。Lighthouse は、サイトの直下に機械が読める概要があるかを確かめる。

llms.txtを置くときの注意

Google 検索は llms.txt を使わない

Google の検索の案内によると、Google 検索(生成AIの機能を含む)に表示されるために llms.txt のような特別なファイルを新しく作る必要はない。Google 検索自体がこうしたファイルを使わないからだ。

Google は同じ案内で、llms.txt を使うほかのサービスのために置くこと自体は問題ないとしている。ただし、Google 検索はこうしたファイルを無視するので、検索での表示や順位に良い影響も悪い影響もないという。Google は2026年6月15日に、この注を案内に加えた。

Lighthouse は置いていないサイトを不合格にしない

Lighthouse の llms.txt の項目は、ファイルの取得でサーバーのエラーが起きたときに、そのページに印を付ける。ファイルがなく、サーバーが「見つからない」の応答(404)を返したときは「該当なし」とする。Google は文書で、その理由を、今のところファイルを置くのは任意だからと説明している。

Agentic browsing の分類は、ほかの分類のような0〜100の点数を付けず、合格した点検の割合を示す。エージェント向けのウェブの標準はまだ生まれつつあると、Google はみている。そのため今の重点は、決まった順位付けよりも、データを集めて改善の手がかりを示すことにあるという。

robots.txt とは目的が違う

robots.txt の決まりは、クローラーにサイトの内容へのアクセスを認めるかどうかや、どうアクセスできるかを運営者が制御するための方法だ。Howard 氏も公式サイトで、robots.txt と llms.txt は目的が違うとしている。

同氏は、llms.txt は主にAIの学習ではなく、推論(AIが答えを作る段階)で役立つと見込んでいたと記している。実際にもそう使われてきたが、学習に使われることもありうるという。

llms.txtに関連する用語

  • AGENTS.md:AIのコーディングエージェントにプロジェクトの決まりや作業の手順を伝えるため、リポジトリに置くファイル。
  • コンテキストエンジニアリング:AIモデルが答えを作るときに読む情報の全体を、作業の段階ごとに選んで整える技術。

llms.txtに関する出典

Jeremy Howard「The /llms.txt file, v2」(2024年9月3日、2026年8月10日更新)
Jeremy Howard「/llms.txt—a proposal to provide information to help LLMs use websites」(2024年9月3日、Answer.AI のブログ)
Jeremy Howard「Changes」(2026年8月)
Mintlify「Simplifying docs for AI with /llms.txt」(2024年11月20日)
Google「Google 検索における生成 AI 機能に向けた最適化のための Google ガイド」(2026年10月30日更新)
Google「Latest Google Search Documentation Updates」
Google「llms.txt | Lighthouse」(2026年5月5日更新)
Google「Lighthouse agentic browsing scoring」(2026年5月5日更新)
Google「A developer toolkit to make your website agent-ready」(2026年6月22日)
Anthropic「Anthropic Developer Documentation」
OpenAI「OpenAI Developers」
Google「Gemini API & AI Studio Documentation」
IETF「RFC 9309: Robots Exclusion Protocol」(2022年9月)