推論時に大規模言語モデルがウェブサイトのコンテンツと情報を利用できるよう、情報を提供するための /llms.txt ファイルの標準化に関する提案
著者:Jeremy Howard
公開:2024年9月3日
背景
大規模言語モデルはウェブサイトの情報にますます依存するようになっていますが、重大な制約に直面しています。
コンテキストウィンドウが小さすぎて、ほとんどのウェブサイトのコンテンツ全体を処理できないのです。
さらに、複雑なページにナビゲーション、広告、JavaScript などの冗長な情報が含まれている場合、プレーンテキストへの抽出は困難で不正確になります。
ウェブサイトは人間の読者と大規模言語モデルの両方にサービスを提供しますが、モデルにとっては、単一のアクセスしやすい場所で簡潔かつ専門的な情報が提供されるほうがはるかに有益です。
一例として、これは開発環境のようなユースケースで特に重要です。大規模言語モデルがプログラミングのドキュメントや API に素早くアクセスし、理解する必要があるからです。
提案

ウェブサイトに /llms.txt という名前の静的な Markdown ファイルを追加し、大規模言語モデルにやさしいコンテンツを提供することを提案します。このファイルは、簡潔な背景情報、ガイダンス、および詳細な Markdown ファイルへのリンクを提供します。
llms.txt の Markdown 形式は、人間にも大規模言語モデルにも読みやすく、さらに正確な形式でありながら、広く受け入れられている処理方法(各種形式のレンダリングや正規表現など、従来のプログラミング技術)を利用できます。
さらに、大規模言語モデルにとって有用な可能性があるページについては、元のページと同じ URL に .md 拡張子を付けたクリーンな Markdown 版を提供することで、そのページの Markdown による説明をサイトに含めることを推奨します。(ファイル名のない URL には index.html.md を付けることができます。)
FastHTML プロジェクトは、そのドキュメントでこの2つの推奨事項に従っています。たとえば、FastHTML ドキュメントの llms.txt があります。こちらは通常の HTML ドキュメントページの例で、こちらはまったく同じ URL に .md 拡張子を付けたものです。
この提案には、llms.txt ファイルの処理方法に関する具体的な推奨事項は含まれていません。それはユースケースによって異なるからです。
たとえば、FastHTML プロジェクトは llms.txt を、リンク先 URL の内容を含む2つの Markdown ファイルへ自動的に展開することを選択しており、Claude などの大規模言語モデルに適した XML ベースの構造を使用しています。この2つのファイルは次のとおりです。
-
llms-ctx.txt:オプションの URL を含まないもの
-
llms-ctx-full.txt:オプションの URL を含むもの
これらは llms_txt2ctx コマンドラインアプリケーションで作成され、FastHTML のドキュメントにはその使い方に関するユーザー情報が含まれています。
llms.txt ファイルの汎用性は、さまざまな用途に役立つことを意味します。
- 開発者がソフトウェアのドキュメントを理解するのを助けることから、
- 企業が自社の構造を概説する方法を提供すること、
- さらには複雑な規制を利害関係者向けに分解して理解できるようにすることまで。
- 個人サイトにも同様に有用で、履歴書に関する質問への回答を助け、
- 電子商取引サイトでは製品やポリシーを説明し、
- 学校や大学ではコース情報やリソースへの迅速なアクセスを提供します。
なお、すべての nbdev プロジェクトは現在、既定ですべてのページの .md 版を作成します。nbdev を使用するすべての Answer.AI および fast.ai のソフトウェアプロジェクトは、この機能でドキュメントを再生成済みです。たとえば、fastcore の docments モジュールの Markdown 版をご覧ください。
形式
現在、言語モデルにとって最も広く使われ、最も理解しやすい形式は Markdown です。主要な Markdown ファイルがどこにあるかを示すだけでも、優れた第一歩になります。基本的な構造を提供することで、言語モデルが必要な情報源を見つけやすくなります。
llms.txt ファイルの特徴は、XML のような従来の構造化形式ではなく、Markdown を使って情報を整理する点にあります。
その理由は、これらのファイルの多くが AI モデルや AI エージェントによって読まれることを想定しているからです。それでも、llms.txt の情報は特定の形式に従っており、標準的なプログラム処理ツールで読み取ることができます。
llms.txt の仕様は、サイトのルートにある /llms.txt(または任意でサブパス)に置かれるファイルに適用されます。仕様に従うファイルは、次の Markdown セクションを特定の順序で含みます。
- プロジェクトまたはウェブサイト名を含む H1 見出し。これが唯一の必須部分です。
- プロジェクトの短い概要を含む引用ブロック。ファイルの残りを理解するために必要な重要情報を含みます。
- 見出しを除く、任意の種類の Markdown セクション(段落、リストなど)を0個以上。プロジェクトに関するより詳細な情報と、提供されるファイルの解釈方法に関する説明を含みます。
- H2 見出しで区切られた Markdown セクションを0個以上。より詳細な情報が得られる URL の「ファイルリスト」を含みます。
- 各「ファイルリスト」は、必須の Markdown ハイパーリンク
[name](url)を含む Markdown リストで、その後に任意で:とそのファイルに関する注記が続きます。
- 各「ファイルリスト」は、必須の Markdown ハイパーリンク
以下はその例です。
MARKDOWN# タイトル / Title > オプションの説明 / Optional description goes here オプションの詳細 / Optional details go here ## セクション名 / Section name - [リンク名 / Link title](https://link_url): オプションのリンク詳細 / Optional link details ## オプション / Optional - [リンク名 / Link title](https://link_url)
「Optional」セクションには特別な意味があることに注意してください。このセクションを含める場合、より短いコンテキストが必要なときには、そこで提供される URL を省略できます。通常は省略できる二次的な情報に使用してください。
既存の標準
llms.txt は、現在の SEO ウェブ標準(sitemap.xml や robots.txt を含む)と共存するように設計されています。
サイトマップが検索エンジン向けにすべてのページを列挙するのに対し、llms.txt は大規模言語モデル向けに厳選された概要を提供します。許可されるコンテンツに文脈を与えることで、robots.txt を補完できます。また、サイトで使用されている構造化データマークアップを参照し、大規模言語モデルがその情報を文脈の中でどのように解釈すべきかを理解する助けにもなります。
ファイルパスを標準化するこのアプローチは、/robots.txt と /sitemap.xml の慣行に従ったものです。
robots.txt と llms.txt は目的が異なります。
-
robots.txt は通常、検索インデックスボットなど、自動化ツールに対してウェブサイトへのどのようなアクセスが許容されるかを知らせるために使用されます。
-
一方、
llms.txtの情報は通常、ユーザーが特定のトピックについて明示的に情報を求めたとき、たとえばプロジェクトにコーディングライブラリのドキュメントを含めるときや、検索機能付きチャットボットに情報を尋ねるときに、オンデマンドで使用されます。llms.txtは主に推論、つまりユーザーが助けを求めている瞬間に有用であり、トレーニング向けではないと考えています。ただし、llms.txtの利用が広がれば、将来のトレーニングでもllms.txtファイルの情報が活用される可能性があります。
sitemap.xml は、ウェブサイト上のインデックス可能で人間が読めるすべての情報のリストです。これは llms.txt の代替にはなりません。その理由は次のとおりです。
- 通常、ページの大規模言語モデルが読める版を列挙しない
- 情報を理解するのに役立つ場合でも、外部ウェブサイトの URL を含まない
- 通常、大規模言語モデルのコンテキストウィンドウに収まらないほど大きなドキュメントを対象とし、ウェブサイトを理解するのに不要な情報を多く含む
例
以下は llms.txt の例で、FastHTML プロジェクトが使用しているファイルを簡略化したものです(完全版も参照してください)。
MARKDOWN# FastHTML > FastHTML is a python library which brings together Starlette, Uvicorn, HTMX, and fastcore's `FT` "FastTags" into a library for creating server-rendered hypermedia applications. Important notes: - Although parts of its API are inspired by FastAPI, it is *not* compatible with FastAPI syntax and is not targeted at creating API services - FastHTML is compatible with JS-native web components and any vanilla JS library, but not with React, Vue, or Svelte. ## Docs - [FastHTML quick start](https://fastht.ml/docs/tutorials/quickstart_for_web_devs.html.md): A brief overview of many FastHTML features - [HTMX reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Brief description of all HTMX attributes, CSS classes, headers, events, extensions, js lib methods, and config options ## Examples - [Todo list application](https://github.com/AnswerDotAI/fasthtml/blob/main/examples/adv_app.py): Detailed walk-thru of a complete CRUD app in FastHTML showing idiomatic use of FastHTML and HTMX patterns. ## Optional - [Starlette full documentation](https://gist.githubusercontent.com/jph00/809e4a4808d4510be0e3dc9565e9cbd3/raw/9b717589ca44cedc8aaf00b2b8cacef922964c0f/starlette-sml.md): A subset of the Starlette documentation useful for FastHTML development.
効果的な llms.txt ファイルを作成するには、次のガイドラインを考慮してください。
- 簡潔で明確な言葉を使用する。
- リソースへのリンクには、短く有益な説明を含める。
- 曖昧な用語や説明のない業界専門用語を避ける。
llms.txtファイルを LLM コンテキストファイルに展開するツールを実行し、複数の言語モデルでコンテンツに関する質問に答えられるかどうかをテストする。
ディレクトリ
以下は、ウェブ上で利用可能な llms.txt ファイルを掲載しているディレクトリの一部です。
利用可能な統合
llms.txt 仕様をワークフローに統合するのに役立つさまざまなツールやプラグインがあります。
llms_txt2ctx- llms.txt ファイルを解析して LLM コンテキストを生成する CLI および Python モジュール- JavaScript 実装 - JavaScript による実装例
vitepress-plugin-llms- llms.txt 仕様に従ってサイトの LLM フレンドリーなドキュメントを自動生成する VitePress プラグインdocusaurus-plugin-llms- llmstxt.org 標準に従って LLM フレンドリーなドキュメントを生成する Docusaurus プラグイン- Drupal LLM サポート - あらゆる Drupal 10.3+ サイトに llms.txt 提案の包括的なサポートを提供する Drupal レシピ
llms-txt-php- llms.txt Markdown ファイルを読み書きするためのライブラリ
次のステップ
llms.txt 仕様はコミュニティのフィードバックを受け付けています。GitHub リポジトリではこの非公式な概要が公開されており、バージョン管理と公開討論が可能です。コミュニティの Discord チャンネルでは、実装経験の共有やベストプラクティスについて議論できます。
カバー画像:Pixabay の Franz Bachinger による。
