![[Traducción] La propuesta de Jeremy Howard para estandarizar el uso de llms.txt](/_next/image?url=%2Fblog%2Ftranslation_chinese_jeremy_howard_proposal_llms_txt%2Fai-generated-8237709_640.jpg&w=3840&q=75&dpl=dpl_3FdjBWZrvEfa3HCTwryyEb3Qb5XJ)
[Traducción] La propuesta de Jeremy Howard para estandarizar el uso de llms.txt
Una propuesta para estandarizar el uso del archivo /llms.txt, con el fin de ofrecer información que ayude a los grandes modelos de lenguaje a utilizar el contenido y la información de un sitio web durante la inferencia
Autor: Jeremy Howard
Publicado: 3 de septiembre de 2024
Original: https://llmstxt.org/
Contexto
Los grandes modelos de lenguaje dependen cada vez más de la información de los sitios web, pero se enfrentan a una limitación clave:
La ventana de contexto es demasiado pequeña para procesar por completo el contenido de la mayoría de los sitios web.
Y la extracción de contenido complejo a texto plano resulta difícil e imprecisa cuando las páginas incluyen navegación, publicidad, JavaScript y otra información redundante.
Aunque los sitios web sirven tanto a lectores humanos como a grandes modelos de lenguaje, a los modelos les resultaría más útil disponer de información concisa y de nivel profesional en un único lugar de fácil acceso.
Un ejemplo: esto es especialmente importante en casos de uso como los entornos de desarrollo, donde un gran modelo de lenguaje necesita acceder y comprender rápidamente documentación de programación y APIs.
Propuesta

Proponemos añadir a los sitios web un archivo estático en formato Markdown llamado /llms.txt, que ofrezca contenido amigable para los grandes modelos de lenguaje. El archivo proporciona información de contexto breve, orientación y enlaces a archivos Markdown detallados.
El formato Markdown de llms.txt es adecuado tanto para la lectura humana como para los grandes modelos de lenguaje, y además utiliza un formato preciso que permite aplicar métodos de procesamiento ampliamente aceptados (renderizado de formatos, expresiones regulares y otras técnicas de programación tradicionales).
Además, recomendamos incluir en el sitio web descripciones Markdown de las páginas que puedan resultar útiles a los grandes modelos de lenguaje, ofreciendo una versión limpia en Markdown de esas páginas en la misma URL que la página original, pero con el sufijo .md. (A las URL sin nombre de archivo se les puede añadir index.html.md.)
El proyecto FastHTML sigue ambas recomendaciones en su documentación. Por ejemplo, aquí está el llms.txt de la documentación de FastHTML. Aquí hay un ejemplo de una página de documentación HTML normal, y aquí la misma URL exacta con la extensión .md.
Esta propuesta no incluye ninguna recomendación específica sobre cómo procesar los archivos llms.txt, ya que eso dependerá del caso de uso.
Por ejemplo, el proyecto FastHTML opta por expandir automáticamente llms.txt en dos archivos Markdown que contienen el contenido de las URL enlazadas, utilizando una estructura basada en XML adecuada para grandes modelos de lenguaje como Claude. Los dos archivos son:
-
llms-ctx.txt, que excluye las URL opcionales,
-
y llms-ctx-full.txt, que incluye las URL opcionales.
Se crean con la aplicación de línea de comandos llms_txt2ctx, y la documentación de FastHTML incluye información de uso sobre cómo emplearlos.
La versatilidad de los archivos llms.txt significa que pueden servir para múltiples propósitos:
- desde ayudar a los desarrolladores a comprender la documentación de un software,
- hasta ofrecer a las empresas una forma de describir su estructura,
- o incluso descomponer normativas complejas para que las partes interesadas las comprendan.
- También son útiles para sitios personales, ayudando a responder preguntas sobre el currículum de una persona,
- para sitios de comercio electrónico, explicando productos y políticas,
- o para escuelas y universidades, ofreciendo acceso rápido a información y recursos de los cursos.
Cabe señalar que todos los proyectos de nbdev ahora crean por defecto versiones .md de todas sus páginas. Todos los proyectos de software de Answer.AI y fast.ai que utilizan nbdev ya han regenerado su documentación con esta función. Por ejemplo, véase la versión Markdown del módulo docments de fastcore.
Formato
Actualmente, el formato más extendido y fácil de entender para los modelos de lenguaje es Markdown. Mostrar simplemente dónde se encuentran los archivos Markdown clave es un buen primer paso. Proporcionar una estructura básica ayuda al modelo de lenguaje a encontrar las fuentes de información que necesita.
Lo peculiar del archivo llms.txt es que utiliza Markdown para organizar la información, en lugar de un formato estructurado tradicional como XML.
La razón es que esperamos que muchos de estos archivos sean leídos por modelos de IA y agentes de IA. Aun así, la información de llms.txt sigue un formato específico que puede leerse con herramientas programáticas estándar.
La especificación de llms.txt se aplica a los archivos ubicados en la raíz del sitio, en /llms.txt (u opcionalmente en una subruta). Los archivos que siguen la especificación contienen las siguientes secciones Markdown en un orden determinado:
- Un encabezado H1 con el nombre del proyecto o del sitio web. Es la única parte obligatoria.
- Un bloque de cita con un resumen breve del proyecto, que contenga la información clave necesaria para entender el resto del archivo.
- Cero o más secciones Markdown de cualquier tipo (párrafos, listas, etc.), excepto encabezados, con información más detallada sobre el proyecto e instrucciones sobre cómo interpretar los archivos proporcionados.
- Cero o más secciones Markdown delimitadas por encabezados H2, que contengan "listas de archivos" de URL donde se puede obtener información más detallada.
- Cada "lista de archivos" es una lista Markdown con hipervínculos Markdown obligatorios
[nombre](url), seguidos opcionalmente de:y una nota sobre ese archivo.
- Cada "lista de archivos" es una lista Markdown con hipervínculos Markdown obligatorios
A continuación, un ejemplo:
MARKDOWN# Título / Title > Descripción opcional / Optional description goes here Detalles opcionales / Optional details go here ## Nombre de la sección / Section name - [Título del enlace / Link title](https://link_url): Detalles opcionales del enlace / Optional link details ## Opcional / Optional - [Título del enlace / Link title](https://link_url)
Tenga en cuenta que la sección "Optional" tiene un significado especial: si se incluye, las URL que contiene pueden omitirse cuando se necesite un contexto más corto. Úsela para información secundaria que normalmente puede pasarse por alto.
Estándares existentes
llms.txt está diseñado para coexistir con los estándares web actuales de SEO (incluidos sitemap.xml y robots.txt).
Mientras que el sitemap enumera todas las páginas para los motores de búsqueda, llms.txt ofrece una visión seleccionada para los grandes modelos de lenguaje. Puede complementar a robots.txt proporcionando contexto sobre el contenido permitido. El archivo también puede hacer referencia al marcado de datos estructurados utilizado en el sitio, ayudando a los grandes modelos de lenguaje a entender cómo interpretar esa información en su contexto.
El método de estandarizar la ruta del archivo sigue la práctica de /robots.txt y /sitemap.xml.
robots.txt y llms.txt tienen propósitos diferentes:
-
robots.txt se utiliza generalmente para indicar a las herramientas automatizadas qué tipos de acceso a un sitio web se consideran aceptables, por ejemplo, los bots de indexación de búsqueda.
-
Por otro lado, la información de
llms.txtsuele utilizarse bajo demanda, cuando un usuario solicita explícitamente información sobre un tema, por ejemplo al incluir la documentación de una biblioteca de programación en un proyecto, o al preguntar a un chatbot con capacidad de búsqueda. Esperamos quellms.txtsea útil principalmente para la inferencia, es decir, en el momento en que el usuario busca ayuda, y no para el entrenamiento. Sin embargo, si el uso dellms.txtse generaliza, es posible que futuros entrenamientos también aprovechen la información de los archivosllms.txt.
sitemap.xml es una lista de toda la información indexable y legible por humanos de un sitio web. No puede sustituir a llms.txt, porque:
- por lo general no enumera las versiones de las páginas legibles por modelos de lenguaje,
- no incluye URL de sitios web externos, aunque puedan ayudar a comprender la información,
- normalmente abarca documentación demasiado extensa para caber en la ventana de contexto de un gran modelo de lenguaje, e incluye mucha información innecesaria para entender el sitio web.
Ejemplo
A continuación se muestra un ejemplo de llms.txt, una versión reducida del archivo utilizado por el proyecto FastHTML (véase también la versión completa):
MARKDOWN# FastHTML > FastHTML is a python library which brings together Starlette, Uvicorn, HTMX, and fastcore's `FT` "FastTags" into a library for creating server-rendered hypermedia applications. Important notes: - Although parts of its API are inspired by FastAPI, it is *not* compatible with FastAPI syntax and is not targeted at creating API services - FastHTML is compatible with JS-native web components and any vanilla JS library, but not with React, Vue, or Svelte. ## Docs - [FastHTML quick start](https://fastht.ml/docs/tutorials/quickstart_for_web_devs.html.md): A brief overview of many FastHTML features - [HTMX reference](https://github.com/bigskysoftware/htmx/blob/master/www/content/reference.md): Brief description of all HTMX attributes, CSS classes, headers, events, extensions, js lib methods, and config options ## Examples - [Todo list application](https://github.com/AnswerDotAI/fasthtml/blob/main/examples/adv_app.py): Detailed walk-thru of a complete CRUD app in FastHTML showing idiomatic use of FastHTML and HTMX patterns. ## Optional - [Starlette full documentation](https://gist.githubusercontent.com/jph00/809e4a4808d4510be0e3dc9565e9cbd3/raw/9b717589ca44cedc8aaf00b2b8cacef922964c0f/starlette-sml.md): A subset of the Starlette documentation useful for FastHTML development.
Para crear un archivo llms.txt eficaz, tenga en cuenta las siguientes pautas:
- Utilice un lenguaje conciso y claro.
- Incluya descripciones breves e informativas al enlazar recursos.
- Evite terminología vaga o jerga sectorial sin explicar.
- Ejecute una herramienta que expanda su archivo
llms.txten archivos de contexto para LLM y pruébelo con varios modelos de lenguaje para comprobar si pueden responder preguntas sobre su contenido.
Directorios
A continuación se muestran algunos directorios que enumeran archivos llms.txt disponibles en la web:
Integraciones disponibles
Existen diversas herramientas y plugins que ayudan a integrar la especificación llms.txt en su flujo de trabajo:
llms_txt2ctx- CLI y módulo de Python para analizar archivos llms.txt y generar contexto para LLM- Implementación en JavaScript - Implementación de ejemplo en JavaScript
vitepress-plugin-llms- Plugin de VitePress que genera automáticamente documentación amigable para LLM siguiendo la especificación llms.txtdocusaurus-plugin-llms- Plugin de Docusaurus para generar documentación amigable para LLM según el estándar llmstxt.org- Soporte LLM para Drupal - Receta de Drupal que ofrece soporte completo de la propuesta llms.txt para cualquier sitio Drupal 10.3+
llms-txt-php- Biblioteca para escribir y leer archivos Markdown llms.txt
Próximos pasos
La especificación llms.txt está abierta a los comentarios de la comunidad. El repositorio de GitHub aloja esta descripción informal, lo que permite control de versiones y debate público. Hay un canal de Discord de la comunidad disponible para compartir experiencias de implementación y debatir buenas prácticas.
Imagen de portada de Franz Bachinger en Pixabay.