robots.txt es el archivo que usa un sitio web para indicar a los rastreadores (crawlers), incluidos los de las empresas de IA, a qué partes del sitio pueden acceder. llms.txt es una convención propuesta: un archivo Markdown en la raíz del sitio que lo resume para los modelos de lenguaje. Ninguno de los dos garantiza que una marca aparezca en las respuestas de la IA: robots.txt es una petición que siguen los rastreadores que se comportan correctamente, y llms.txt no es un estándar oficial y su compatibilidad varía de un proveedor a otro.
Puntos clave
- robots.txt indica qué rastreadores están invitados a entrar. Bloquear por error a los rastreadores de IA puede impedir que su contenido se use en las respuestas.
- Algunos rastreadores recopilan datos para entrenar modelos; otros obtienen páginas para responder a la pregunta de un usuario. Decida sobre cada tipo por separado.
- llms.txt es una propuesta: de bajo costo, opcional y sin garantía de nada.
- El comportamiento de los rastreadores cambia con el tiempo, así que consulte la documentación oficial de cada proveedor.
¿Qué tiene que ver robots.txt con la IA?
robots.txt se encuentra en la raíz de un sitio web y contiene reglas por nombre de rastreador (user agent): qué rastreadores pueden entrar y de qué secciones deben mantenerse alejados. Las empresas de IA publican los nombres que utilizan para que los propietarios de sitios puedan fijar reglas específicas para ellos. Algunos que probablemente encontrará:
- GPTBot
- OAI-SearchBot
- ChatGPT-User
- ClaudeBot
- PerplexityBot
- Google-Extended
La sintaxis es la misma que para cualquier otra regla de robots.txt:
User-agent: <nombre del rastreador>
Disallow: /una-carpeta-que-los-rastreadores-deben-omitir/
Cada proveedor describe para qué sirve cada nombre en su propia documentación. La lista y el comportamiento pueden cambiar, así que no confíe en ningún artículo, incluido este, en lugar de la documentación original.
¿En qué se diferencian los rastreadores de entrenamiento de los de respuesta?
En términos generales, hay dos propósitos principales:
- Recopilar datos para entrenar modelos. El contenido se convierte en material de aprendizaje para versiones posteriores de un modelo.
- Obtener páginas para responder a una pregunta. Cuando un usuario pregunta algo, el sistema busca y lee páginas relevantes para componer su respuesta, a menudo con las fuentes adjuntas.
La distinción importa a la hora de tomar decisiones. Una regla general contra todos los rastreadores de IA puede eliminar sin querer un sitio web de las respuestas basadas en la recuperación, cuando lo único que la empresa quería realmente era limitar el uso de su contenido para el entrenamiento. Qué tipos permitir o bloquear es una decisión de negocio de cada organización; lo que hay que evitar es bloquear sin saber qué se está bloqueando.
¿Qué puede hacer robots.txt y qué no?
- Es una petición, no un mecanismo de control. Los rastreadores que se comportan correctamente la respetan; el archivo no impide técnicamente el acceso. El contenido que necesita protección debe estar detrás de un inicio de sesión o de controles de acceso.
- Permitido no significa utilizado. Abrir la puerta a los rastreadores es solo una condición previa. Que el contenido se elija sigue dependiendo de su calidad y su relevancia. Consulte cómo elige la IA sus fuentes.
- No es la única barrera. Un firewall, un servicio de protección contra bots o la configuración del servidor también pueden bloquear a los rastreadores de IA aunque robots.txt los permita.
¿Qué es llms.txt?
llms.txt es una convención propuesta: colocar en la raíz de un sitio web un archivo Markdown que resuma el sitio para los modelos de lenguaje. Suele contener el nombre del sitio, una breve introducción y una lista de enlaces a las páginas más importantes, cada una con una descripción breve. La idea es ofrecer a un modelo un mapa compacto y legible en lugar de dejar que recorra por sí solo toda la estructura del sitio.
¿Qué no es llms.txt?
- No es un estándar oficial. Por ahora es una propuesta.
- No todos los proveedores de IA lo admiten. La adopción varía, y no debe dar por hecho que un asistente de IA concreto vaya a leer el archivo.
- No es una garantía. Tener un llms.txt no significa ser citado o mencionado con más frecuencia.
- No sustituye a robots.txt. llms.txt no controla el acceso de los rastreadores.
- No sustituye al buen contenido. Un resumen ordenado no compensa unas páginas a las que les falta información concreta.
¿Debería crear un llms.txt?
Puede hacerlo, siempre que lo trate como una tarea pequeña y opcional. El costo es bajo: un archivo de texto que se actualiza cuando cambia la estructura del sitio. Si lo hace, mantenga el archivo breve y exacto, enlace solo a páginas canónicas y asegúrese de que sigue siendo coherente con lo que realmente hay en el sitio web. No espere que este archivo por sí solo produzca un cambio medible, y no lo anteponga a un trabajo más fundamental.
¿Qué debería revisar primero?
- Abra robots.txt y busque reglas que bloqueen a los rastreadores de IA sin querer.
- Defina una política para cada tipo de rastreador basándose en la documentación de los proveedores.
- Revise la configuración de su firewall y de su protección contra bots.
- Asegúrese de que el contenido principal se puede leer como texto sin iniciar sesión.
- Considere llms.txt una vez completados los pasos anteriores.
- Revise todo periódicamente.
La accesibilidad es solo la primera capa. Para que la IA entienda correctamente una marca y tenga un motivo para citarla, la marca también necesita una base de entidad, contenido citable y presencia en muchas fuentes. Puede leer sobre el marco G.E.O o sobre el servicio de Entidades y Schema de GEONGON.