Hay dos preguntas técnicas que surgen en casi todas las conversaciones sobre visibilidad en IA. ¿Debemos bloquear o permitir los rastreadores de IA en robots.txt? ¿Y debemos publicar un archivo llms.txt?
La primera pregunta tiene respuestas claras y documentadas. La segunda tiene una respuesta más modesta de lo que sugiere buena parte del debate en internet. Este artículo trata ambas, a partir de la documentación de los propios proveedores.
Rastreadores de entrenamiento frente a rastreadores de búsqueda
La distinción más importante de todas: la mayoría de los proveedores de IA separan ahora el rastreo para entrenar modelos del rastreo o la recuperación para la búsqueda y las respuestas. Bloquear uno no bloquea automáticamente el otro.
Eso le da una elección real. Puede negarse a que su contenido se utilice para el entrenamiento y, al mismo tiempo, permitir que sus páginas se encuentren y se citen en las funciones de búsqueda con IA.
Los principales user agents y qué hacen
Este es un resumen basado en la documentación de cada proveedor. Consulte las páginas enlazadas antes de cambiar nada, porque los proveedores las actualizan.
| User agent | Proveedor | Finalidad documentada |
|---|---|---|
| GPTBot | OpenAI | Rastreo para hacer más útiles y seguros los modelos fundacionales de IA generativa; bloquearlo indica que el contenido no debe usarse para el entrenamiento |
| OAI-SearchBot | OpenAI | Mostrar sitios web en las funciones de búsqueda de ChatGPT |
| ChatGPT-User | OpenAI | Visitas desencadenadas por acciones de usuarios en ChatGPT o en los GPT personalizados; no se usa para decidir qué aparece en la búsqueda |
| ClaudeBot | Anthropic | Recopilar contenido que puede contribuir al entrenamiento de modelos |
| Claude-SearchBot | Anthropic | Mejorar la calidad de los resultados de búsqueda |
| Claude-User | Anthropic | Recuperar páginas cuando un usuario de Claude hace una pregunta |
| PerplexityBot | Perplexity | Mostrar y enlazar sitios web en los resultados de búsqueda de Perplexity; no se usa para entrenar modelos fundacionales |
| Perplexity-User | Perplexity | Recuperar páginas para responder a la pregunta de un usuario |
| Google-Extended | Token de control del uso del contenido en el entrenamiento y la fundamentación de Gemini |
Fuentes: resumen de los rastreadores de OpenAI, documentación de los rastreadores de Anthropic, rastreadores de Perplexity, rastreadores comunes de Google.
Detalles que conviene conocer
OpenAI. OpenAI indica que cada ajuste es independiente de los demás, por lo que puede permitir OAI-SearchBot y bloquear GPTBot. También dice que los sitios que excluyan OAI-SearchBot no aparecerán en las respuestas de búsqueda de ChatGPT, y que las reglas de robots.txt pueden no aplicarse a ChatGPT-User porque esas visitas las inician los usuarios.
Anthropic. Anthropic afirma que sus bots respetan las directivas estándar de robots.txt y que la exclusión debe configurarse en cada subdominio que quiera cubrir. Señala que bloquear Claude-SearchBot o Claude-User puede reducir su visibilidad en la búsqueda de Claude y en las respuestas a petición de los usuarios.
Perplexity. Perplexity recomienda permitir PerplexityBot en robots.txt e indica que Perplexity-User suele ignorar las reglas de robots.txt, porque la recuperación la solicita un usuario.
Google. Google-Extended es un token de producto, no un rastreador independiente: el rastreo se realiza con los user agents de Google ya existentes. Google indica que Google-Extended no influye en la inclusión de un sitio en la Búsqueda de Google ni se utiliza como señal de posicionamiento. Para las Vistas creadas con IA y el Modo IA, que forman parte de la Búsqueda, Google remite a los propietarios de sitios a los controles estándar de la Búsqueda, como nosnippet, data-nosnippet, max-snippet y noindex.
Una política de robots.txt razonable por defecto
No existe una respuesta correcta universal. Depende de su negocio, de su contenido y de su situación jurídica. Pero una política habitual y coherente para las marcas que buscan visibilidad en IA es esta: permitir los agentes de búsqueda y de recuperación a petición del usuario, y tomar una decisión explícita y separada sobre los agentes de entrenamiento.
# Funciones de búsqueda y respuesta: permitidas
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Entrenamiento: una decisión de negocio explícita (ejemplo: excluido)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Es un ejemplo, no una recomendación para todos los sitios. Si quiere que su contenido nutra a los modelos futuros, permitiría en cambio los agentes de entrenamiento.
Dos advertencias. Primera, robots.txt es una petición, no un cerrojo: el propio estándar, la RFC 9309, dice que sus reglas «no son una forma de autorización de acceso». Segunda, una regla amplia como User-agent: * con Disallow: /, a veces heredada de un entorno de preproducción, bloquea todos los rastreadores que respetan el estándar, incluidos los de búsqueda.
Errores habituales en robots.txt
- Bloquear los agentes de búsqueda cuando se quería bloquear el entrenamiento. Es el error más frecuente y el más costoso para la visibilidad.
- Olvidar los subdominios. Cada host tiene su propio robots.txt.
- Copiar una lista de un artículo de blog sin comprobarla. Los nombres de los user agents cambian. Utilice la documentación del proveedor.
- Bloquear a nivel de cortafuegos o de CDN sin saberlo. Los ajustes de protección contra bots pueden bloquear a los agentes de IA aunque robots.txt los permita. Revise los registros de su servidor.
- Suponer que los cambios en robots.txt son inmediatos. OpenAI, por ejemplo, indica que los cambios en la búsqueda pueden tardar unas 24 horas en aplicarse.
llms.txt: qué es
llms.txt es una propuesta publicada en llmstxt.org por Jeremy Howard en septiembre de 2024. Sugiere colocar un archivo Markdown en /llms.txt que ofrezca a los modelos de lenguaje un punto de entrada conciso y seleccionado a un sitio.
El formato es sencillo:
- un H1 con el nombre del sitio o del proyecto (la única sección obligatoria),
- un breve resumen en forma de cita,
- párrafos de detalle opcionales,
- secciones H2 con listas de enlaces, cada uno con una nota opcional,
- por convención, una sección titulada «Optional» para los enlaces secundarios que pueden omitirse.
llms.txt: en qué punto está realmente
Conviene ser preciso sobre lo que se sabe y lo que no.
- Es una propuesta, no un estándar en el sentido en que lo es robots.txt (robots.txt es una RFC del IETF).
- La propia propuesta no cita a los grandes asistentes como consumidores confirmados del archivo para responder a preguntas generales. Su autor lo describe como útil sobre todo en el momento de la inferencia, por ejemplo cuando se dirige a un agente hacia un sitio.
- Google es explícito: no necesita nuevos archivos legibles por máquina, archivos de texto para IA ni marcado para aparecer en las Vistas creadas con IA o en el Modo IA.
- No hemos encontrado documentación primaria de OpenAI, Anthropic, Google o Perplexity que indique que sus asistentes para el gran público usan llms.txt para elegir qué marcas mencionar o citar.
Entonces, ¿qué debería hacer? Si tiene documentación, un público de desarrolladores o un sitio complejo, un archivo llms.txt es barato de producir y puede ayudar a los agentes y herramientas que lo lean. Para la mayoría de las marcas, es una tarea de baja prioridad que va después del acceso de los rastreadores, de un contenido claro y de la presencia en las fuentes que citan los asistentes.
Lista de comprobación
- robots.txt revisado frente a la documentación actual de cada proveedor
- Agentes de búsqueda y de recuperación a petición del usuario permitidos si busca visibilidad en IA
- Agentes de entrenamiento tratados como una decisión separada y deliberada
- Ningún
Disallow: /global heredado - Subdominios comprobados
- Ajustes de bots del cortafuegos y de la CDN contrastados con los registros del servidor
- llms.txt considerado como opcional, después de lo básico
Cómo le ayuda SearchFirefly
El análisis técnico de SearchFirefly agrupa los problemas por tema y gravedad, con las páginas afectadas, y sus preguntas seguidas muestran si ChatGPT, Gemini, Perplexity, las Vistas creadas con IA de Google y el Modo IA de Google mencionan realmente su marca y citan sus páginas. Ver ambas cosas juntas le ayuda a distinguir un problema de acceso de un problema de contenido o de reputación, y cada recomendación priorizada incluye la corrección exacta y una comprobación tras la puesta en producción.