🤖 SEO Técnico

Robots.txt y Rastreo Web: Guía Completa para SEO [2026]

📅 Octubre 2026 ⏱️ 16 min de lectura ✍️ Agencia de SEO

El archivo robots.txt es una de las herramientas más básicas y, a la vez, más malentendidas del SEO técnico. Un robots.txt mal configurado puede bloquear involuntariamente páginas importantes de tu web, impidiendo que Google las rastree e indexe. Por el contrario, un robots.txt bien optimizado ayuda a gestionar el crawl budget y dirigir a Googlebot hacia las páginas que realmente importan.

En esta guía te explicamos cómo funciona el rastreo web, la sintaxis completa de robots.txt, ejemplos prácticos para cada caso, errores graves que debes evitar y cómo verificar que todo está configurado correctamente con Google Search Console.

💡 Concepto clave: Robots.txt controla el rastreo (si un bot visita tu página), NO la indexación (si la página aparece en Google). Son dos cosas diferentes. Para evitar la indexación, usa la meta etiqueta noindex.

¿Cómo funciona el rastreo web de Google?

Antes de hablar de robots.txt, es necesario entender el proceso completo de rastreo e indexación:

1. Descubrimiento

Google encuentra URLs a través de enlaces, sitemaps y Search Console

→

2. Robots.txt

Googlebot comprueba si tiene permiso para rastrear la URL

→

3. Rastreo

Si está permitido, descarga el contenido de la página

→

4. Renderizado

Ejecuta JavaScript y procesa CSS para ver la página completa

→

5. Indexación

Almacena la página en su índice para los resultados de búsqueda

Robots.txt actúa en el paso 2. Si bloqueas una URL, Googlebot nunca llega al paso 3 (rastreo), pero la URL puede llegar al paso 5 (indexación) si otros sitios enlazan a ella. En ese caso, Google la mostrará con el mensaje "No hay información disponible para esta página".

¿Qué es el archivo robots.txt?

El archivo robots.txt es un fichero de texto plano que se ubica en la raíz de tu dominio. Su URL siempre es tudominio.com/robots.txt. Sigue el Protocolo de Exclusión de Robots (REP), un estándar creado en 1994 que la mayoría de bots respetan.

Características esenciales

Ubicación: Siempre en la raíz del dominio (ejemplo: https://agenciadeseo.net/robots.txt)
Formato: Texto plano UTF-8, sin BOM
Tamaño máximo: 500 KB (Google ignora lo que supere este límite)
Visibilidad: Es un archivo público, cualquiera puede leerlo
Función: Es una guía, no una orden. Los bots legítimos la respetan; los maliciosos la ignoran

Sintaxis de robots.txt: todas las directivas

El archivo robots.txt utiliza un conjunto reducido de directivas. Cada bloque comienza con User-agent para identificar a qué bot se dirige:

User-agent

User-agent: Googlebot

Identifica el rastreador al que se aplican las reglas. Usa * para todos los bots.

Disallow

Disallow: /admin/

Bloquea el rastreo de la ruta especificada. Vacío (Disallow:) permite todo.

Allow

Allow: /admin/stats.html

Permite el rastreo dentro de una ruta bloqueada. Útil para excepciones.

Sitemap

Sitemap: https://tudominio.com/sitemap.xml

Indica la ubicación del mapa del sitio. Se puede incluir varias veces.

Crawl-delay

Crawl-delay: 10

Solicita un retardo entre peticiones (en segundos). Google la ignora; Bing y Yandex la respetan.

Comodines (* y $)

Disallow: /*.pdf$

* coincide con cualquier secuencia. $ indica fin de URL. No estándar pero Google los soporta.

Ejemplos prácticos de robots.txt

Robots.txt básico (recomendado para la mayoría de webs)

robots.txt

# Permitir rastreo de todo el sitio
User-agent: *
Disallow:

# Mapa del sitio
Sitemap: https://tudominio.com/sitemap.xml

Robots.txt para un e-commerce

robots.txt — e-commerce

User-agent: *

# Bloquear páginas internas sin valor SEO
Disallow: /carrito/
Disallow: /checkout/
Disallow: /mi-cuenta/
Disallow: /buscar?
Disallow: /comparar/
Disallow: /wishlist/

# Bloquear URLs con parámetros de filtro/ordenación
Disallow: /*?ordenar=
Disallow: /*?filtro=
Disallow: /*?pagina=

# Permitir rastreo de CSS/JS para renderizado
Allow: /wp-content/
Allow: /wp-includes/

Sitemap: https://tudominio.com/sitemap.xml

Robots.txt para un sitio HTML estático

robots.txt — web estática

User-agent: *

# Bloquear archivos de administración o staging
Disallow: /old/
Disallow: /test/
Disallow: /backup/

# Bloquear archivos de desarrollo
Disallow: /*.log$
Disallow: /.htaccess

Sitemap: https://tudominio.com/sitemap.xml

💡 Pro tip: bloquear bots de IA

Si quieres evitar que los modelos de IA utilicen tu contenido para entrenamiento, puedes bloquear sus rastreadores específicos: User-agent: GPTBot, User-agent: ClaudeBot, User-agent: Google-Extended seguidos de Disallow: /. Esto no afecta al SEO porque Googlebot se gestiona por separado.

¿Qué es el crawl budget y por qué importa?

El crawl budget (presupuesto de rastreo) es la combinación de dos factores que determinan cuántas páginas rastrea Googlebot en tu web en un periodo determinado:

Crawl rate limit (límite de velocidad de rastreo): Cuántas peticiones simultáneas hace Google sin sobrecargar tu servidor
Crawl demand (demanda de rastreo): Cuánto "interés" tiene Google en rastrear tus URLs, basado en popularidad, frescura del contenido y cambios detectados

Para la mayoría de webs con menos de 10.000 páginas, el crawl budget no es un problema. Google tiene capacidad de sobra para rastrearlas todas. Donde sí importa optimizar el crawl budget es en:

Sitios con más de 10.000 URLs indexables
E-commerce con muchas variantes de producto y filtros
Sitios con mucho contenido generado dinámicamente
Webs con problemas de velocidad de carga

Cómo optimizar el crawl budget con robots.txt

Bloquea URLs de bajo valor: Páginas de administración, resultados de búsqueda interna, URLs con parámetros de sesión
Evita bloquear CSS y JavaScript: Google necesita renderizar tu página completa; si no puede cargar los estilos, puede interpretar mal tu contenido
Usa la directiva Sitemap: Apunta a un sitemap actualizado para que Google priorice tus URLs más importantes
No bloquees páginas canónicas: Si una página tiene enlaces entrantes y contenido valioso, no la bloquees

Errores graves de robots.txt que perjudican tu SEO

❌ Errores comunes

Bloquear todo el sitio con Disallow: / (especialmente en migraciones o staging que se sube a producción)
Bloquear CSS y JS que impide el renderizado completo de la página
Usar robots.txt para ocultar páginas en lugar de noindex
Bloquear e incluir noindex a la vez — Google no verá el noindex
Directivas con espacios incorrectos o mayúsculas inconsistentes
Bloquear el sitemap con una regla Disallow demasiado amplia
Olvidar que subdominios necesitan su propio robots.txt

✅ Buenas prácticas

Verificar con Search Console después de cada cambio
Permitir CSS/JS/imágenes para que Google renderice bien
Usar noindex para evitar indexación, no Disallow
Incluir la directiva Sitemap con la URL absoluta completa
Probar cambios con la herramienta de prueba antes de publicar
Revisar periódicamente que las reglas siguen teniendo sentido
Documentar cada regla con comentarios explicativos (#)

🚨 Error crítico: Si haces una migración web y copias el robots.txt del entorno de staging con Disallow: /, bloquearás TODO el sitio en Google. Este error puede tardar semanas en causar daño visible y meses en recuperarse. Siempre revisa el robots.txt de producción después de una migración.

Robots.txt vs. otras directivas de control

Método	Controla	Dónde se implementa	Cuándo usarlo
Robots.txt	Rastreo	Archivo en la raíz del dominio	Gestionar crawl budget, bloquear rutas enteras
Meta noindex	Indexación	Etiqueta `<meta>` en el HTML	Evitar que una página aparezca en resultados
X-Robots-Tag	Indexación	Cabecera HTTP del servidor	Control de indexación para PDFs, imágenes u otros archivos no HTML
Canonical	Indexación preferida	Etiqueta `<link>` en el HTML	Indicar la versión principal cuando hay contenido duplicado
Nofollow	Seguimiento de enlaces	Atributo `rel="nofollow"`	Enlaces de pago, UGC, contenido no verificado

Cómo verificar tu robots.txt con Search Console

Abre Search Console y selecciona tu propiedad
Ve a Configuración > Rastreo > Abrir el informe
Revisa los errores de host y la disponibilidad de robots.txt
Usa la herramienta de inspección de URLs para comprobar si una URL está bloqueada
En el informe de Cobertura/Indexación, busca "Bloqueado por robots.txt" para detectar bloqueos no deseados

✅ Checklist de verificación de robots.txt

✓ El archivo está accesible en tudominio.com/robots.txt

✓ No bloquea páginas importantes (comprobado con Search Console)

✓ Permite el rastreo de CSS, JS e imágenes necesarias

✓ Incluye la directiva Sitemap con URL absoluta

✓ No hay conflicto entre robots.txt y meta noindex

✓ Las reglas están documentadas con comentarios

✓ El archivo pesa menos de 500 KB

✓ Cada subdominio tiene su propio robots.txt si es necesario

Caso práctico: optimizando robots.txt para un e-commerce real

Un cliente con una tienda online de 15.000 productos tenía estas cifras en Search Console:

Páginas rastreadas/día: ~800 (insuficiente para 15.000 productos)
URLs bloqueadas por robots.txt: 0 (sin filtro alguno)
Páginas descubiertas no indexadas: 8.200

El problema: Google gastaba crawl budget en URLs de filtros, ordenación, carrito y comparador — ninguna con valor SEO. La solución fue un robots.txt que bloqueaba esas rutas internas, combinado con una arquitectura web optimizada y un sitemap limpio.

Resultado después de 6 semanas:

Páginas rastreadas/día: de ~800 a ~2.400 (+200%)
Tiempo hasta indexación de nuevos productos: de 15 días a 3 días
Páginas de producto indexadas: de 6.800 a 12.100 (+78%)

Rastreo de bots de IA: el nuevo desafío

Con la explosión de los modelos de IA generativa, ha surgido un nuevo escenario: bots que rastrean tu web para entrenar sus modelos de lenguaje. Si quieres controlarlo, robots.txt es tu primera línea de defensa:

Bloquear bots de IA

# Bloquear entrenamiento de IA pero permitir SEO
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Permitir Googlebot para SEO (no afecta)
User-agent: Googlebot
Allow: /

Es importante entender que bloquear Google-Extended impide que tu contenido se use para entrenar los modelos de IA de Google, pero no afecta a tu posicionamiento SEO, ya que Googlebot se gestiona de forma independiente.

¿Tu robots.txt está frenando tu SEO?

Revisamos tu configuración de rastreo, identificamos bloqueos que perjudican tu posicionamiento y optimizamos tu crawl budget.

Solicitar auditoría de rastreo →

Preguntas frecuentes sobre robots.txt

El archivo robots.txt es un fichero de texto plano ubicado en la raíz de un sitio web (ejemplo: tudominio.com/robots.txt) que indica a los rastreadores de buscadores qué páginas o secciones pueden rastrear y cuáles no. Es parte del protocolo de exclusión de robots y funciona como una guía para los bots, aunque no como una orden obligatoria.

No. Robots.txt bloquea el rastreo, no la indexación. Una página bloqueada en robots.txt puede seguir apareciendo en Google si otros sitios enlazan a ella. Para bloquear la indexación, usa la meta etiqueta noindex o la cabecera HTTP X-Robots-Tag. De hecho, si bloqueas una página con robots.txt y además tiene noindex, Google no verá el noindex porque no puede rastrear la página.

Si tu sitio no tiene robots.txt, los rastreadores asumirán que pueden rastrear todas las páginas de tu web. Para la mayoría de sitios pequeños, esto no es un problema. Para sitios grandes, un robots.txt bien configurado ayuda a optimizar el crawl budget y dirigir los bots hacia las páginas más importantes.

No. Robots.txt es un archivo público que cualquiera puede leer visitando tudominio.com/robots.txt. No es un mecanismo de seguridad. Para proteger contenido privado, usa autenticación (contraseñas), permisos de acceso del servidor o la cabecera HTTP X-Robots-Tag: noindex junto con autenticación.

Google cachea el archivo robots.txt y lo actualiza aproximadamente cada 24 horas, aunque puede tardar hasta varios días. Si necesitas que Google detecte los cambios inmediatamente, puedes usar la herramienta de prueba de robots.txt en Google Search Console o solicitar un rastreo manual de la URL del robots.txt.