Generador de robots.txt gratis
Construye un robots.txt con reglas de permiso/desactivación, mapas de sitio y directivas de bot de IA.
Cargando herramienta…
Cómo crear un archivo robots.txt para tu sitio web
Construye reglas específicas de permitir y rechazar los rastreadores y añade una URL de mapa de sitio. Revisa el archivo antes de publicarlo en tu propio host.
- Reemplace las rutas de ejemplo y URL de mapa de sitio.
- Selecciona un agente de usuario y permita o rechace cada regla.
- Añade directivas opcionales sólo cuando el rastreador de destino las apoye.
- Descarga robots.txt y publique el archivo revisado en su raíz de host.
Cuando vale la pena configurar un archivo robots.txt
Un archivo robots.txt le dice a los rastreadores bien portados qué partes de un sitio pueden visitar. Un nuevo propietario de blog puede querer mantener a los rastreadores fuera del área de administración. Una tienda en línea puede querer evitar que los bots pierdan tiempo en las páginas del carrito y de la caja. Un editor puede decidir bloquear a ciertos rastreadores de IA mientras permite los motores de búsqueda.
Este generador construye el archivo a partir de filas simples. Cada fila tiene un rastreador, una opción Permitir o Deshabilitar y una ruta. Puede añadir una URL de mapa de sitio, una línea de host opcional etiquetada para Yandex y un delay opcional de Crawl en segundos. El texto se actualiza a medida que escribes, y puedes copiarlo o descargarlo como robots.txt.
Un ejemplo trabajado con reglas reales
Suponga que agrega cuatro filas: todos los rastreadores deshabilitar /admin, todos los rastreadores deshabilitar /cart, todos los rastreadores Permitir /, y GPTBot Deshabilitar /. Configura el mapa de sitio a https://example.com/sitemap.xml y deja vacío Host y Crawl-delay.
La salida comienza con un grupo encabezado User-agent: * que contiene Deshallow: /admin, Deshallow: /cart y Allow: /. Sigue una línea en blanco, luego un grupo encabezado User-agent: GPTBot con descargo: /. El archivo termina con Sitemap: https://example.com/sitemap.xml en tu propia línea.
Las filas para el mismo rastreador se recogen en un solo grupo, incluso si las has añadido en momentos diferentes. Si escribes 10 en Crawl-delay, la línea Crawl-delay: 10 se añade bajo cada grupo de User-agent.
Cómo los rastreadores leen el archivo
Un rastreador busca el grupo cuyo usuario-agente mejor coincide con tu propio nombre y sigue sólo ese grupo. En el ejemplo, GPTBot sigue a tu propio grupo e ignora las reglas para todos los rastreadores. Otros bots, como Googlebot o Bingbot, utilizan el grupo de estrellas.
Dentro de un grupo, los principales motores de búsqueda como Google aplican la ruta de coincidencia más específica. Una regla más larga como Deshabilitar: /admin gana sobre Permitir: / para cualquier URL bajo /admin. Google ignora Crawl-delay, mientras que algunos otros rastreadores lo honran. El archivo debe ser servido en la raíz del host, como ejemplo.com/robots.txt, y se aplica sólo a ese host y protocolo.
Errores comunes a evitar
El error más perjudicial es un desvío de la desautorización: / bajo el grupo estelar, que pide a cada rastreador que se salte todo el sitio. Lee el archivo final línea por línea antes de publicarlo. También recuerde que las rutas son sensibles a las mayúsculas, así que /Admin y /admin son diferentes.
No usa robots.txt para ocultar contenido privado. El archivo es público, y la lista de una carpeta secreta puede llamar la atención sobre él. Usa contraseñas o reglas de acceso al servidor en su lugar. Finalmente, una página bloqueada puede aparecer en los resultados de búsqueda si otros sitios enlazan con ella; una etiqueta noindex es la herramienta habitual para mantener una página rastreable fuera de los resultados.
Consejos útiles y limitaciones
- La desautorización es una instrucción de rastreo, no de protección de acceso.
- Bloquear el rastreo no elimina por sí solo una URL de los resultados.
- Agrega una fila separada para cada rastreador específico que quieras tratar de manera diferente, porque ese rastreador ignorará tus reglas generales.
- Después de publicar, abre su dominio/robots.txt en un navegador para confirmar que el archivo en vivo coincide con lo que generó.
Preguntas frecuentes
¿Protege robots.txt archivos privados?
No. Usa autenticación y controles de acceso apropiados.
¿Todos los bots soportan Crawl-delay y Host?
No. El soporte de directiva opcional varía entre los rastreadores.
¿La descarga cambia mi sitio web?
No. Publique el archivo en la ruta raíz robots.txt del host previsto.
¿De qué rastreadores de IA puedo elegir?
La lista de rastreadores incluye GPTBot, ClaudeBot, CCBot y PerplexityBot, junto con rastreadores de búsqueda como Googlebot, Bingbot, Slurp, DuckDuckBot, Baiduspider y YandexBot.
¿Necesito un permiso: / línea?
No estrictamente. Cualquier cosa que no se desautorice está permitida por defecto. Un permiso explícito: / no hace daño y puede hacer la intención del archivo más clara.
¿Puedo listar más de un mapa de sitio?
Este generador tiene un campo de mapa de sitio. Si tiene varios mapas de sitio, agrega las líneas adicionales del mapa del sitio al archivo descargado a mano, o señale a un archivo índice del mapa de sitio.
Su entrada se procesa en tu navegador sin una cuenta ToolWorld Online. Copia o descarga cualquier cosa que quieras guardar antes de salir de la página.
Lee nuestra política de privacidad · Acerca de ToolWorld Online