SEO
100% en su navegador
Generador de Robots.txt — Herramienta Online Gratis con Presets
Genere un archivo robots.txt con presets WordPress, e-commerce, staging. Bloquee crawlers IA (GPTBot, ClaudeBot, Google-Extended), bots agresivos, sitemaps y delays.
Directiva principal
Use * para todos los crawlers, o nombre específico como Googlebot, Bingbot.
Extras
Sitemaps y comentarios
Generador de Robots.txt — Crea tu Archivo de Control de Crawlers
Crea un archivo robots.txt completo en segundos. Elige entre presets comunes (WordPress, e-commerce, staging), personaliza reglas User-agent, añade múltiples sitemaps, y opcionalmente bloquea crawlers de entrenamiento IA o bots SEO agresivos. La salida sigue la especificación oficial robots.txt.
Presets
- Permitir todo: Disallow vacío — los buscadores pueden crawlear todo
- Bloquear todo:
Disallow: /— útil para sitios privados - WordPress: bloquea wp-admin, plugins, cache, URLs de búsqueda; permite admin-ajax.php
- E-commerce: bloquea carrito, checkout, my-account, add-to-cart
- Staging / dev: bloquea todo — evita indexación accidental
Bloquear crawlers IA
13 bots IA conocidos: GPTBot, ChatGPT-User, ClaudeBot, anthropic-ai, Google-Extended, CCBot, PerplexityBot, Bytespider, FacebookBot, Diffbot, Omgilibot, ImagesiftBot, cohere-ai.
Reglas comunes
- Allow anula Disallow cuando es más específico
- Comodines:
*para cualquier secuencia,$para fin de URL - Comentarios: empiezan con
# - Directiva Sitemap: URL absoluta
Despliega tu robots.txt
Coloca el archivo en https://tudominio.com/robots.txt — exactamente en la raíz.
Privacidad
Todo se ejecuta en tu navegador.