Générateur de Robots.txt — Outil Gratuit en Ligne avec Presets

Générateur de Robots.txt — Créez Votre Fichier de Contrôle des Crawlers

Créez un fichier robots.txt complet en quelques secondes. Choisissez parmi les presets courants (WordPress, e-commerce, staging), personnalisez les règles User-agent, ajoutez plusieurs sitemaps, et bloquez optionnellement les crawlers d’entraînement IA ou les bots SEO agressifs. La sortie suit la spécification officielle robots.txt avec structure et commentaires appropriés.

Presets

• Tout autoriser : Disallow vide — les moteurs peuvent tout crawler
• Tout bloquer : Disallow: / — utile pour sites non publiés ou privés
• WordPress : bloque /wp-admin/, /wp-includes/, plugins/cache, URLs de recherche, tout en autorisant admin-ajax.php
• E-commerce : bloque /cart/, /checkout/, /my-account/, et URLs add-to-cart qui n’ont rien à faire dans les index
• Staging / dev : tout bloquer — empêche l’indexation accidentelle

Bloquer les crawlers d’entraînement IA

Activez cette option pour ajouter des règles Disallow pour 13 bots IA connus :

• GPTBot : crawler d’entraînement OpenAI
• ChatGPT-User : bot ChatGPT en mode navigation
• ClaudeBot, anthropic-ai : crawlers Anthropic
• Google-Extended : entraînement IA Google (n’affecte PAS Google Search)
• CCBot : Common Crawl (utilisé par de nombreuses entreprises IA)
• PerplexityBot : Perplexity AI
• Bytespider, FacebookBot, Diffbot, Omgilibot, ImagesiftBot, cohere-ai et autres

Important : robots.txt est une requête polie. Les bots peuvent l’ignorer. Les crawlers respectables le respectent ; les malveillants non.

Bloquer les bots SEO agressifs

Les gros crawlers SEO (AhrefsBot, SemrushBot, MJ12bot, DotBot, etc.) peuvent surcharger votre serveur. Si vous n’utilisez pas ces outils et voulez économiser la bande passante, activez cette option. Attention : si vous êtes pro SEO, vous voudrez peut-être les garder autorisés.

Règles courantes

• Un User-agent peut avoir plusieurs Disallow/Allow
• Allow annule Disallow quand plus spécifique
• Jokers : * pour n’importe quelle séquence, $ pour fin d’URL
• Commentaires : commencent par #, ignorés par les crawlers
• Directive Sitemap : utilise toujours une URL absolue, peut apparaître plusieurs fois

Déployez votre robots.txt

Placez le fichier à https://votredomaine.com/robots.txt — exactement à la racine, accessible publiquement. Testez-le avec le robots.txt Tester de Google Search Console avant de vous y fier.

Confidentialité

Tout s’exécute dans votre navigateur. Vos règles ne sont jamais envoyées.