SEO
100% in Ihrem Browser
Robots.txt-Generator — Kostenloses Online-Tool mit Presets
Generieren Sie eine robots.txt mit Presets für WordPress, E-Commerce, Staging. Blockieren Sie KI-Crawler (GPTBot, ClaudeBot, Google-Extended), aggressive Bots, Sitemaps und Delays.
Hauptdirektive
Verwenden Sie * für alle Crawler oder einen Namen wie Googlebot, Bingbot.
Extras
Sitemaps & Kommentare
Robots.txt-Generator — Erstellen Sie Ihre Crawler-Steuerungsdatei
Erstellen Sie eine komplette robots.txt in Sekunden. Wählen Sie gängige Presets (WordPress, E-Commerce, Staging), passen Sie User-agent-Regeln an, fügen Sie Sitemaps hinzu, und blockieren Sie optional KI-Trainings-Crawler oder aggressive SEO-Bots. Die Ausgabe folgt der offiziellen robots.txt-Spezifikation.
Presets
- Alles erlauben: leerer Disallow — Suchmaschinen können alles crawlen
- Alles blockieren:
Disallow: / - WordPress: blockiert wp-admin, Plugins, Cache, Suchanfragen; erlaubt admin-ajax.php
- E-Commerce: blockiert Warenkorb, Checkout, Konto
- Staging / Dev: alles blockieren
KI-Crawler blockieren
13 bekannte KI-Bots: GPTBot, ChatGPT-User, ClaudeBot, anthropic-ai, Google-Extended, CCBot, PerplexityBot, Bytespider, FacebookBot, Diffbot, Omgilibot, ImagesiftBot, cohere-ai.
Datenschutz
Alles läuft in Ihrem Browser.