Robots.txt-Generator
Erstellen Sie Zulassungs-, Sperr-, Crawl-Delay- und Sitemap-Regeln für robots.txt.
Ein Pfad pro Zeile, beginnend mit /. Leerzeichen als %20 und # als %23 kodieren.
robots.txt steuert Crawling, schützt keine privaten Seiten und garantiert keine Entfernung aus Suchergebnissen. Google ignoriert Crawl-delay. Ein Agent pro Zeile (Buchstaben, _, -, oder *).
robots.txtVor Veröffentlichung im Stammverzeichnis prüfen. Manuelle Änderungen werden exportiert; Formulareingaben erzeugen die Datei neu.