Robots.txt Validator

Geben Sie die URL Ihrer robots.txt ein, um diese zu analysieren:

Was wird überprüft?

Technische Anforderungen: Dateipfad, Größe, Kodierung, Erreichbarkeit
Syntax-Prüfung: Korrekte Formatierung und Direktiven
User-Agent Konfiguration: Korrekte Definition von Crawlern
Disallow/Allow Regeln: Korrekte Pfadangaben und Konsistenz
Sitemaps: Vorhandensein und Erreichbarkeit

Sicherheitsprobleme: Offenlegung sensibler Verzeichnisse
Widersprüchliche Regeln: Konflikte zwischen Disallow und Allow
SEO-Best-Practices: Optimierungsempfehlungen
Unterstützung von Direktiven: Was wird von welchem Crawler unterstützt
Empfehlungen: Konkrete Vorschläge zur Verbesserung

Wichtig zu wissen:

Die robots.txt verhindert nur das Crawlen, nicht das Indexieren von Inhalten. Für sensible Inhalte verwenden Sie besser den noindex Meta-Tags oder HTTP-Header und schützen Sie den Zugriff mit Authentifizierung.