Robots.txt Tester
Prüfe, ob Google und andere Crawler eine Seite deiner Domain abrufen dürfen, und sieh dir an, ob deine Sitemap sauber gelesen wird.
Ergebnis für deine Adresse
Deine robots.txt
Ganze Datei anzeigen
| Zeile | Inhalt |
|---|
Deine Sitemaps
So gehst du vor
Adresse eintragen
Trage die Unterseite ein, die du prüfen willst. Die robots.txt holt das Werkzeug selbst.
Crawler wählen
Wähle, für welchen Crawler die Regeln gelten sollen. Jeder liest nur seinen eigenen Abschnitt.
Ergebnis ablesen
Du siehst, ob die Seite abgerufen werden darf, welche Zeile das entscheidet und wie es um deine Sitemaps steht.
Was die robots.txt ist
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis deiner Domain. Darin legst du fest, welche Bereiche deiner Webseite Suchmaschinen und andere Crawler abrufen dürfen. Sie liegt immer unter derselben Adresse: deine-webseite.de/robots.txt.
Jeder Abschnitt beginnt mit einer Zeile User-agent, die sagt, für wen er gilt. Darunter stehen die Regeln: Disallow sperrt einen Pfad, Allow gibt ihn wieder frei. Der Stern steht für beliebige Zeichen, das Dollarzeichen am Ende für das Ende der Adresse.
Wie Google die Regeln liest
Ein Crawler liest nur den Abschnitt, der seinen Namen trägt. Gibt es keinen, gilt der Abschnitt mit dem Stern. Googlebot liest also die Regeln unter User-agent: * nicht mehr, sobald es einen eigenen Abschnitt für Googlebot gibt.
Innerhalb des Abschnitts entscheidet nicht die Reihenfolge, sondern die Länge: es gewinnt die Regel mit dem längsten passenden Pfad. Sind zwei Regeln gleich lang, gewinnt Allow. Genau deshalb nennt dir das Werkzeug die Zeile, die gegriffen hat.
Fehlt die robots.txt, darf alles abgerufen werden. Antwortet der Server mit einem Fehler der Reihe 500, behandelt Google die ganze Domain vorerst als gesperrt.
Was eine gute Sitemap ausmacht
Eine Sitemap ist eine XML-Datei, die alle Seiten auflistet, die gefunden werden sollen. Trage sie mit einer Zeile Sitemap in deine robots.txt ein, dann finden sie alle Suchmaschinen ohne weitere Anmeldung.
Eine Sitemap fasst bis zu 50.000 Adressen. Sie enthält nur vollständige Adressen deiner eigenen Domain, und jede davon darf laut robots.txt abgerufen werden. Steht eine Seite in der Sitemap und ist gleichzeitig gesperrt, widersprechen sich die beiden Dateien.
Größere Webseiten teilen ihre Adressen auf mehrere Sitemaps auf und fassen sie in einem Sitemap-Index zusammen. Das Werkzeug listet die Sitemaps eines Index auf, und du kannst jede einzeln prüfen.
