robots.txt-Tester

Mit Hilfe einer robots.txt-Datei wird festgelegt, welche Bereiche einer Domain von den Suchmaschinen-Robots durchsucht werden sollen und welche nicht. Bevor diese mit der Indexierung einer Website beginnen, suchen sie im Stammverzeichnis der Domain zunächst nach einer Textdatei mit der Bezeichnung „robots.txt“. Diese kann entweder mit einem Texteditor oder diversen kostenlosen Tools erstellt werden.

Die robots.txt bietet Website-Betreibern die Möglichkeit, bestimmte Inhalte gezielt aus den Indizes ausgewählter Suchmaschinen auszuschließen. Dies kann zum Beispiel sinnvoll sein, um Duplicate Content zu vermeiden oder wenn sich eine Seite noch im Aufbau befindet. Es kann jedoch auch vorkommen, dass Robots versehentlich von wichtigen Seiten ausgesperrt werden bzw. aufgrund einer fehlerhaften robots.txt-Datei die falschen Inhalte crawlen.

robots.txt auf Fehler untersuchen

Um Fehler in der robots.txt ausfindig zu machen, verfügt die Google Search Console über einen robots.txt-Tester, der auf dem Dashboard unter „Crawling“ abrufbar ist. Diese Funktion erleichtert es, auch bei Webseiten mit einer riesigen robots.txt-Datei den Überblick zu behalten. Diesen kann man bei einer Vielzahl blockierter URLs schnell verlieren, so dass einem selbst nicht mehr bewusst ist, welche Seiten in den Index gelangen und welche nicht.

Robots.txt testen
Fehlerhafte URL (rot) im robots.txt-Tester

Einzelne URLs lassen sich dahingehend testen, ob sie von einem der Google-Web-Crawler durchsucht werden können oder nicht. Über ein Drop-down-Menü neben dem Eingabefeld für die zu untersuchende URL kann man die unterschiedlichen Crawler wie den für die Web-Suche zuständigen Googlebot auswählen. Nach einem Klick auf „Testen“ bekommt man angezeigt, ob die jeweilige URL das Crawling zulässt oder blockiert. Liegt eine Blockierung vor, wird die entsprechende Zeile rot hervorgehoben.

Indem man die markierte Zeile bearbeitet oder komplett löscht, lassen sich etwaige Änderungen direkt testen. Damit diese wirksam werden, müssen sie anschließend nur noch in die robots.txt-Datei auf dem eigenen Server kopiert werden.