robots.txt mit Google überprüfen

Internet, Onlinedienste | google webmaster | robots.txt | robots.txt testen | webmaster

Die Datei robots.txt teilt den Bots der Suchmaschinen mit welche Verzeichnisse und Dateien indiziert werden dürfen und welche nicht. Dabei kann eine robots.txt Datei im Extremfall verhindern, dass die Webseite überhaupt von Suchmaschinen indiziert wird was natürlich für jeden Webmaster eine Katastrophe sondergleichen ist.

Es kann bis zu zwei Wochen dauern bis die Veränderungen in der robots.txt Datei bemerkbar machen was eine sehr lange Zeit sein kann wenn man einen Fehler gemacht hat.

Eine hervorragende Möglichkeit den robots.txt zu testen bevor man sie veröffentlicht ist der sogenannte Google’s Webmaster Central Dienst. Bevor man ihn nutzen kann muss man sich dazu kostenlos anmelden.