Der Tipp am 5. Dezember 2005:
Welchen Sinn hat eine /robots.txt?

Dieser Kalender mit 24 Tipps rund um Suchmaschinen-Optimierung und Suchmaschinee-Marketing wird Ihnen präsentiert von:

In Kooperation mit:

 

Bitte melden Sie sich für den Bloofusion Newsletter an, damit Sie keinen der 24 Tipps verpassen:

Ihre Email-Adresse:


 

  Zum Glück ist die Fraktion derer, die einer /robots.txt positive Auswirkungen auf Suchmaschinen-Rankings zuschreiben, sehr klein geworden. Eine Zeitlang galt es als "Geheimtipp", in diese Datei wichtige Suchbegriffe einzutragen. Funktioniert hat das leider nie, und das hat auch seinen guten Grund: Die /robots.txt wird von einer Suchmaschine sicherlich nicht auf Suchbegriffe hin untersucht.

Der wahre Nutzen einer /robots.txt liegt nämlich darin, bestimmte Unterseiten einer Website aus dem Suchmaschinen-Index auszuschließen. Prinzipiell würde der Spider einer Suchmaschine beim Herunterladen einer Website nämlich alle Inhalte erfassen und in den Suchmaschinen-Index übernehmen. In einigen Fällen wird das so aber nicht gewünscht.

Wenn Sie also z.B. Ihren Mitgliedsbereich www.xyz.de/mitglied/ für Spider sperren möchten, erstellen Sie eine Datei namens robots.txt und legen diese im Wurzelverzeichnis Ihrer Website ab. Diese Datei enthält dann z.B. diese Angaben:

         User-agent: *
         Disallow: /mitglied/

Die erste Zeile gibt an, für welchen Spider die folgenden Angaben gelten (in diesem Fall: alle). Die zweite Zeile gibt an, daß alle Pfade, die mit /mitglied/ beginnen für Spider gesperrt sind.

Eine /robots.txt ist also eine einfache Möglichkeit, Verzeichnisse für Suchmaschinen zu sperren. Zur Optimierung der eigenen Rankings ist diese Datei aber wirklich nicht geeignet.