robots.txt für Suchmaschinen optimieren?

In seinem unstillbaren Wissensdrang kennt Google offenbar keine Grenzen. Man scheut nicht den “Blick in die eigene Westentasche” zu veröffentlichen. Daten, die ausschliesslich für die Crawler von Suchmaschinen bestimmt sind, finden ihren Weg in die Ergebnisliste.

Nutzer, die sich über die Arbeit mit der Datei robots.txt informieren möchten, finden auf der zweiten Ergebnisseite der Google Resultate die robots.txt von google.com. Die Datei ist prominent verlinkt. Mehr als 1800 Links aus dem gesamten Internet verweisen auf die robots.txt von Google. Interessant daran ist, Google spidert die Inhalte und hält sie im Suchmaschinenindex bereit.

Was bedeutet das? Rankt Google Inhalte der robots.txt? Ist das vielleicht eine Möglichkeit für Webmaster das eigene Ranking voranzutreiben?

Die robots.txt von Google enthält nur Anweisungen. Was aber, wenn man die Kommentare für Suchmaschinen optimiert? Am Beispiel der robots.txt von Slashdot.org lässt sich nachvollziehen, dass Inhalte von Kommentaren erfasst und gerankt werden. Nehmen wir den Kommentar “At least one Disallow field needs to be present in a record und finden die Datei robots.txt für diese Anfrage auf der ersten Ergebnisseite von Google. Klappt also. Yahoo! und Live.com (Microsoft) erfasst ebenfalls den Inhalt, einschliesslich Kommentare der robots.txt.

Die genannten robots.txt haben gemeinsam, es gibt externe Verweise auf die jeweilige robots.txt. Steht also der Optimierung der robots.txt nichts mehr entgegen? Anhand dieser Erkenntnisse dürfte es möglich sein, die robots.txt prominent für Begriffe zu ranken, die in den Kommentaren der Datei versteckt sind. Selbst bei Erfolg, der durch gute Verlinkung sicherlich erzielt werden kann, bleibt ein Problem. Die robots.txt ist eine Textdatei. Hyperlinks sind nicht anklickbar. Durchschnittliche Webnutzer werden nicht in der Lage sein, sich von der robots.txt auf die Webpräsenz weiter zu navigieren. Damit ist selbst ein Platz 1 in den Ergebnislisten der Suchmaschinen ziemlich nutzlos, wenn dort die Inhalte der robots.txt präsentiert werden. Wer nicht unbedingt auf Erfolg über Suchmaschinen programmiert ist, kann die Datei robots.txt zum bloggen verwenden ;-).

Erläuterungen zur Datei robots.txt