robots.txt für Suchmaschinen optimieren?

24. April, 2008 4 Kommentare Autor:

In seinem unstillbaren Wissensdrang kennt Google offenbar keine Grenzen. Man scheut nicht den “Blick in die eigene Westentasche” zu veröffentlichen. Daten, die ausschliesslich für die Crawler von Suchmaschinen bestimmt sind, finden ihren Weg in die Ergebnisliste.

Nutzer, die sich über die Arbeit mit der Datei robots.txt informieren möchten, finden auf der zweiten Ergebnisseite der Google Resultate die robots.txt von google.com. Die Datei ist prominent verlinkt. Mehr als 1800 Links aus dem gesamten Internet verweisen auf die robots.txt von Google. Interessant daran ist, Google spidert die Inhalte und hält sie im Suchmaschinenindex bereit.

Was bedeutet das? Rankt Google Inhalte der robots.txt? Ist das vielleicht eine Möglichkeit für Webmaster das eigene Ranking voranzutreiben?

Die robots.txt von Google enthält nur Anweisungen. Was aber, wenn man die Kommentare für Suchmaschinen optimiert? Am Beispiel der robots.txt von Slashdot.org lässt sich nachvollziehen, dass Inhalte von Kommentaren erfasst und gerankt werden. Nehmen wir den Kommentar “At least one Disallow field needs to be present in a record und finden die Datei robots.txt für diese Anfrage auf der ersten Ergebnisseite von Google. Klappt also. Yahoo! und Live.com (Microsoft) erfasst ebenfalls den Inhalt, einschliesslich Kommentare der robots.txt.

Die genannten robots.txt haben gemeinsam, es gibt externe Verweise auf die jeweilige robots.txt. Steht also der Optimierung der robots.txt nichts mehr entgegen? Anhand dieser Erkenntnisse dürfte es möglich sein, die robots.txt prominent für Begriffe zu ranken, die in den Kommentaren der Datei versteckt sind. Selbst bei Erfolg, der durch gute Verlinkung sicherlich erzielt werden kann, bleibt ein Problem. Die robots.txt ist eine Textdatei. Hyperlinks sind nicht anklickbar. Durchschnittliche Webnutzer werden nicht in der Lage sein, sich von der robots.txt auf die Webpräsenz weiter zu navigieren. Damit ist selbst ein Platz 1 in den Ergebnislisten der Suchmaschinen ziemlich nutzlos, wenn dort die Inhalte der robots.txt präsentiert werden. Wer nicht unbedingt auf Erfolg über Suchmaschinen programmiert ist, kann die Datei robots.txt zum bloggen verwenden ;-).

Erläuterungen zur Datei robots.txt

VN:F [1.9.22_1171]
Beitrag bewerten
Rating: 1.5/5 (4 votes cast)
robots.txt für Suchmaschinen optimieren?, 1.5 out of 5 based on 4 ratings

Ähnliche Beiträge:


Share
Tags: , Kategorie: Webmaster/SEO

4 Kommentare to “robots.txt für Suchmaschinen optimieren?”

  1. Paul says:

    Das ist ja mal echt der Hammer. Interessant wäre nun wieviel, die Suchmaschinen nun an Keywords aus der robots.txt Datei entnehmen.

  2. Frederic Reuter says:

    Interessant wäre doch mal ein Bot-Generator, der Webmastern zeigt, wie seine robot.txt im ausgewerteten Zustand aussieht – also eine Liste aller so erreichbarer Seiten erstellt, oder?!

    Kennt jemand sowas?

  3. PC-Notdienst says:

    Das ist wirklich interessant. Aber was ist mit dem letzten Satz gemeint?

  4. Klaus says:

    Einfach mal auf das Wort robots.txt im letzten Satz klicken. Hier nochmals der Verweis:
    http://www.webmasterworld.com/robots.txt

Eine Nachricht hinterlassen