 |
 |
|
|
|
||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
Suchmaschinen und die Datei robots.txt
|
|||||||||||||||||||||||||||||||||||||||||||||
| RICHTLINIE |
WIRKUNG |
EINSATZMÖGLICHKEITEN UND BEISPIELE |
| Disallow | Veranlasst den Crawler, die Site nicht zu indexieren - die Datei robots.txt der Site muss jedoch gecrawlt werden, um diese Anweisung zu finden. Die per Disallow gesperrten Seiten werden jedoch nicht gecrawlt. | 'No Crawl'-Seite einer Site. Diese Anweisung ist die Default-Syntax und bewahrt (einen) bestimmte(n) Pfad(e) einer Site davor, gecrawlt zu werden. Beispiele: Disallow:/ Disallow:
/*? |
| Allow | Sagt dem Crawler, welche Seiten der Site indexiert werden sollen, so dass Sie diese Anweisung in Kombination mit Disallow verwenden können. |
Wurde der Zugriff nicht durch Disallow eingeschränkt, ist er erlaubt und muss nicht separat erlaubt werden. Die Anwendung von Allow ist vor allem im Zusammenhang mit Disallow-Anweisungen nützlich, durch die große Teile einer Site mit Disallow gesperrt sind ausser eines kleinen Teils, der darin eingeschlossen ist. Beispiel: Disallow: /verzeichnis/ |
| $ Wildcard Unterstützung | Sagt dem Crawler, alles ausgehend vom Ende einer URL zu suchen - bezieht sich auf eine große Anzahl von Verzeichnissen, ohne bestimmt Seiten anzugeben. | 'No Crawl'-Dateien mit bestimmten Mustern, z. B. Dateien eines bestimmten Dateityps, der immer eine bestimmte Erweiterung hat, wie etwa pdf. Beispiel: Disallow: /*.pdf$ Disallow: /*? |
| * Asterisk-Wildcard Unterstützung | Sagt dem Crawler, dass er nach einer Sequenz von Zeichen suchen soll. | 'No Crawl'-URLs von einem bestimmten Muster, z. B. Disallow -URLs mit Session-IDs oder anderen überflüssigen Parametern. Beispiel: Disallow: /geheim*/
|
| Sitemaps Location | Sagt dem Crawler, wo er die Sitemaps finden kann. | Auf andere Orte verweisen, an denen sich Feeds befinden, die Crawlern helfen, URLs auf einer Site zu finden. Beispiel: Sitemap: http://www.meine-website.de/sitemap.xml |
Hinweis auf Sitemap
Eine beliebige Zeile der robots.txt soll nach dem Sitemap-Protokoll folgenden Verweis enthalten:
Sitemap: http://www.meine-website.de/sitemap.xml
Der Verweis muss als vollständige URL geschrieben werden. Der Speicherort für die Sitemap kann beliebig in einem für Suchmaschinen zugänglichen Verzechnis gewählt werden. Websitebetreiber, die mehrere Domains betreiben, können die Sitemaps auf einer Domain ablegen und von den anderen Domains auf die jeweilige Sitemap verweisen.
Verzögerung für Crawler
Wird ein Webserver zu heftig gecrawlt, kann eine Zeit angegeben werden, die zwischen den Seitenabrufen einzuhalten ist. Nachfolgende Anweisung gilt für den Yahoo! Crawler Slurp und gibt eine Wartezeit zwischen den Seitenabrufen von 20 Sekunden an.
User-agent: Slurp
Crawl-delay: 20
Für den MSNBot ist es ebenfalls möglich, eine Verzögerung anzugeben. Z.B:
User-agent: MSNBot
Crawl-delay: 120
Eine Verzögerung für den GoogleBot kann in den Webmastertools angeben werden. Der GoogleBot selbst erklärt in einem Interview:
"Es geht für Webmaster normalerweise nach hinten los, wenn sie versuchen, die Crawl-Rate durch die Änderung der robots.txt-Datei zu kontrollieren.
Kommentare:
Zusätzlich können Kommentare in der Datei untergebracht werden.
#Das ist ein Kommentar!
Der Kommentar beginnt immer mit dem Raute-Zeichen:#
Was danach folgt, ist Ihrem guten Geschmack überlassen.
Syntax Checker
Möchten Sie nun wissen, ob sie alles richtig gemacht haben, lassen Sie
Ihre fertige Datei auf korrekte Schreibweise überprüfen:
robots.txt
syntax checker
Verbindlichkeit
Die Informationen in der robots.txt sind nur Empfehlungen, kein Spider wird
gezwungen, sich daran zu halten. Die Erfahrung zeigt, grosse, wichtige Suchdienste
haben ihre Spider entsprechend dem offenen Robots-Exclusion Protokoll programmiert.
Das heisst, sie beachten die Datei robots.txt und die Anweisungen für Robots.
Wie finden Spider die robots.txt?
Besucht ein Spider eine Domain, sucht er direkt und nur dort unter der Hauptdomain.
Beispiel: http://www.meinedomain.com/robots.txt
Nur wenn die Datei im Hauptverzeichnis der Domain liegt, wird sie von den Spidern
gefunden! Es macht keinen Sinn separate Dateien für Unterverzeichnisse zu
erstellen, die werden nicht gelesen.
Zusätzliche Anweisungen für einzelne Dateien lassen sich über den
robots Meta-Tag realisieren.
Mythen und Legenden
Immer wieder kursieren Mythen, falsche Vorstellungen über die Verwendung
der Datei robots.txt.
Kenner werden mit dem Kopf schütteln, doch es gibt genügend Informationsbedarf.
Schlüsselworte in der robots.txt ?
Es ist völlig unsinnig, in die robots.txt zahlreiche Schlüsselworte
zu schreiben.
Mehr Infos hier: robots.txt für Suchmaschinen optimieren
Meta-Tags in der robots.txt ?
Nein. Diese Datei ist eine reine Textdatei, HTML-Anweisungen werden dort nicht interpretiert.
Kommentare in der robots.txt ?
Ja, Kommentare sind möglich und weiter oben beschrieben.
Höheres Ranking durch Einsatz der robots.txt ?
Werden genügend externe Verweise gesetzt, hilft das dem Ranking der robots.txt. Diese kann jedoch ihre Stärke nicht an andere Seiten weitergeben, weil keine Hyperlinks in der Datei möglich sind.
Indirekt könnte sich jedoch das Ausschliessen von Teilen der Website, die
zum Haupthema nicht relevant sind (etwa Testbereiche), positiv auf das gesamte
Ranking auswirken.
Risiken und Nebenwirkungen
Die Datei ist nicht geeignet, Webseiten oder Verzeichnisse eines Server zu
schützen.
Im Gegenteil, Besucher können die robots.txt jeder beliebigen Domain aufrufen
um zu sehen, welche Bereiche nicht für die Öffentlichkeit bestimmt sind.
Sollten diese dann nicht geschützt sein, stehen Tore offen, die eigentlich
niemand finden sollte. Richtigen Schutz vor dem Zugriff durch Crawler bieten passwortgeschützte
Bereiche.
Ob eine Domain eine robots.txt benutzt und welchen Inhalt diese hat, erfahren
Sie durch Eingabe von http://www.meinedomain.com/robots.txt wobei Sie für
meinedomain.com den Namen der tatsächlichen Domain einsetzen.
Mehr Infos zu Robots und Crawler einschliesslich einer Liste aktiver Spider (in
englisch):
The Web Robots
Page
|
||||||||||||||||||||||
Das @-web Verzeichnis der wichtigsten Suchmaschinen mit URL zum Anmelden neuer Webseiten.
Webverzeichnisse und Metasucher:
Suchmaschinenverzeichnis
26.11.2001
Letzte Änderung: 12.06.2008
Seitenbeginn
© copyright @-web 1999-2010
Impressum
@-web