Bing-Crawler sind langsam

Seit der 2. Novemberwoche 2009 ist ausschliesslich die neue Generation der Bing Crawler unterwegs, die unter dem Namen MSNBot 2.0b läuft. Offenbar sind die neuen Crawler nicht in der Lage, in jedem Fall die versprochene bessere Arbeit zu leisten.

Im Webmaster Weblog feierte MSN den neuen Bot als einen wichtigen Meilenstein. Webmaster hingegen machen eher traurige Erfahrungen. So berichtete vorgestern im Webmasterforum von Bing ein enttäuschter Webmaster, dass nach 6 Wochen lediglich die Homepage seiner neuen Präsenz gecrawlt wurde, wogegen Google und Yahoo! bereits 400 bzw. 200 Seiten erfasst haben.

Die Antwort von Bing Programm Manager Brett Yount setzt die Erwartungen der Webmaster tiefer.

Es ist in der Industrie bekannt, dass Bing Crawler ziemlich langsam sind.

Weitere Postings im Forum scheinen diese Antwort zu belegen. Da wartet jemand seit 4 Monaten, dass eine Webpräsenz in den Index kommt. Andere Webmaster sehen eine völlig Schieflage zwischen der Anzahl indexierter Seiten im Google-Index gegenüber dem Bing-Index. Meine persönlichen Erfahrungen bestätigen diesen Trend. Mehrere im Jahr 2009 in Betrieb genomme Domains verzeichnen im November und Dezember entweder einen deutlichen Schwund oder sind völlig aus dem Bing-Index herausgefallen. Die Sichtbarkeit im Google und Yahoo! Index hingegen ist gleich geblieben oder etwas gestiegen.

Das Bing Team komminiziert zahlreiche Hinweise und Regeln die breachtet werden sollten, damit Webseiten erfasst werden können.

Webmaster sollen laut Bing Webmasters FAQ beachten:

– Sicherstellen dass kein ungültiger HTML bzw. XHTML Code vorhanden ist.

Anmerkung: Suchmaschinen sind in der Regel sehr fehlertolerant bezüglich Quellcode. Das ist eine sehr faiere Methode um auch den vielen Webseiten eine Chance zu geben, denen Fehler im Code des W3C-Validators bescheinigt werden. Selbst die Bing-Homepage bekommt 12 Fehler angerechnet.

– Keine Navigationslinks verwenden, die nur per JavaSript erreichbar sind.
– Sitemap verwenden, einen Verweis in die robots.txt schreiben und den Aktualisierungszyklus auf täglich setzen.
– Sitemap in den Webmater Tools anmelden
– IP-Adressen von Bing-Crawlern nicht blockieren und Bing Crawler nicht per robots.txt ausschliessen.
– Passwortgeschützte Seiten sind für Crawler nicht erreichbar
– Falls die Haputnavigation nur auf Grafiken bzw. Bildern beruht, sollte zusätzlich eine textbasierte Navigation eingesetzt werden.
Anmerkung: Dieser Hinweis mutet sehr altertümlich an, da Suchmaschinen seit vielen Jahren Verweisen folgen können, die über Bilder bzw. Grafiken gesetzt wurden.

– Es wird auf die Verwendung einzigartige Seitentitel und Meta-Descriptions hingewiesen.
– Crawling muss ohne Cookies und Session-ID’s möglich sein
– Nutzerfreundliche URL wann immer es möglich ist. Das bedeutet, Keywords in der URL zu verwenden.
– Es sollten viele Inhalt evorhanden sein, die ausserhalb von Script-Tags angesiedelt sind.
– In den Webmaster Tools von Bing sollte geprüft werden, dass keine Fehleranzeigen auftreten.

Die Tiefe des Crawlings ist unter anderem davon abhängig wie gut die Site rankt sowie von der Architektur der Site.

Im Web:
Bing Webmaster FAQ
Bing Blog: MSNBot 1.1 is retired