Bing-Crawler sind langsam

8. January, 2010 4 Kommentare Autor:

Seit der 2. Novemberwoche 2009 ist ausschliesslich die neue Generation der Bing Crawler unterwegs, die unter dem Namen MSNBot 2.0b läuft. Offenbar sind die neuen Crawler nicht in der Lage, in jedem Fall die versprochene bessere Arbeit zu leisten.

Im Webmaster Weblog feierte MSN den neuen Bot als einen wichtigen Meilenstein. Webmaster hingegen machen eher traurige Erfahrungen. So berichtete vorgestern im Webmasterforum von Bing ein enttäuschter Webmaster, dass nach 6 Wochen lediglich die Homepage seiner neuen Präsenz gecrawlt wurde, wogegen Google und Yahoo! bereits 400 bzw. 200 Seiten erfasst haben.

Die Antwort von Bing Programm Manager Brett Yount setzt die Erwartungen der Webmaster tiefer.

Es ist in der Industrie bekannt, dass Bing Crawler ziemlich langsam sind.

Weitere Postings im Forum scheinen diese Antwort zu belegen. Da wartet jemand seit 4 Monaten, dass eine Webpräsenz in den Index kommt. Andere Webmaster sehen eine völlig Schieflage zwischen der Anzahl indexierter Seiten im Google-Index gegenüber dem Bing-Index. Meine persönlichen Erfahrungen bestätigen diesen Trend. Mehrere im Jahr 2009 in Betrieb genomme Domains verzeichnen im November und Dezember entweder einen deutlichen Schwund oder sind völlig aus dem Bing-Index herausgefallen. Die Sichtbarkeit im Google und Yahoo! Index hingegen ist gleich geblieben oder etwas gestiegen.

Das Bing Team komminiziert zahlreiche Hinweise und Regeln die breachtet werden sollten, damit Webseiten erfasst werden können.

Webmaster sollen laut Bing Webmasters FAQ beachten:

– Sicherstellen dass kein ungültiger HTML bzw. XHTML Code vorhanden ist.

Anmerkung: Suchmaschinen sind in der Regel sehr fehlertolerant bezüglich Quellcode. Das ist eine sehr faiere Methode um auch den vielen Webseiten eine Chance zu geben, denen Fehler im Code des W3C-Validators bescheinigt werden. Selbst die Bing-Homepage bekommt 12 Fehler angerechnet.

– Keine Navigationslinks verwenden, die nur per JavaSript erreichbar sind.
– Sitemap verwenden, einen Verweis in die robots.txt schreiben und den Aktualisierungszyklus auf täglich setzen.
– Sitemap in den Webmater Tools anmelden
– IP-Adressen von Bing-Crawlern nicht blockieren und Bing Crawler nicht per robots.txt ausschliessen.
– Passwortgeschützte Seiten sind für Crawler nicht erreichbar
– Falls die Haputnavigation nur auf Grafiken bzw. Bildern beruht, sollte zusätzlich eine textbasierte Navigation eingesetzt werden.
Anmerkung: Dieser Hinweis mutet sehr altertümlich an, da Suchmaschinen seit vielen Jahren Verweisen folgen können, die über Bilder bzw. Grafiken gesetzt wurden.

– Es wird auf die Verwendung einzigartige Seitentitel und Meta-Descriptions hingewiesen.
– Crawling muss ohne Cookies und Session-ID’s möglich sein
– Nutzerfreundliche URL wann immer es möglich ist. Das bedeutet, Keywords in der URL zu verwenden.
– Es sollten viele Inhalt evorhanden sein, die ausserhalb von Script-Tags angesiedelt sind.
– In den Webmaster Tools von Bing sollte geprüft werden, dass keine Fehleranzeigen auftreten.

Die Tiefe des Crawlings ist unter anderem davon abhängig wie gut die Site rankt sowie von der Architektur der Site.

Im Web:
Bing Webmaster FAQ
Bing Blog: MSNBot 1.1 is retired

Auch interessant:


Tags: Kategorie: Bing/MSN, Webmaster/SEO

4 Kommentare to “Bing-Crawler sind langsam”

  1. MSNbot 2.0b ist lahm says:

    […] Bing-Crawler sind langsam Tags: Bing, crawler, MSNbot, noindex, Speed Microsoft Bing, Suchmaschinen RSS-Feed […]

  2. Jens says:

    Kann ich nicht bestätigen. Heute ist der 11.1. und die Startseite ist bei Bing vom 9.1. gecrawlt wurden…die Frage ist, ob das langsam ist? Google und yahoo kommen tagsgleich….

  3. Mario says:

    Also ich kann nur bestätigen. Google besucht meine Seite täglich, aber Bing nur alle paar Tage.

  4. Georg says:

    Ich kann bestätigen: Anmeldung der Sitemap bei Bing Webmaster Tools vor einem Monat. Volumen: ca. 520k Seiten. Die ersten 2 Wochen ist gar nichs passiert. Nun fängt es langsam an. Aber nach 4 Wochen sind gerade einmal 150 Seiten indexiert… GBot hingegen hat bereits 90% indexiert.

    Wenn das so weiter geht, bin ich bei Bing bis zum St. Nimmerleinstag noch mit kaum Traffic dabei.

    Echt schade!