Wie im Juli bereits mitgeteilt, löst der BingBot den MSNBot am 01.Oktober 2010 ab. Jetzt steht für Webmaster die Frage, ob die Webpräsenz dafür vorbereitet ist, bzw. welche Schritte notwendig sind.
Die technischen Definitionen des BingBots
wurden bereits im Juli übermittelt.
- Eintrag in den Logfiles:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm) - Neue Header-Bezeichnung:
From: bingbot(at)microsoft.com
Webmaster die dem MSNBot bisher keine Verhaltensweisen vorgeschrieben haben, müssen sich um die Änderungen nicht kümmern. Lediglich wenn es darum geht das Verhalten der BingBots zu steuern, müssen entsprechende Anweisungen in die Datei robots.txt, die Datei .htaccess, den Datei-Header oder direkt in den Head-Bereich einzelner Webseiten mit dem Meta-Tag robots (noindex, nofollow) geschrieben werden.
Beeinflussung des Crawl-Verhalten
bedeutet beispielsweise:
- Keinen Zugriff auf die gesamte Webpräsenz
- Keinen Zugriff auf ausgewählte Seiten, Dateien oder Verzechnisse
- Crawl Delay – Geschwindigkeit des Zugriffs auf Dateien regeln
Weitere Infos zur Beinflussung des Crawl-Verhaltens finden Sie in der Erläuterung zur Datei robots.txt.
Anweisungen in der robots.txt für den MSNBot werden auch nach dem 1. Oktober ausgeführt. Die optimalste Variante ist sicher, einige Zeit gleichlautende Anweisungen für MSNBot und BingBot parallel laufen zu lassen. Microsoft versichert jedoch beide Angaben zu berücksichtigen. Anweisungen per .htaccess, die bisher dem MSNBot gewidmet waren, müssen ab 1.Oktober für den BingBot formuliert werden.
Anweisungen für den Yahoo!-Crawler Slurp
Basierend auf der 10-jährigen Suchallianz zwischen Yahoo! und Microsoft werden jetzt bereits in den USA und Kanada (nur englisch) Bing-Treffer in den Ergebnislisten von Yahoo! angezeigt. Für das Jahr 2011 ist dieser Übergang für alle anderen Ländern geplant, die von Bing bedient werden.
Anweisungen für den Yahoo!-Crawler Slurp haben nach dem Übergang keine Auswirkungen mehr auf die Listung in der Ergebnisliste von Yahoo! Wurde beispielsweise der Yahoo! Crawler Slurp geblockt, MSNBot aber nicht, so gilt es zu überlegen, ob nun BingBot blockiert werden soll.
Auch nach dem Übergang werden die Slurp-Crawler aktiv bleiben. Shashi Seth, Senior Vizepräsident für Yahoo!-Suchprodukte erklärt,
Yahoo! will auch zukünftig die Treffer von Bing mit Inhalten aus eigenen und anderen Quellen, wie beispielsweise Twitter und Sozialen Netzwerken, anreichern.
Shashi weiter:
Wir erhalten die Technologie, die wissenschaftlichen Arbeiten und die Infrastruktur für Crawling, Indexieren und Ranking der Daten aufrecht, und all das in Echtzeit (weniger als eine Sekunde)
IP-Adressen für BingBot
Die IP-Adressen für BingBot werden unverändert von MSNBot übernommen. Alle Masnahmen zur Beeinflussung des Crawlings, basierend auf IP-Adressen, bleiben weiterhin wirksam.
Das Bing Webmaster Team empfiehlt die Nutzung der Bing Webmaster Tools zur Steuerung des BingBots und Klärung von Crawling-Problemen.
Bing Webmaster Blog:
BingBot is coming to town
Comments
3 responses to “Vorbereitet für den BingBot?”
Bleibt nur noch zu hoffen, dass Bind und Yahoo irgendwann die Marktanteile weiter ausbauen können. Ansonsten macht da eine Optimierung leider wenig Sinn 🙁
[…] at-web.de: Vorbereitet für den BingBot? […]
Warum sollte man einen Bot auf seine Seite lassen, der falsche Angaben macht?
Browserkennung: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Aha… aber warum gibt es diese Url nicht?
Und dann gibt es ja immer noch diesen Stealthbot, der mit einer Microsoft-IP, aber als MSIE 7 kommt. Immer sofort, nachdem man einen Link bei Facebook gepostet hat.
MS bekommt auf meinen meisten Sites keinen Zutritt. der gesamte Bereich der IPs wird durch htaccess geblockt. Sobald die sich ein anständiges Verhalten zulegen, kann man sie vielleicht auch auf die Seiten lassen. Traffic kam von da eh nur in verschwindend geringen Mengen.