Ab 1. Oktober 2010 werden die Crawler von Microsoft dem Namen der Suchmaschine entsprechend, mit der Bezeichnung BingBot erscheinen. Welche Änderungen ergeben sich für Webmaster?
In den Logfiles der Serverlogs wird der Besuch von Microsoft Crawlern folgenden Eintrag hinterlassen:
Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)
Änderungen an bestehenden robots.txt Dateien sind nicht zwingend notwendig. Einträge, welche dem MSNBot gewidmet sind, werden weiterhin akzeptiert. Lediglich falls Einträge für beide Bots, oder für alle Bots und zusätzlich für BingBots vorhanden sind, werden die Anweisungen für die BingBots bevorzugt.
Ändern wird sich zudem die Bezeichnung im From-Feld des HTTP-Headers.
From: bingbot(at)microsoft.com
löst die bisherige Bezeichnung
From: msnbot(at)microsoft.com
ab.
Mit der Namensänderung zum 1.Oktober erklärt Microsoft gleichzeitg das Beta-Stadium des derzeitigen
msnbot 2.0b
für beendet.
Bing Search Blog:
Bing Crawler: Bingbot On The Horizon