Microsoft kündigt eine Offensive der MSNBots an. Aus dem Winterschlaf erwacht, wird es im Frühjahr 2008 mehr Traffic von MSNBots geben. Der Index soll aktualisiert und umfassender werden. Vorsichtshalber unterrichtet Microsoft die Webmaster, wie sie allzu wilde Bots in die Schranken weisen können, damit diese nicht den Server in die Knie zwingen.
MSN unterstützt in der Datei robots.txt Angaben zur Crawler-Verzögerung (ebenso wie Yahoo!). Warnt gleichzeitig, dass die Website schlechter im Index gefunden werden könnte, wenn für die Verzögerungszeiten lange Intervalle gewählt werden. 5 Sekunden Verzögerung werden als langsames Crawlen angesehen, 10 Sekunden Verzögerung als sehr langsam.
Immerhin schafft der MSNBot bei kontinuierlichem Crawl mit 10 Sekunden Verzögerung mehr als 8000 Seiten am Tag. Die Verzögerungen dürften also nur sehr grosse Webpräsenzen bezüglich schlechterem Crawlen berühren.
Betreibern von Webservern wird empfohlen, HTTP Conditional GET und HTTP Compression zu ermöglichen um die Übertragung von Daten zu beschleunigen.
Comments
2 responses to “Achtung, die MSNBots kommen!”
Wie man die Crawl-Geschwindigkeit der MSNBots kontrolliert…
yigg_url=”;Microsoft ist anscheinend daran interessiert, die eigenen Suchmaschinenergebnisse aktueller zu gestalten. So kündigten sie an, dass es ab Frühjahr 2008 mehr Traffic der MSNBots geben würde.
Gleichzeitig wurden Webmastern d…
[…] Erhöhtes Trafficaufkommen durch MSN-Bots (23.04): Microsoft kündigt ein erhöhtes Trafficaufkommen durch MSN-Bots an. Der Index soll aktueller und größer werden. […]