MSN erklärt wie die MSNBots identifiziert werden können. Meldungen von Bots oder Browsern, die in Servelogs erscheinen sind nicht besonders vertrauenswürdig. Die Einträge können leicht gefälscht werden. Die Statistiken leiden darunter.
Die Crawler von MSN melden sich z.B. mit MSNBot. Dieser String im Weblog alleine ist keine Garantie für den Besuch eines echten Bots von MSN. Deshalb gibt MSN folgende Hinweise:
Es gibt mehrere Crawler für unterschiedliche Inhalte.
MSNBot – erfasst textbasierte Inhalte für Live.com
MSNBot-Media – Bilder und alle anderen Mediendateien für images.live.com.
MSNBot-NewsBlogs – erfasst Nachrichten und Blogs. search.live.com/news
MSNBot-Products – Produkte & Shopping
products.live.com
MSNBot-Academic – Akademische Suche
academic.live.com
So erkennen Sie die echten MSN-Bots:
1. Für die Anforderung von Webseiten werden die obigen Bezeichnungen für den “User-Agent” eingesetzt. Alle MSN-Abrufe enthalten das Wort “MSNBot”.
2. Per DNS Lookup lässt sich feststellen wer hinter einer IP-Adresse steckt. Sie erhalten den Host-Namen.
3. Alle Domains der MSNBots enden mit search.live.com. Bringt die Domain-Auflösung einen anderen Host-Namen handelt es sich nicht um Crawler von MSN.
4. Mit einem sogenannten Forward DNS lässt sich feststellen, ob die IP-Adresse tatsächlich mit der Domain zusammengehört. Falls nicht die unter 2. und 3. ermittelten Daten zusammenpassen ist die IP-Adresse gefälscht.
MSN ermuntert Website-Betreiber, unechten Crawlern eine HTTP-Fehlermeldung zu senden. Missbrauch kann über dieses Kontaktformular gemeldet werden.