Yahoo! arbeitet mit neuem Crawler
Yahoo! Slurp 3.0 ist die neueste Crawler-Version der Yahoo!-Suchmaschine. Was ändert sich für Webmaster, müssen Änderungen in der Datei robots.txt vorgenommen werden?
Die Crawler-Software wird in mehreren Phasen über die kommenden Wochen in den aktiven Status versetzt.
Die Heimatdomain bleibt crawl.yahoo.net, der IP-Adressbereich wird sich ändern und einen geringeren Umfang haben. Die Identifizierung zur Echtheit der Crawler sollte per Reverse Lookup und Forward DNS geschehen. Der neue User-Agent heisst nun Yahoo! Slurp/3.0.
Einträge in robots.txt die Slurp oder Yahoo! Slurp als User-Agent nennen, benötigen keine Änderungen. Slurp/2.0 wird hingegen nicht mehr funktionieren. Zukunftsicher soll die einfache Bezeichnung
Slurp
für den Crawler sein.
Andere Yahoo! Crawler wie Yahoo! Slurp China sind nicht von der Änderung betroffen.
Ähnlicher Beitrag: Yahoo! Crawler und Index aktualisiert
