Tag: Robots exclusion Protocol

  • Suchmaschinen – Mehr Gemeinsamkeiten für Robots-Richtlinien

    Mehr Klarheit für Webmaster bringt die jüngste Initiative der drei grossen Suchmaschinen von Yahoo!, Google und Microsoft. Gemeinsame Regeln für die Datei robots.txt und robots Meta-Tags bringen mehr Übersichtlichkeit und erleichtern die Arbeit. Nachfolgend die Details.

  • robots.txt für Suchmaschinen optimieren?

    In seinem unstillbaren Wissensdrang kennt Google offenbar keine Grenzen. Man scheut nicht den “Blick in die eigene Westentasche” zu veröffentlichen. Daten, die ausschliesslich für die Crawler von Suchmaschinen bestimmt sind, finden ihren Weg in die Ergebnisliste.