Abgesehen von der im Alltag ziemlich unvorstellbaren Zahl von einer Billion URL (1 000 000 000 000) stellt sich die Frage nach deren Bedeutung. Sind alle URL relevant? Wieviele URL sollten gezählt werden?
Die Verlinkung von Webseiten gehört zu den wichtigsten Rankingfaktoren dominierender Suchmaschinen. Sobald Sie in der Lage sind, die Verlinkung zu verstehen, bekommen Sie ein sehr viel besseres Verständnis vom Ranking. Durch entsprechende Erkenntnis der Verlinkung anderer Seiten können Sie Schlussfolgerungen für die Verlinkung der eigenen Seite ziehen und versuchen deren Ranking positiv beeinflussen.
Dieser Aspekt ist der Grund, warum Google die Verlinkung von Webseiten äusserst unvollständig anzeigt. Damit schaffte Google jedoch den Anreiz, die Verlinkung welche Google bekannt ist, ausserhalb der Suchmaschine darzustellen. Zwei ambitionierte Projekte haben sich an die Aufgabe gewagt, unabhängig von Suchmaschinen, den Linkgraphen des Internets möglichst vollständig darzustellen. Mit dem wachsenden Datenbestand dieser Anbieter wird die Linkunterdrückung bei Google unbedeutender.
Sowohl Majestic SEO als auch Linkscape von SEOMoz haben nach eigenen Angaben die Marke von einer Billion URL überschritten. Diese Zahl wurde von Google bereits im Juli 2008 erreicht. Wenn nun Majestic SEO im Oktober 2009 verkündet, diese Schwelle geknackt zu haben, bleibt dabei unberücksichtigt, dass mehr als ein Jahr vergangen ist, seit Google diese Zahl verkündete. Stillstand kann man bei einem Unternehmen wie Google nicht voraussetzen. Heute bzw. bereits im Oktober 2009 würde sicherlich eine bedeutend grösssere Zahl zusammenkommen.
SEOMoz ist viel vorsichtiger in seinen Formulierungen. Man spricht lediglich von 500 Milliarden URL im Index von Linkscape. Die weiteren 500 Milliarden URL sind von minderer Qualität und werden deshalb nicht mitgezählt. Dazu gehören Seiten die mehrfach vorhanden sind und sehr, sehr viele weitere Seiten die einfach als Spam gelten. Seiten dieser Art sind ja auch für Suchmaschinen nicht von Interesse.
SEOMoz veröffentlichte einige weitere interessante Zahlen zum Linkscape-Index vom Monat Dezember 2009:
47 652 586 788 einzigartige URL
223 007 523 Subdomains
58 587 013 Root Domains
547 465 598 586 Links
Die Existenz aller URL und Links wurde verifiziert. Interessante Beobachtungen zur Lebensdauer von URL entstanden durch die Verifizierung. Bereits nach einem Monat konnten 25% aller URL nicht mehr verifiziert werden. Das passiert u.a. durch Seiten die Session-ID senden und Mehrfachinhalte. Nach 6 Monaten sind nur noch 25% aller URL verifizierbar und nach einem Jahr 20%. Das zeigt die Kurzlebigkeit vieler URL, teils aus technischen Gründen, teils bedingt durch kurzlebige Seiten von Domainsquattern und anderen, von Suchmaschinen und deren Nutzer unerwünschten Inhalten.
Majestic SEO verkündet am 4. Januar 2010 die Zahl von 1,35 Billion einzigartiger URL.
Wichtiger als die stetig steigenden Zahlen sind die Resultate, die von beiden Diensten geliefert werden.
SEOMoz liefert einen sogenannten MozRank für die Einzelseite und gesamte Domain. Zusätzlich die Anzahl eingehender Links und linkender Domains. Zahlende Mitglieder bekommen weitere Informationen: Die 3000 bedeutendsten Links. Identifizierung von Weiterleitungen per 301 und Metarefresh. Aufzeigen von unsichtbaren Links. Anzeige von Ankertexten.
Majestic SEO beginnt die Informationen mit einer umfangreichen Liste, gekennzeichnet nach Link bzw. Seite. Das Crawl-Datum zeigt, wann die Crawler von Majestic SEO die Seite zuerst besucht haben. Der AC Rank ist dem PageRank nachempfunden, verwendet jedoch 15 statt 10 Rankstufen. Zu jedem Tabellenpunkt sind Anzahl externer Verweise und verweisender Domains zu sehen. All diese Punkte sind zusammengefasst für die Domain, sowie aufgelistet für jede Einzelseite bzw. Verweis einzusehen. Wer über einen freien Account eingeloggt ist, bekommt weitere Informationen über die Art der externen Verweise; Bilder, NoFollow, Weiterleitungen, Frames, gelöscht. Links und Ankertexte werden in Reihenfolge ihrer Relevanz angezeigt, abhängig von deren Backlinks.
Derzeit ist noch der Yahoo! Site Explorer aktiv. Dieser liefert Infos über Anzahl der Seiten einer Domain und eingehende Links pro Seite und pro Domain. Es herrscht jedoch Unsicherheit ob dieses Angebot weiter bestehen bleibt, nachdem der Deal zwischen Yahoo! und Microsoft umgesetzt wird. Demnach werden die Yahoo!-Suchresultate von dewr Microsoft Suchmaschine Bing geliefert. Auf Bing und dem Vorgänger Live Search ist schon lange die Möglichkeit deaktiviert, externe Verweise zu ermitteln.
Siehe auch Beiträge:
Suchmaschine unterstützt mit eigener Technologie SEO
Google kennt eine Billion URL
Linkscape bildet Linklandschaften der Suchmaschinen nach
Im Web:
Looking Back at Linkscape’s Trillion + URLs (and Announcing our Latest Index Update)
Majestic-SEO index growth History
Comments
One response to “Welche Bedeutung haben 1 Billion URL im Internet?”
Schon krass, wa? Die Zahl der Domains!
@SEOMoz ist viel vorsichtiger in seinen Formulierungen. Man spricht lediglich von 500 Milliarden URL im Index von Linkscape. Die weiteren 500 Milliarden URL sind von minderer Qualität und werden deshalb nicht mitgezählt.
Was ich ähnlich denke – auch wenn ich da jetzt keinen genauen Überblick habe! Viel wird Doppelt sein .. vieles SPAM Domains (wenn ich alleine mal an Sites aus den USA denke). etc.
Bin jedoch gespannt – wie sich das jetzt weiterenwickelt – mit neuen Domains, insbesondere fokussiert auf die Frage: Wieviele (oder wiewenige) Domains jetzt zusätzlich an den Mann gegangen sind, nach der neuerlichen Freischaltung best. Domains dank DENIC.
Ma schauen!