Mit Grub ensteht die weltweit grösste und aktuellste Suchmaschine.
Probleme hekömmlicher Suchmaschinen sollen mit Grub gelöst werden.
Das Problem
Selbst die weltgrössten Suchmaschinen erfassen nur einen relativ kleinen
Teil des Internet. Je mehr Dokumente erfasst werden, je höher wird der Aufwand,
die indexierten Dokumente durch wiederholtes crawlen aktuell zu halten. Lange
Aktualisierungszeiträume begünstigen das Vorhandensein toter Links
in
den Ergebnislisten.
Die Lösung
Im Open Source Projekt Grub wird das Indexieren des Internet auf viele 10 000
Computer aufgeteilt.
Jeder Besitzer eines Computer kann an diesem Projekt teilnehmen. Durch die Installation
einer Software lassen die freiwilligen Teilnehmer einen Crawler in einem bestimmten
Teil des Internet tätig werden.
Der Spider bringt die Daten auf die heimische Festplatte. Die Zusammenfassung
des Crawl-Vorgang sendet die Software an den zentralen Index von grub.org.
So trägt jeder der -zigtausend beteiligten Computer dazu bei, einen weltweiten
allumfassenden Index zu schaffen. Besonders Systemadministratoren und Webautoren
sind aufgefordert sich dieser Initiative anzuschliessen. Der Crawler kann die
Websites des Autor / Administrator jede Nacht aktualisieren, dann wenn der Rechner
nur sehr wenig belastet ist. Der weltumfassende Index wird somit tagesaktuell
gehalten.
Wann gecrawlt wird und welche Systemressourcen dafür zur Verfügung
stehen,
kann der Nutzer selbst bestimmen.
Der Crawl-Vorgang benötigt verhältnismässig viel Systemressourcen.
Durch die Auslagerung des Indexvorganges kann man sich bei grub.org auf die
Organisation des zentralen Index und die Beantwortung von Suchanfragen
konzentrieren.
Man rechnet bei Grub damit, dass bei einer Beteiligung von 80 000 Rechnern rund
95% des Internet abzudecken wären. Alle 95% des Internet würden jeden
2. Tag komplett neu gecrawlt. Das wäre eine bisher nie gekannte Aktualität
der Daten.
Die kommerzielle Seite des Projektes
- Das Projekt wird zunächst eine Website bereitstellen, die mit einer Suchmaske
zur Abfrage des Index ausgerüstet ist. Dieser Dienst ist für Benutzer
kostenlos.
- Statusinformationen über URL's sollen andere Suchmaschinenbenutzer gegen
Bezahlung nutzen können.
- Der Grub-Index wird ähnlich dem Inktomi-Dastenbestand anderen Portal und
Suchmaschinenbetreibern zur kostenpflichtigen Nutzung angeboten.
- Die Grub-Software wird Firmen zur Nutzung eines eigenen P2P-Netzwerk angeboten.
Wer kann mitmachen ?
Jeder, der über einen funktionsfähigen Computer verfügt. Zunächst
gibt es die Grub-Clients nur für Linux (Unix). Eine Windows-Version wird
in einigen Monaten erscheinen.
Risiken für das Projekt
So interessant und überzeugend das Konzept klingt, über wichtige Einzelheiten
gibt es keine Informationen.
Die Entwickler planen die Datenbank auf viele Rechner zu verteilen, geben aber
zu, mit derartigen Systemen jedoch keine Erfahrungen zu haben.
Konkurrenz für Google ?
Ein möglichst grosser Datenbestand ist wichtig, um gute Suchergebnisse zu
liefern.
Nur eine ausgereifte Such- und Rankingsoftware macht die in der Datenbank liegenden
Informationen wirklich wertvoll. Wichtig für eine Suchmaschine sind ausgeklügelte
Rankingkriterien, die wirklich relevante Ergebnisse liefern. Sollte Grub keine
geeigneten Algorhitmen entwickeln, muss sich Google nicht fürchten.
Der umfassende, aktuelle Index könnte jedoch zu einer willkommene Ergänzung
für Suchmaschinenbetreiber werden.
Voraussetzung ist zunächst, dass wirklich genügend Freiwillige gefunden
werden, die auf Dauer dem Projekt beitreten.
Wieviel Nutzer lassen sich mobilisieren ?
Da die Anzahl der Projekte mit verteiltem Rechnen immer mehr steigt, wird es
zukünftig
immer schwieriger werden, genügend Freiwillige zu mobilisieren.
Das bekanntes Projekt ist SETI@home,
die Suche nach ausserirdischem Leben (SETI = Search for Extraterrestrial Intelligence).
Nachfolgend seien nur zwei weitere Projekte des verteilten Rechnens auf P2P-Basis
genannt:
- Projekt der Welt-Gesundheitsorganisation (WHO)zur Erhöhung der Effektivität
des Grippeschutz-Impfstoff: Influenza
- Problemlösung zur Entsorgung radioaktiver Stoffe: Gamma Flux
Ein Starttermin für die offizielle Nutzung von Grub steht noch nicht fest.
Der hängt unter anderem davon ab, wieviel Teilnehmer sich für das Vorhaben
gewinnen lassen.
Ergänzender Hinweis (18.03.2003): Im Januar 2003 wurde Grub Inc. von LookSmart gekauft.
LookSmart
verspricht sich eine kostengünstige Lösung für einen aktuelleren
Index der ebenfalls
zu LookSmart gehörenden Suchmaschine WiseNut.
Das @-web Verzeichnis der wichtigsten Suchmaschinen mit URL zum Anmelden neuer
Webseiten.
Webverzeichnisse und Metasucher: Suchmaschinenverzeichnis
17.05.2001
Letzte Änderung: 18.03.2003
Seitenbeginn
