Search Wikia bekommt einen Crawler

Search Wikia wird eine Suchmaschine, die sehr viele Menschen einbezieht um die Qualität der Ergebnisse zu gewährleisten. Trotz menschlicher Hilfe kann auf Technik zum Erfassen von Websites nicht verzichtet werden. Das verteilte Suchmaschinenprojekt Grub wird Bestandteil des Search Wikia Projektes.

Anlässlich der O’Reilly Open Source Convention (OSCON) verkündete Wikipedia Mitgründer Jimmy Wales, den Erwerb der Suchmaschine Grub vom bisherigen Betreiber LookSmart. Nach 4 Jahren ist nun die Software wieder freier Open Source Code.

Grub wurde als Open Source Suchmaschine für verteiltes Rechnen entwickelt. Nutzer installieren auf ihrem Computer die Software und lassen von der Software Webseiten erfassen. Finden sich genügend Nutzer, so kann die Suchmaschine mit minimaler eigener Technik arbeiten. Ein grosser Teil der Rechenleistung wird auf die Rechner der mitwirkenden Nutzer verlagert. Wesentlich wird sein, genügend Personen zu gewinnen, die bereit sind, die Crawler-Software auf ihrem Rechner zu installieren und zu betreiben. Andere verteilte Computerprojekte wie Seti@home oder FightAIDS@home mit humanitärem Hintergrund konnten -zigtausende oder gar hunderttausende Personen gewinnen, die freiwillig und kostenfrei ihre Rechner für diese Projekte arbeiten lassen.

Ein humanitäter Hintergrund ist für Search Wikia nicht zu erkennen. Im Gegenteil, das Wikia Projekt wird im Gegensatz zur Wikipedia kommerziellen Charakter haben, ist also gewinnorientiert. Geld zu erwitschaften ist kein Makel, nur werden sich viele Nutzer fragen, warum dafür die persönlichen Reserven einsetzen? Vielleicht gibt es zahlreiche Idealisten, die einfach eine bessere Suchmaschine haben wollen und bereits sind, sich dafür einzusetzen.

Das Zusammenspiel von Open Source Software und Wikis soll dem Projekt einen bedeutenden Schub nach vorne bringen. Auch Nutch und Lucene sind Open Source Software, die für Search Wikia genutzt wird.

Momentan wird die Grub Software für mehr Leistungsfähigkeit überarbeitet. Rund 600 Teilnehmer werden von der Grub-Statistik als “Mitglied” ausgewiesen. Allderdings waren in diesem Monat nur 2 Mitglieder aktiv. Das Projekt muss praktisch reanimiert, zu neuem Leben erweckt werden.

Siehe auch @-web Beiträge:
Search Wikia – Mehr Infos von Jimbo
Search Wikia – Eine Suchmaschine die alles radikal ändern will

Das Projekt:
Search Wikia
Verteiltes Webcrawling:
Grub’s Distributed Webcrawling Project
Pressemitteilung Wikia:
Search Wikia OSCON – Wikis from Wikia – Join the best wiki communities


Posted

in

by

Tags:

Comments

One response to “Search Wikia bekommt einen Crawler”

  1. dht Avatar
    dht

    faroo.com geht noch einen Schritt weiter: verteiltes Crawling *und* verteilte Suche.