Internet Suchmaschinen ODP (DMOZ) und FAST (ALLTHEWEB)

  Fachbereich Informationswirtschaft von Evrim Sen  IW01

  Schriftliche Ausarbeitung Tel: 0221 - 933 56 62 Fax: 933 56  61

  zum Thema: Internet Suchmaschinen Email: evrim hackerland de  

  vorgelegt am  29.07.2002

  Dozent: Prof Dr Wolfgang G Stock  

Inhalt

Inhalt.....................................................................................................................................2

1.  Open Directory Project (ODP) 3  

1.1  Über ODP 3  

1.2  Datenbasis 3  

1.3  Partnerseiten 5  

1.4  Benutzeroberfläche 6  

1.4.1  Corporate Design 7  

1.5  Retrieval 8  

1.5.1  Retriavelbefehle 8  

1.5.2  Ranking 9  

1.5.3  Phrase Suche 9  

1.5.4  Truncation 9  

1.5.5  Metasuche 10  

1.5.6  Filtersuche 10  

1.5.7  Polyhierarchie 11  

1.5.8  Advanced-Search 13  

1.6  Patente 13  

2.  FAST (AllTheWeb com) 14  

2.1  Über FAST 14  

2.2  Benutzeroberfläche 14  

2.2.1  Corporate Design 15  

2.2.2  Customize 16  

2.3  Datenbasis 18  

2.4  Retrieval 19  

2.4.  1 Retrievalbefehle 19  

2.4.  2 Ranking 20  

2.4.  3 Webseiten Ergebnisseite 21  

2.4.  4 Webseiten Advanced Search 22  

2.4.  5 Pictures Ergebnisseite 23  

2.4.  6 Pictures Advance Search 25  

2.4.  7 Videos Ergebnisseite 26  

2.4.  8 Videos Advance Search 27  

2.4.  9 Musikdateien Ergebnisseite 27  

2.4.10  FTP-Ergebnisseite 28  

2.4.11  FTP Advance Search 29  

3.  Quellenverzeichnis 32  

  Literatur  32

  Links  32

  SEITE 2  32

1. Open Directory Project (ODP)

1.1 Über ODP

Das Open Directory Project beschäftigt keine bezahlten Editoren. Die Indexierung erfolgt von freiwilligen Mitarbeitern. Die Idee und der Name ist von "Open Source" hergeleitet, dessen Idee von der Linux-Community abstammt. Der finnische Student Linus Torvalds hatte Anfang der 90er Jahre sein Betriebssystem im Internet freigegeben, das sich sobald als Alternative zum Betriebssystem Microsoft Windows entwickelte. Der Erfolg von Linux ist der freiwilligen Mitarbeit von Tausenden von Programmierern zu verdanken, die das Betriebssystem mit Programmen, Systemroutinen, Treibern und Softwareprojekten unentgeltlich und frei zur Verfügung stellen. Die Hauptentwickler von Linux arbeiten mit wissenschaftlichem Eifer an dem Projekt und protokollieren ihre Fortschritte. Dieser Grundidee hat auch das Open Directory Project seinen Erfolg zu bedanken, wonach auch Editoren durch freiwillige Teilnahme das ODP-Verzeichnis täglich mit mühseliger handarbeit aktualisieren und indexieren. Auch wird jede Änderung und Aktualisierung automatisch in einem für Editoren sichtbaren Backoffice protokolliert. Die Editoren erhalten somit die Möglichkeit die Gründe ihrer Änderungen für Inhalte zu verfolgen und nachzuvollziehen. Editor kann grundsätzlich jeder werden, der sich für eine bestimmte Kategorie im Verzeichnis bewirbt und sich an die ODP-Richtlinien hält.

1.2 Datenbasis

Bei ODP handelt es sich um ein polyhierarchisches Kategorieverzeichnis. Inhalte von Webseiten werden nicht wie etwa bei Google als Volltext indexiert. Die Indexierung der Webseiten wird von freiwilligen Editoren ins Verzeichnis mit der Internetadresse (URL) und einer passenden Beschreibung zur Webseite vorgenommen. Somit bleibt gerade eine Suche nach speziellen Suchwörtern auf die im Verzeichnis dokumentierten Kurzbeschreibungen und den Namen der URLs beschränkt.

Derzeit sind 43 000 Editoren bei ODP aktiv beschäftigt, die insgesamt 2,2 Millionen Webseiten verwalten. Die Kategorien sind mit 440 000 an der Zahl sehr hoch und daher auch aufgrund der Polyhierarchie, die zudem noch in verschiedene Sprachen unterteilt ist, sehr komplex und unüberschaubar. Die Editoren haben meist in verschiedenen Bereichen freie Hand neue Klassen zu schaffen und Unterverzeichnisse mit neuen Klassen zu bereichern. Somit ist trotz vieler Regeln für Editoren ein willkürlich gestaltetes Verzeichnis unvermeidlich (Abb. 1).

Abb. 1: Backoffice für Editoren

Die Software für die Suchfunktion namens Isearch wurde in das ODP implementiert. Das Tool Isearch (ebenfalls Open Source, also frei) wird von dem Unternehmen Etymon ® entwickelt und angeboten. Weitere Veränderungen seitens ODP im Quelltext wurden nicht vorgenommen. Somit geht die Suche lediglich über die dem ISO Standard angepassten Booleschen Operatoren nicht hinaus.

1.3 Partnerseiten

Gerade Suchmaschinen mit automatischer Indexierung bieten als Zusatz auch ein Verzeichnis

an. Hier wird oft auf ODP zugegriffen, wie beispielsweise bei der bekannten Suchmaschine

Google unter dem Menü "Verzeichnis".

Google nutzt hierbei eine Schnittstelle zu ODP. Inhalte werden von ODP auf eigener Google-

Datenbank auf gewohnter Google-Oberfläche angeboten (Abb. 2).

Abb. 2: Googles Verzeichnis bei Google.de

Ähnlich machen es auch Partner wie AOL Search, AltaVista, HotBot, Lycos und Netscape Search. Aktualisierungen und Inhalte durch ODP werden jedoch durch den zeitverzögerten Datentransport erst nach zwei Wochen bis mehrere Monate bei diesen Partnern wirksam. Insgesamt hat ODP über 350 Partner ansprechen können, die die ODP-Datenbank den Nutzern auf Webseiten präsentieren. Darunter sind auch französische, italienische, niederländische, polnische, schwedische und spanische Anbieter, die Inhalte in eigener Landessprache anbieten.

Link:

http://dmoz.org/World/Deutsch/Computer/Internet/Suchen/Verzeichnisse/Open_Directory_Project/Nutzer/

Die Übernahme der ODP-Datenbank ist kostenfrei möglich, solange ein Hinweis auf das ODP erfolgt.

Link:

Deutsch: dmoz.de/Lizenz Englisch: dmoz.org/license.html

1.4 Benutzeroberfläche

ODP geht bei der Anzeige von einer Breite von maximal 800 Pixel aus und ist somit auch für Benutzer mit geringerer Bildschirmauflösung, also den einfachen Durchschnittsanwender, ansprechend. Auf der Hauptseite wird zunächst der Suchbegriff gezeigt, darunter die Topterms der ODP Datenbank (Abb. 3). ODP verzichtet insgesamt auf Werbung, Nachrichten und sonstige Features. Somit erübrigt sich eine Seitenaufteilung in verschiedene Kolumnen, wie man es aus kommerziellen Seiten kennt (z.B. Amazon.com, Yahoo.com, Web.de, NBC.com u. ä.).

Abb. 3: ODP Hauptseite auf www.dmoz.de

1.4.1 Corporate Design

Individuelle Einstellungsmöglichkeiten sind bei ODP nicht gegeben. ODP bietet keine

Benutzerverwaltung an, wie beispielsweise Yahoo mit MyYahoo. Auch ist es nicht möglich

Sicht-Einstellungen zu ändern und zu speichern, wie beispielsweise Google dieses Feature auf

der Hauptseite mit dem Link "Einstellungen" anbietet, oder FAST mit der Funktion

customize.

1.5 Retrieval

1.5.1 Retrievalbefehle

ODP biete zwei Suchmöglichkeiten an. Die einfache Suche erfolgt direkt von der Hauptseite

aus. Bei der Suchfunktion werden, unabhängig von der erweiterten oder einfachen Suche,

jeweils die gleichen Retrievalbefehle angeboten. Bei der Eingabe von zwei Begriffen wie

Zeitschrift Fernsehen

wird ein Boolescher AND-Operator automatisch hinzugefügt. Dabei erfolgt die Suche nicht

nach der Reihenfolge, sondern auch Treffer mit

Fernsehen Zeitschrift

werden angezeigt.

Weitere Boolesche Operatoren wie

and

or

andnot

werden ebenfalls unterstützt. Die Kombination mehrerer Boolescher Operatoren und

Suchphrasen sind hier gewährleistet. Für eine schnellere Suche können auch folgende Kürzel

für die Booleschen Operatoren benutzt werden:

Operator Kürzel

and +

andnot -