Suchmaschinen im Internet. Geschichte, Arten und Aufbau

Inhaltsverzeichnis

Abkürzungsverzeichnis

Einleitung

1. Zeitliche Entwicklung der Suchmaschinen

2. Marktanteile

3. Arten von Suchmaschinen
3.1. Algorithmische Suchmaschinen
3.1.1. Indexsuchmaschine
3.1.2. Metasuchmaschinen
3.2. Manuelle Suchmaschinen
3.2.1. Webkataloge
3.2.2. Soziale Suchmaschine

4. Aufbau von Suchmaschinen
4.1. Web-Robot-System
4.2. Information Retrieval System
4.3. Query Prozessor

5. Aufbau von Ergebnisseiten

Literaturverzeichnis (inklusive weiterführender Literatur)

Abkürzungsverzeichnis

Abbildung in dieser Leseprobe nicht enthalten

Einleitung

Die Informationsvielfalt des Internets ist unermesslich und wäre ohne Suchmaschinen kaum mehr zu beherrschen. Sie bieten eine einfache Möglichkeit, die gewünschten Informationen abzurufen, und ersetzen damit die Gelehrten, Bibliothekare oder Auskunfsbüros von früher.

Doch was hat es mit diesen Suchmaschinen eigentlich auf sich? Die folgende Arbeit soll einen Überblick über die Geschichte und Funktionsweise von Suchmaschinen geben und damit zeigen, wie wichtig Suchmaschinen im täglichen Leben geworden sind. Daher werden zunächst die geschichtliche Entwicklung des Suchmaschinenmarktes und daran anschließend die aktuelle Situation betrachtet.

1. Zeitliche Entwicklung der Suchmaschinen

Die heutige Situation im Suchmaschinenmarkt lässt sich durch die folgenden chronologischen Ereignisse erklären, hierbei werden nur die wichtigsten Suchmaschinen und Ereignisse betrachtet.

1990

Der erste Suchdienst des Internets ist Archie, der von Alan Emtage 1990 an der McGill Universität in Montreal entwickelte wurde. Archie besteht aus einigen Skripts, die nachts Server automatisch nach Stichworten durchsuchten.

1992

Eine weitere frühe Suchmaschine ist Veronica (Very Easy Rodent-Oriented Network Index to Computerized Archives), die 1992 von Steven Foster und Fred Barrie an der Universität von Nevada entwickelt wurde. Da Gopher^[1] die Boolschen Operatoren beherrscht war es möglich diese bei Veronica zu nutzen. Veronica ist eine Suchmaschine für das Gopher Protokoll, das heute kaum noch genutzt wird^[2].

1993

Der erste Such-Roboter für das WWW (World Wide Web), der Wanderer (4W World Wide Web Wanderer), wurde von dem MIT^[3] Studenten Mathew Gray entwickelt. Da dieser nur die WWW-Server zählte, wurde er von Michael L. Maudlin durch ein Programm mit dem Namen Wandex ergänzt. Ende 1993 sollten WWW-Server Dateien in einem Standard-Format ablegen. Diese wurden von Aliweb (Archie-Like Indexing of the Web) dann automatisch gelesen und daraus ein Index erstellt. Im Dezember kamen drei weitere Suchdienste dazu. Der World Wide Web Worm und Jumpstation, die den Titel und die URL indizierten. Bei RBSE Spider wurden die Trefferlisten erstmalig nach einem Ranking-System sortiert und angezeigt.

1994

Mit WebCrawler geht eine weitere Suchmaschine online, die die Ergebnisse auch nach einem Rankingverfahren anzeigt. Michael Mauldins geht mit Lycos im Juli online, wobei hier nicht nur die Worthäufigkeit auf einer Seite, sondern auch die Nähe der Suchbegriffe untereinander ausgewertet werden. David Filo und Jerry Yang von der Stanford University gehen mit ihrer Sammlung der besten Web-Adressen mit zwei Servern online (Yahoo!).

1995

Die ersten kommerziellen Firmen gehen mit Suchmaschinen online. Zu diesen gehören Infoseek, Architext und AltaVista. AltaVista ging aus einem Forschungsprojekt des Konzerns DEC (Digital Equipment Corporation) hervor. Architext ändert im Oktober seinen Namen in excite um. WebCrawler wird an AOL verkauft.

1996

Die Inktomi Corp. wird gegründet und ihre gleichnamige Suchmaschine wird von anderen Suchmaschinen wie Hotbot als Grundlage genutzt. AOL verkauft WebCrawler an excite^[4]. Die erste deutsche Suchmaschine Flipper der TU Berlin geht online.^[5] BackRub von Larry Page beginnt mit der Indizierung des Internets.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 1 Google Startseite von 1998^[6]

1997

Larry Page und Sergej Brin ändern den Namen von BackRub in Google um und starten die Beta Phase von google.com.

1998

Die Firma Google Inc. wird in Kalifornien gegründet und Microsoft nimmt mit MSN Search den Betrieb auf, die Ergebnisse der Suchmaschine Inktomi liefert. Mit alltheweb geht eine weitere Suchmaschine ans Netz.

1999

Das technische Team von AltaVista verlässt den Konzern, nach dem Compaq DEC übernommen hat. Mit Direct Hit wird die Klickpopularität zum ersten mal von Suchmaschinen für das Ranking genutzt.

2000

Yahoo lizensiert die Suche von Google und zeigt von nun an deren Ergebnisse. Dies führt zu dem Ende ihres Webkatalogs. Die Firma Overture kauft Inktomi, AltaVista und alltheWeb und wird im gleichen Jahr von Yahoo übernommen. Mit dem Start von AdWords beendet Google den Werbefreien Suchdienst.

2004

Google Inc. geht mit großem Erfolg an die Börse. Yahoo beendet die Partnerschaft mit Google und bietet nun eine eigene Suchmaschine basierend auf Inktomi an. Die Suchmaschinen Altavista und alltheweb nutzen nun den Yahoo Suchdienst. Auch Microsoft verwendet eine eigene Suchmaschine für MSN Search im Beta Stadium.

2005

Die Betaphase von MSN Search ist zu Ende. Um besser gegen Spam vorgehen können, vereinbaren Google, Yahoo und Microsoft eine Zusammenarbeit.^[7] Die chinesische Suchmaschine Baidu wird der Öffentlichkeit vorgestellt.

2. Marktanteile

Die Suchmaschinen verwenden unterschiedliche Algorithmen für den Aufbau der SERP und daher ist es wichtig zu wissen, welche Verbreitung eine Suchmaschine national und international hat. Der Zeit- und Kostenaufwand für die Optimierung einer Website, an eine bestimmte Suchmaschine ist groß. Mit diesen Informationen lassen sich Zeit- und Kostenaufwand für die Optimierung von Websites^[8] für eine bestimmte Suchmaschine abschätzen.

Auch eine Entwicklung der Marktanteile^[9] im Laufe der Zeit (siehe Abbildung 2 und Abbildung 3)^[10] hilft, Tendenzen zu erkennen um frühzeitig eine Optimierung durchzuführen.

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 2 Suchmaschinenmarkt 2002^[11]

Google baut seine Marktdominanz stetig aus. Es erfolgt eine Steigerung des Anteils um ca. 15% innerhalb von 6 Jahren auf über 60% im US Markt^[12]. Der Trend scheint sich zu verstärken, da Google innerhalb von 7 Monaten einen Marktanteil von 4,5% dazu gewonnen hat (siehe Abbildung ).

Abbildung in dieser Leseprobe nicht enthalten

Abbildung 3 Suchmaschinenmarkt USA 2008 Vergleich Januar mit August^[13]

Alle relevanten regionalen Märkte einer Website sollten in dieser Analyse berücksichtigt werden, da sich der Suchmaschinenmarkt regional unterscheidet. Je nach Land, Region oder Sprache werden unterschiedliche Suchmaschinen genutzt. So ist die Suchmaschine Baidu^[14] für den deutschsprachigen Raum schlecht nutzbar, da sie auf Webseiten^[15] in chinesischer Sprache spezialisiert ist. Dies lässt sich durch einen Vergleich des deutschen mit dem asiatischen Markt belegen (siehe Abbildung und Abbildung ). Da von China ca. 40% der Suchanfragen und Nutzer kommen, ist der Marktanteil von Baidu dort sehr groß. NHN^[16] als koreanische Suchmaschine hat nur einen Anteil von 4,6%, da die Suchanfragen aus Korea nur ca. 6,5% des asiatischen Marktes ausmachen.

[...]

^[1] Gopher ist ein Informationsdienst, der über das Internet abgerufen werden kann.

^[2] Vgl. Koch (2007)

^[3] Massachusetts Institute of Technology

^[4] Vgl. Fortmann (2006)

^[5] Vgl. Schönfeld (1996)

^[6] Internet Archive (o.A.)

^[7] Vgl. Lewandowski (2008)

^[8] Unter Website werden alle Dokumente einer Domain verstanden.

^[9] Es werden nur die Statistiken von ComScore ausgewertet, da diese ein Panel von über 2 Million User haben und die Abweichungen zu z.B. Nielsen-Netratings (www.nielsen-netratings.com) gering ist (Google USA 08/2008 ComScore 63% zu Nielsen-Netratings 60%)

^[10] Bei allen Auswertungen aus 2008 sind die Sites einer Firma (z.B. Google) zusammengefasst

^[11] In Anlehnung an: onestat.com (2008b)

^[12] 2002 war das Internet in den USA am stärksten vertreten und so lassen sich die Daten von 2002 am besten mit dem US Markt von heute vergleichen.

^[13] In Anlehnung an: Lipsman (2008a) & (2008b)

^[14] www.baidu.com

^[15] Unter Webseite wird ein einzelnes Dokument einer Website verstanden.

^[16] www.naver.com ist die Suchmaschine von NHN