Die Volltextsuche, welche Mitte der 70er Jahre aufkam, löste herkömmliche Suchmethoden in vielen Bereichen komplett ab. Denn mit ihr wurde es erstmals möglich, theoretisch jedes Dokument aufzufinden, das nur mindestens ein Wort der Suchanfrage enthält. So ist z.B. eine heutige Internetrecherche ohne das Verfahren der Volltextsuche undenkbar geworden. Für herkömmliche Suchverfahren wäre eine zeitaufwendige, händische Eingabe aller erforderlichen Schlüsselbegriffe, in diesem Fall jedes Wort einer Internetseite bzw. Dokuments, notwendig, um vergleichbare Resultate erzielen zu können. Wobei diese Resultate dann nur unter einem erheblichen Mehraufwand und einer längeren Suchzeit zu erreichen wären. Vergleichsweise hierzu führt die Volltextsuche, durch die Speicherung des aufbereiteten Textes und die Verwendung immer schnelleren Algorithmen, Suchanfragen effektiver und schneller durch.
Die Volltextsuche ist zwar kein klassischer Bestandteil relationaler Datenbanken, jedoch wird diese Funktionalität in heutiger Zeit in immer mehr Produkte integriert, um den Anforderungen des Benutzers gerecht zu werden. Mit dieser Funktionserweiterung der relationalen DBMS1 können Volltextsuchen direkt auf eine bestehende relationale Datenbank angewandt werden. Auf eine externe Volltextsuchmaschine und eine dadurch möglicherweise notwendig werdende doppelte Datenhaltung für beide DBMS, kann somit verzichtet werden. So bietet die Volltextsuche in relationalen DBMS eine schnelle und flexible Lösung, um linguistische Suchvorgänge zu realisieren.
Inhaltsverzeichnis
1 Einführung
1.1 Volltextsuche in relationalen DBMS
1.2 Hauptziele der Arbeit
2 Grundkonzepte
2.1 Allgemeine Arbeitsweise einer Volltextsuchmaschine
2.1.1 Analyse und Indexierung
2.1.2 Suchanfragen
2.1.3 Ergebnisdarstellung
2.2 Volltextsuche im Kontext relationaler Datenbanken am Beispiel von MySQL
2.2.1 Volltextindizes
2.2.2 Struktur der Volltextindizes
2.2.3 Architektur von MySQL
2.2.4 Der Vorgang der Volltextindizierung
2.3 Unterscheidung system-interne und system-externe Volltextsuche
2.4 Typische Merkmale der Volltextsuche von MySQL
2.5 Detail-Fragestellung im Zusammenhang dieser Arbeit
3 Umsetzung und Implementierung
3.1 Ressourcen
3.1.1 Wikipedia DB
3.2 Das Experiment-Framework
3.2.1 Idee und Anforderungen
3.2.2 Systemaufbau und Abhängigkeit
3.2.3 Interessante Implementierungsdetails
3.3 Detail-Fragestellung im Zusammenhang dieser Arbeit
4 Experimente
4.1 Versuchsaufbau
4.1.1 Spezifikationen der verwendeten Laptops
4.2 Ergebnisse
4.2.1 Indexierung und Einfügeoperation
4.2.2 Natural - Search
4.2.3 Boolean-Search
5 Zusammenfassende Bewertung und Ausblick
5.1 Bewertung der funktionalen Systemmerkmale der MySQL-Komponente
5.2 Zusammenfassung und Bewertung der Experimentergebnisse
5.3 Ausblick
6 Anhang
6.1 Anpassungen und weitere Tools
6.1.1 Einstellungen bei MySQL
6.1.2 Anpassung der Wikipedia-Datenbank
6.1.3 Wörterpool
6.2 Funktion des Programms
6.2.1 Was macht mein Programm:
6.2.2 Weitere Volltextsuche hinzufügen
6.2.3 Anpassungsmöglichkeiten der Progammparameter über das GUI:
6.2.4 Anpassungsmöglichkeiten über Quellcode:
6.2.5 Implementierte Volltextsuchen: MySQL
Zielsetzung & Themen
Das Hauptziel dieser Arbeit besteht darin, die Leistungsfähigkeit der systeminternen Volltextsuchkomponente von MySQL zu analysieren. Dabei wird eine Anwendung entwickelt, die Indizierungs- und Suchzeiten in Abhängigkeit von verschiedenen Parametern wie der Datenbankgröße und der Anzahl der Suchwörter erfasst, auswertet und grafisch darstellt, um eine fundierte Performanzbewertung zu ermöglichen.
- Analyse der Volltextsuch-Performance von MySQL
- Entwicklung eines Frameworks zur automatisierten Testdurchführung
- Vergleich von Suchzeiten bei Natural-Search und Boolean-Search
- Einfluss der Datenbankgröße auf Indizierungs- und Einfügeoperationen
- Gegenüberstellung von systeminternen und systemexternen Volltextsuchkonzepten
Auszug aus dem Buch
2.2.1 Volltextindizes
Ein Volltextindex ist ein token-basierter5 funktioneller Index (Inverted-File), der sich wesentlich von dem Erstellen anderer Indextypen unterscheidet. Statt einer Baum-Struktur, wird beim Volltextindex eine invertierte, gestapelte, komprimierte Indexstruktur basierend auf einzelnen Token aus dem zu indizierenden Text erstellt.
Der Vorgang der Erstellung und Verwaltung eines Volltextindexes wird als Indexauffüllung bezeichnet, wobei folgende Typen der Volltextindexauffüllung von MySQL unterstützt werden Fehler! Verweisquelle konnte nicht gefunden werden.:
1) Vollständige Auffüllung
Tritt in der Regel beim ersten Auffüllen eines Volltextindexes auf. Anschließend können die Indizes auch durch die beiden weiteren Auffüllungstypen gewartet werden. Wenn die vollständige Auffüllung für eine Tabelle angefordert wird, werden Indexeinträge für alle Zeilen in dieser Tabelle erstellt.
Soll der Volltextindex bei seiner Erstellung nicht aufgefüllt werden, muss dies in der CREATE FULLTEXT INDEX-Anweisung angeben werden. Der Index wird erst aufgefüllt, wenn der Benutzer den ALTER FULLTEXT INDEX-Befehl mit einer der Klauseln START FULL, INCREMENTAL oder UPDATE POPULATION ausführt [13].
2) Auffüllung mit Hilfe von Änderungsnachverfolgung
Intern werden alle Zeilen aufgezeichnet, die in einer Tabelle geändert wurden. Diese Änderungen werden an den Volltextindex weitergegeben und können dann, je nach Einstellung, automatisch oder manuell gestartet werden.
Zusammenfassung der Kapitel
1 Einführung: Erläutert die Relevanz der Volltextsuche und definiert die Ziele der Analyse der MySQL-Volltextkomponente.
2 Grundkonzepte: Beschreibt die Funktionsweise von Volltextsuchmaschinen sowie die spezifische Architektur und Indizierungsmethodik von MySQL im Vergleich zu externen Systemen wie Lucene.
3 Umsetzung und Implementierung: Dokumentiert den Aufbau des entwickelten Test-Frameworks, die verwendeten Bibliotheken und die technische Implementierung der Suchstrategien in Java.
4 Experimente: Präsentiert die durchgeführten Performance-Tests, einschließlich der Ergebnisse zu Indexierung, Einfügeoperationen, Natural-Search und Boolean-Search.
5 Zusammenfassende Bewertung und Ausblick: Bewertet die Ergebnisse der MySQL-Volltextsuche kritisch und gibt einen Ausblick auf notwendige Verbesserungen und zukünftige Erweiterungen.
6 Anhang: Enthält ergänzende Informationen zu Tools, Konfigurationseinstellungen von MySQL und spezifische Details zur Programmanpassung.
Schlüsselwörter
Volltextsuche, MySQL, Relationale Datenbanken, Inverted-File, Indexierung, Performance-Analyse, Information Retrieval, Natural-Search, Boolean-Search, Test-Framework, Datenbank-Performance, Suchalgorithmen, Java, SQL, MyISAM
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit untersucht die Performanz und Effizienz der systeminternen Volltextsuchfunktion des relationalen Datenbankmanagementsystems MySQL.
Was sind die zentralen Themenfelder der Studie?
Im Zentrum stehen die Analyse von Indexierungsmechanismen, der Einfluss von Datenmengen und Suchparametern auf die Suchzeit sowie der Vergleich von Suchmodi wie Natural-Search und Boolean-Search.
Was ist das primäre Ziel oder die Forschungsfrage?
Das Ziel ist die Analyse der Leistungsfähigkeit von MySQL bei Volltextsuchen durch die Entwicklung eines Frameworks, das Resultate in Abhängigkeit von Parametern wie Tabellengröße und Suchwortanzahl quantitativ bewertet.
Welche wissenschaftliche Methode wird für die Untersuchung verwendet?
Es wird eine experimentelle Methode eingesetzt, bei der eine Java-basierte Testumgebung verwendet wird, um die Volltextsuche von MySQL mit verschiedenen Datensätzen unter kontrollierten Bedingungen zu messen.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil befasst sich mit den theoretischen Grundkonzepten, der detaillierten Beschreibung des Test-Frameworks sowie der Durchführung und Auswertung verschiedener Performance-Experimente.
Welche Schlüsselwörter charakterisieren diese Arbeit?
Wichtige Begriffe sind Volltextsuche, MySQL, Indexierung, Performance-Analyse, Inverted-File, Information Retrieval und Java.
Welchen Einfluss hat die Tabellengröße auf die Suchperformance?
Die Arbeit zeigt, dass die Suchgeschwindigkeit bei zunehmender Dokumentenanzahl abnimmt, da MySQL den Index im Arbeitsspeicher hält und bei Überlastung des Speichers Performance-Einbußen auftreten.
Welches Ergebnis lieferte die Untersuchung zur Indexerstellung?
Die Experimente ergaben einen nahezu linearen Anstieg der Indexierungszeit bei zunehmender Anzahl von Tupeln, wobei ein nachträgliches Erstellen des Index nach dem Einfügen der Daten Zeitersparnisse gegenüber der permanenten Index-Aktualisierung bietet.
Warum ist die Wahl des Boolean-Modes relevant?
Die Arbeit demonstriert, dass verschiedene Boolean-Modi (AND, OR, MINUS) unterschiedliche Anforderungen an die Verarbeitungszeit stellen und je nach Suchanfrage zu variierenden Ergebnissen führen.
Welche Limitationen wurden bei den Versuchen festgestellt?
Aufgrund von Zeitgründen konnten die Experimente nur mit einer begrenzten Datenmenge durchgeführt werden; eine vollständige Analyse großer Wikipedia-Datensätze war für den Testrahmen zu zeitintensiv.
- Quote paper
- Rebecca Konrad (Author), 2008, Volltextsuche im Kontext relationaler Datenbanken am Beispiel einer systeminternen DBMS- Komponente von MySQL, Munich, GRIN Verlag, https://www.grin.com/document/140544
