Der Anspruch an moderne Dateisysteme wächst immer weiter. Diese müssen immer größere Datenmengen in kürzerer Zeit verarbeiten können. Die Server haben jedoch einen beschränkten Durchsatz und eine beschränkte Kapazität. Lustre will dieses Flaschenhalsproblem, dass sich die Übertragung an einem Server staut, dadurch vermeiden, dass die Daten über mehrere Server verteilt werden. So kann der Durchsatz, also die übertragene Datenmenge in einer bestimmten Zeit deutlich erhöht werden. Wie Lustre dies genau umsetzt, wird im Folgenden erläutert.
Inhaltsverzeichnis
1. Einleitung
1.1 Motivation
1.1 Das Projekt Lustre
2. Architektur
2.1 Clients
2.2 Management Server / Management Target
2.3 Metadata Server / Metadata Target
2.4 Object Storage Server / Object storage Target
2.5 Object Storage Devices
2.6 Lustre Networking (LNET)
2.7 Konfiguration
3. Funktionen
3.1 Failover
3.2 Striping
4. Verwendung
5. Aktuelle Forschung
6. Fazit
Zielsetzung & Themen
Die vorliegende Arbeit untersucht das parallele, verteilte Dateisystem Lustre, dessen Architektur und Funktionsweise, um zu erläutern, wie es die Anforderungen an hohe Skalierbarkeit, Kapazität und Performance in Cluster-Computing-Umgebungen erfüllt.
- Grundlagen und Entstehungsgeschichte des Projekts Lustre
- Architektonischer Aufbau aus Clients, Servern und Speichertargets
- Funktionsweise der Failover-Mechanismen zur Hochverfügbarkeit
- Techniken des Stripings für parallelen Datenzugriff
- Einsatzgebiete im Bereich der Supercomputer und aktuelle Forschungstrends
Auszug aus dem Buch
2.4 OBJECT STORAGE SERVER / OBJECT STORAGE TARGET
Der Object Storage Service (OSS) verwaltet die gespeicherten Dateien. Diese werden auf den Object Storage Targets (OST) gespeichert. Des Weiteren ist der Object Storage Service für I/O-Operationen, also für den lesenden oder schreibenden Zugriff zuständig. Untereinander agieren die Object Storage Server passiv, da die Verteilung der Dateien von den Metadata Services übernommen wird. Dateien werden in Stripes aufgeteilt und auf mehrere Objekte verteilt, dadurch muss eine Datei nicht unbedingt auf einem einzigen Server liegen. Die Kapazität des Netzwerkes lässt sich leicht durch Hinzufügen von Object Storage Targets erhöhen, wodurch die einfache Skalierbarkeit der Lustre Netzwerke realisiert wird. Die Kapazität des Netzwerkes wird durch die Summe der Kapazitäten der einzelnen Object Storage Targets bestimmt. Diese sollten möglichst gleichmäßig auf die Object Storage Server verteilt werden, um eine maximale Performance zu ermöglichen.
Zusammenfassung der Kapitel
1. Einleitung: Einführung in das Dateisystem Lustre als parallele, verteilte Lösung für Linux-Cluster und Erläuterung der Motivation zur Überwindung von Flaschenhälsen bei der Datenübertragung.
2. Architektur: Detaillierte Beschreibung der Systemkomponenten wie Clients, Management-, Metadata- und Object Storage-Server sowie deren Vernetzung und Konfiguration.
3. Funktionen: Erläuterung der zentralen Mechanismen zur Sicherstellung hoher Verfügbarkeit durch Failover sowie der Steigerung der Performance und Kapazität durch Striping.
4. Verwendung: Darstellung des Einsatzes von Lustre in Supercomputer-Umgebungen aufgrund seiner hohen Skalierbarkeit und parallelen Effizienz.
5. Aktuelle Forschung: Überblick über die kontinuierliche Weiterentwicklung des Open-Source-Projekts durch diverse Gruppen und aktuelle Forschungsansätze wie die Dateikomprimierung.
6. Fazit: Zusammenfassende Bewertung der Zukunftsaussichten von Lustre basierend auf seiner Architektur, Verfügbarkeit und Performance.
Schlüsselwörter
Lustre, Dateisystem, Linux, Cluster-Computing, Skalierbarkeit, Hochverfügbarkeit, Failover, Striping, Object Storage, Parallelität, Supercomputer, Open Source, I/O-Operationen, Metadata, LNET
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit bietet eine umfassende Einführung in das Dateisystem Lustre, ein paralleles und verteiltes System für den Einsatz in leistungsstarken Computing-Clustern.
Was sind die zentralen Themenfelder?
Zu den Kernbereichen gehören der architektonische Aufbau des Systems, die Methoden zur Hochverfügbarkeit und Techniken wie das Striping zur Performance-Optimierung.
Was ist das primäre Ziel der Arbeit?
Das Ziel ist es, aufzuzeigen, wie Lustre durch seine verteilte Architektur und spezielle Funktionen die Skalierbarkeit und den Durchsatz bei der Datenverarbeitung massiv steigert.
Welche wissenschaftliche Methode wird verwendet?
Die Arbeit basiert auf einer fundierten Literatur- und Dokumentationsanalyse bestehender technischer Spezifikationen und Fachartikel zum Lustre-Dateisystem.
Was wird im Hauptteil behandelt?
Der Hauptteil analysiert die verschiedenen Serverrollen, die Vernetzung über LNET, Failover-Szenarien und die logische Verteilung von Daten mittels Striping.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die zentralen Begriffe sind Lustre, Hochverfügbarkeit, Skalierbarkeit, parallele Dateisysteme und Cluster-Computing.
Wie unterscheidet sich Lustre von herkömmlichen Dateisystemen?
Im Gegensatz zu konventionellen Systemen ermöglicht Lustre durch die Trennung von Metadaten und Objektdaten sowie durch Striping einen parallelen Zugriff auf Daten über mehrere Server hinweg, was die Performance signifikant erhöht.
Warum ist die Failover-Konfiguration in Lustre so bedeutend?
Failover stellt sicher, dass das System auch bei Ausfällen einzelner Server-Komponenten weiterhin operativ bleibt, was für die Zuverlässigkeit in hochverfügbaren Rechenzentren kritisch ist.
Welche Rolle spielt die Open-Source-Lizenz für die Entwicklung?
Die Lizenzierung ermöglicht es einer globalen Community aus Unternehmen und Universitäten, das System kontinuierlich zu verbessern und an neue Anforderungen anzupassen.
- Quote paper
- Jan Harder (Author), 2019, Das Dateisystem "Lustre". Architektur, Funktionen, Verwendung, aktuelle Forschung, Munich, GRIN Verlag, https://www.grin.com/document/988398
