Die Verarbeitung und Analyse von großen Datenmengen wird in der heutigen Unternehmenswelt immer wichtiger. Durch Auswerten von Sensoren oder Log-Dateien lassen sich viele aufschlussreiche Informationen gewinnen, die einen enormen Wettbewerbsvorteil für Unternehmen bringen können. Gleichzeitig ist die Verarbeitung dieser Daten aber auch eine Herausforderung für die Unternehmen. Es werden neue, spezielle Technologien benötigt, da herkömmliche Technologien oft nicht mehr ausreichen, um die gewünschten Ziele zu erreichen. Unter Big Data versteht man Daten, die in großer Vielfalt, in großen Mengen und mit hoher Geschwindigkeit anfallen.
Die vorliegende Fallstudie beschäftigt sich mit dem Entwurf einer geeigneten Big-Data-Architektur für die Rotorwind GmbH und der Zuordnung von Big-Data-Tools zu den einzelnen Komponenten derselben. Zudem liegt der Fokus auf dem Erstellen eines Beispiels eines ausgewählten Tools innerhalb der Architektur und der Entwicklung eines funktionierenden Prototyps auf Basis von Docker, Kafka und Python.
Der Hauptteil gliedert sich in drei Teile. Im ersten Teil werden der Fall und die Anforderungen zur Lösung vorgestellt. Danach wird der Begriff der Big-Data-Architektur geklärt. Dabei wird der Unterschied zwischen Lambda- und Kappa-Architektur herausgearbeitet und im Detail geschildert, warum die Lambda-Architektur am besten für das Projekt geeignet ist. Im zweiten Teil wird eine geeignete Systemarchitektur vorgestellt und jedem Bestandteil der Gesamtarchitektur ein Big-Data-Werkzeug zugeordnet. Im letzten Kapitel des Hauptteils wird ein Prototyp erstellt, der die Aufgabe der Verarbeitung von Datenströmen mithilfe von Apache Kafka innerhalb der Gesamtarchitektur zeigt. Die Arbeit schließt mit einer Zusammenfassung und einem Fazit.
Inhaltsverzeichnis
- Einleitung
- Big Data
- Zielsetzung
- Aufbau der Fallstudie
- Die Wahl der richtigen Big-Data Architektur
- Die RotorWind GmbH
- Was ist eine Big-Data-Architektur?
- Die Lambda-Architektur
- Die Kappa-Architektur
- Lambda vs. Kappa, ein Vergleich
- Die Beschreibung der Architektur
- Gesamtarchitektur
- Zuordnung der Architekturbestandteile zu Big-Data-Werkzeugen
- Apache Kafka als Beispiel eines Werkzeugs in der Gesamtarchitektur
- Das Kafka Topic
- Der Kafka Producer
- Der Kafka Consumer
- Apache Zookeeper
- Schluss
- Zusammenfassung
- Fazit
Zielsetzung und Themenschwerpunkte
Die vorliegende Fallstudie untersucht die Entwicklung einer geeigneten Big-Data-Architektur für die RotorWind GmbH, ein Unternehmen, das die Überwachung von Fertigungsmaschinen und die Erstellung eines Echtzeit-Dashboards anstrebt. Die Studie zielt darauf ab, die verschiedenen Komponenten einer Big-Data-Architektur zu analysieren und ein spezifisches Tool, Apache Kafka, in die Gesamtarchitektur zu integrieren.
- Analyse der Anforderungen der RotorWind GmbH im Bereich Big Data
- Vergleich und Auswahl einer geeigneten Big-Data-Architektur (Lambda vs. Kappa)
- Entwicklung eines Prototyps zur Datenverarbeitung mit Apache Kafka
- Integration verschiedener Big-Data-Werkzeuge in die Gesamtarchitektur
- Demonstration der Funktionsweise von Apache Kafka in der Praxis
Zusammenfassung der Kapitel
Der erste Teil der Fallstudie stellt die RotorWind GmbH und deren Anforderungen an eine Big-Data-Architektur vor. Anschließend werden die Lambda- und Kappa-Architektur im Detail beschrieben und im Vergleich zueinander analysiert. Der zweite Teil beschäftigt sich mit der Gestaltung der Gesamtarchitektur und der Zuordnung von Big-Data-Werkzeugen zu den einzelnen Komponenten.
Schlüsselwörter
Die Fallstudie konzentriert sich auf die Konzepte von Big Data, Big-Data-Architekturen, insbesondere Lambda und Kappa, sowie auf die praktische Anwendung von Apache Kafka in der Datenverarbeitung. Weitere wichtige Themen sind Datenintegration, Datenanalyse, Echtzeit-Datenverarbeitung, horizontale Skalierung, Docker, Python und die Entwicklung eines funktionierenden Prototyps. Die Fallstudie bietet Einblicke in die Herausforderungen und Möglichkeiten, die mit der Implementierung von Big-Data-Technologien in einem industriellen Kontext verbunden sind.
- Arbeit zitieren
- Heribert Tellerfink (Autor:in), 2023, Planung einer Big-Data-Architektur und Entwicklung eines Prototyps für RotorWind GmbH, München, GRIN Verlag, https://www.grin.com/document/1449413
