Erstellen und Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie. Im Beispiel der Studienarbeit ist mit Apache Spark und Selenium gearbeitet worden. Innerhalb der Arbeit wird der Grundsatz und die Anwendung von Big Data behandelt. Es sollen zwei Fragestellungen beantwortet werden: Ist die Richtigkeit / Qualität der Datensätze auf zwei spezifisch ausgewählten Tesla-Webseiten gegeben oder sollte bei der Auswahl der Webseiten der Fokus explizit nur auf einer dieser Webseiten liegen? Welche Distanz wird der Tesla zum 01.01.2025 zurückgelegt haben?
Um an die Informationen zur Beantwortung dieser Fragestellungen zu gelangen, müssen über einen gewissen Zeitraum die benötigten Daten erfasst und gespeichert werden. Die Erfassung kann über viele Wege erfolgen, sofern eine Programmierschnittstelle vorhanden ist (API), sollte diese genutzt werden, eine andere Möglichkeit wäre das Crawlen von Webseiten, also das Auslesen von HTML Elementen einer Webseite. Um sich einen genauen Überblick über die Anzahl der Datensätze zu verschaffen, wird eine Hochrechnung beschrieben.
Inhaltsverzeichnis
- Vorstellung der Analysefragestellung
- Aufbau und Vorgehensweise
- Auswahl der genutzten Frameworks
- Architekturbild
- Datenflussbild und Beschreibung des Vorgehens
- Datenerhebung und -speicherung in der MongoDB (Daten Crawlen)
- Der Datenanalyseworkflow (Laden aller Daten)
- Datenauswertung und -visualisierung
- Durchführung
- Datenspeicherung der Datensätze
- Zugriff auf gespeicherte Datensätze und Analyse der Daten
- Zugriff und laden aller Datensätze aus der Datenbank
- Analyse der gesamten Datensätze
- Ergebnisbetrachtung der Analyse unter Berücksichtigung der Datenanalysefragestellungen
- Ergebnisbetrachtung
- Kritische Würdigung des Ergebnisses
- Zusammenfassung und Ausblick
Zielsetzung und Themenschwerpunkte
Die Projektarbeit zielt auf die Entwicklung und Durchführung einer Big Data Analyse zur Untersuchung eines spezifischen Datenanalyseproblems ab. Dabei werden moderne Frameworks zur Datenerhebung, -speicherung und -auswertung eingesetzt.
- Big Data Management und -analyse
- Einsatz moderner Frameworks (MongoDB, Apache Spark)
- Datenflussbild und Beschreibung des Vorgehens
- Datenauswertung und -visualisierung
- Kritische Würdigung der Ergebnisse
Zusammenfassung der Kapitel
- Vorstellung der Analysefragestellung: Dieses Kapitel führt in die Thematik von Big Data und den Herausforderungen bei der Speicherung und Verarbeitung großer Datenmengen ein. Es wird auf die Bedeutung von Big Data in der heutigen vernetzten Welt eingegangen und die 5 V's von Big Data vorgestellt.
- Aufbau und Vorgehensweise: Dieses Kapitel beschreibt die Architektur der Big Data Anwendung und die verwendeten Frameworks (MongoDB, Apache Spark). Es geht detailliert auf die Datenflussbild und die Schritte der Datenerhebung, -speicherung, -verarbeitung und -visualisierung ein.
- Durchführung: Dieses Kapitel beschreibt die konkrete Durchführung der Analyse. Es wird auf die Datenspeicherung in MongoDB, den Zugriff auf die Daten und die Analyse mithilfe von Apache Spark eingegangen.
- Ergebnisbetrachtung der Analyse: Dieses Kapitel präsentiert die Ergebnisse der Analyse und untersucht diese in Bezug auf die gestellte Fragestellung. Es wird auf die kritische Würdigung der Ergebnisse eingegangen.
Schlüsselwörter
Big Data, Datenanalyse, Datenerhebung, Datenspeicherung, Datenverarbeitung, Data Mining, Apache Spark, MongoDB, Data Crawling, Visualisierung, Ergebnisbetrachtung, Kritische Würdigung
- Quote paper
- Dennis Kraus (Author), 2021, Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks, Munich, GRIN Verlag, https://www.grin.com/document/1314747
