Grin logo
en de es fr
Shop
GRIN Website
Publish your texts - enjoy our full service for authors
Go to shop › Computer Science - Software

Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks

Title: Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks

Term Paper , 2021 , 31 Pages , Grade: 1,0

Autor:in: Dennis Kraus (Author)

Computer Science - Software
Excerpt & Details   Look inside the ebook
Summary Excerpt Details

Erstellen und Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie. Im Beispiel der Studienarbeit ist mit Apache Spark und Selenium gearbeitet worden. Innerhalb der Arbeit wird der Grundsatz und die Anwendung von Big Data behandelt. Es sollen zwei Fragestellungen beantwortet werden: Ist die Richtigkeit / Qualität der Datensätze auf zwei spezifisch ausgewählten Tesla-Webseiten gegeben oder sollte bei der Auswahl der Webseiten der Fokus explizit nur auf einer dieser Webseiten liegen? Welche Distanz wird der Tesla zum 01.01.2025 zurückgelegt haben?

Um an die Informationen zur Beantwortung dieser Fragestellungen zu gelangen, müssen über einen gewissen Zeitraum die benötigten Daten erfasst und gespeichert werden. Die Erfassung kann über viele Wege erfolgen, sofern eine Programmierschnittstelle vorhanden ist (API), sollte diese genutzt werden, eine andere Möglichkeit wäre das Crawlen von Webseiten, also das Auslesen von HTML Elementen einer Webseite. Um sich einen genauen Überblick über die Anzahl der Datensätze zu verschaffen, wird eine Hochrechnung beschrieben.

Excerpt


Inhaltsverzeichnis

  • Vorstellung der Analysefragestellung
  • Aufbau und Vorgehensweise
    • Auswahl der genutzten Frameworks
    • Architekturbild
    • Datenflussbild und Beschreibung des Vorgehens
      • Datenerhebung und -speicherung in der MongoDB (Daten Crawlen)
      • Der Datenanalyseworkflow (Laden aller Daten)
      • Datenauswertung und -visualisierung
  • Durchführung
    • Datenspeicherung der Datensätze
    • Zugriff auf gespeicherte Datensätze und Analyse der Daten
      • Zugriff und laden aller Datensätze aus der Datenbank
      • Analyse der gesamten Datensätze
  • Ergebnisbetrachtung der Analyse unter Berücksichtigung der Datenanalysefragestellungen
    • Ergebnisbetrachtung
    • Kritische Würdigung des Ergebnisses
  • Zusammenfassung und Ausblick

Zielsetzung und Themenschwerpunkte

Die Projektarbeit zielt auf die Entwicklung und Durchführung einer Big Data Analyse zur Untersuchung eines spezifischen Datenanalyseproblems ab. Dabei werden moderne Frameworks zur Datenerhebung, -speicherung und -auswertung eingesetzt.

  • Big Data Management und -analyse
  • Einsatz moderner Frameworks (MongoDB, Apache Spark)
  • Datenflussbild und Beschreibung des Vorgehens
  • Datenauswertung und -visualisierung
  • Kritische Würdigung der Ergebnisse

Zusammenfassung der Kapitel

  • Vorstellung der Analysefragestellung: Dieses Kapitel führt in die Thematik von Big Data und den Herausforderungen bei der Speicherung und Verarbeitung großer Datenmengen ein. Es wird auf die Bedeutung von Big Data in der heutigen vernetzten Welt eingegangen und die 5 V's von Big Data vorgestellt.
  • Aufbau und Vorgehensweise: Dieses Kapitel beschreibt die Architektur der Big Data Anwendung und die verwendeten Frameworks (MongoDB, Apache Spark). Es geht detailliert auf die Datenflussbild und die Schritte der Datenerhebung, -speicherung, -verarbeitung und -visualisierung ein.
  • Durchführung: Dieses Kapitel beschreibt die konkrete Durchführung der Analyse. Es wird auf die Datenspeicherung in MongoDB, den Zugriff auf die Daten und die Analyse mithilfe von Apache Spark eingegangen.
  • Ergebnisbetrachtung der Analyse: Dieses Kapitel präsentiert die Ergebnisse der Analyse und untersucht diese in Bezug auf die gestellte Fragestellung. Es wird auf die kritische Würdigung der Ergebnisse eingegangen.

Schlüsselwörter

Big Data, Datenanalyse, Datenerhebung, Datenspeicherung, Datenverarbeitung, Data Mining, Apache Spark, MongoDB, Data Crawling, Visualisierung, Ergebnisbetrachtung, Kritische Würdigung

Excerpt out of 31 pages  - scroll top

Details

Title
Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks
College
Leipzig University of Applied Sciences  (Digitale Transformation)
Course
Big Data Management
Grade
1,0
Author
Dennis Kraus (Author)
Publication Year
2021
Pages
31
Catalog Number
V1314747
ISBN (PDF)
9783346791733
ISBN (Book)
9783346791740
Language
German
Tags
Programmierung Big Data Datenanalyse Apache Spark Datencrawlen Auswertung
Product Safety
GRIN Publishing GmbH
Quote paper
Dennis Kraus (Author), 2021, Auswerten von Big-Data-Datensätzen durch moderne Informationstechnologie und Untersuchung eines Datenanalyseproblems unter Verwendung moderner Frameworks, Munich, GRIN Verlag, https://www.grin.com/document/1314747
Look inside the ebook
  • Depending on your browser, you might see this message in place of the failed image.
  • https://cdn.openpublishing.com/images/brand/1/preview_popup_advertising.jpg
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
  • Depending on your browser, you might see this message in place of the failed image.
Excerpt from  31  pages
Grin logo
  • Grin.com
  • Payment & Shipping
  • Contact
  • Privacy
  • Terms
  • Imprint