Grin logo
en de es fr
Shop
GRIN Website
Texte veröffentlichen, Rundum-Service genießen
Zur Shop-Startseite › Informatik - Künstliche Intelligenz

Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik

Titel: Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik

Bachelorarbeit , 2024 , 75 Seiten , Note: 1,7

Autor:in: Anonym (Autor:in)

Informatik - Künstliche Intelligenz
Leseprobe & Details   Blick ins Buch
Zusammenfassung Leseprobe Details

Das Ziel dieser Arbeit ist es, die Potentiale und Grenzen von Transformer-Modellen in der Verfahrenstechnik aufzuzeigen. Dies soll durch eine systematische Analyse und Bewertung der Modelle erreicht werden, einschließlich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Überprüfung der Ergebnisse mit Hilfe anderen Modellen und fachlichen Referenzen. Durch eine systematische Analyse und Bewertung der Modelle, einschließlich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Verifizierung der Ergebnisse durch Vergleiche mit anderen Modellen und Expertisen, sollen praxisnahe Empfehlungen für den Einsatz dieser Technologien abgeleitet werden. Diese Empfehlungen sollen nicht nur die Stärken der Transformer-Modelle hervorheben, sondern auch konkrete Ansätze zur Überwindung der identifizierten Grenzen aufweisen.

Die rasante Entwicklung der Künstlichen Intelligenz (KI), insbesondere im Bereich der Natural Language Processing (NLP)-Technologien, hat die Art und Weise, wie wir Informationen verarbeiten, verstehen und generieren, grundlegend verändert. Im Mittelpunkt dieser Fortschritte stehen große Sprachmodelle (Large Language Models, LLMs), die auf tiefen neuronalen Netzen basieren und häufig mit Hilfe von Transformatorarchitekturen entwickelt werden. Mit Hunderten von Millionen bis zu Milliarden von Parametern, die mit großen Mengen von Textdaten vortrainiert wurden, haben LLMs wie GPT-4 und LLaMA beeindruckende Fähigkeiten bei der Generierung menschenähnlicher Texte gezeigt. Diese Modelle sind in der Lage, komplexe semantische und kontextuelle Informationen zu verarbeiten, was sie zu wertvollen Werkzeugen in einer Vielzahl von Anwendungsbereichen macht, von der automatischen Textgenerierung bis hin zur Unterstützung von Bildungsprozessen. Die Übertragbarkeit dieser Modelle, die ihre Fähigkeit zum semantischen und kontextuellen Verständnis aus der Vorbildung erben, macht sie für den Bildungsbereich besonders relevant. LLMs bieten die Möglichkeit, wiederverwendbare und skalierbare technische Architekturen in verschiedenen Bildungsdisziplinen zu schaffen, von Mathematik über Naturwissenschaften bis hin zu Medizin und Verfahrenstechnik. Erste Implementierungen von LLMs in Bildungskontexten haben gezeigt, dass sie das Lernen verbessern können, indem sie Inhalte generieren, offene Fragen unterstützen und sozio-emotionale Unterstützung bieten.

Leseprobe


Inhaltsverzeichnis

  • Einleitung und Motivation
    • Einführung in das Thema
    • Problemstellung und Zielsetzung
    • Eingrenzung und Abgrenzung
    • Vorgehensweise und Aufbau der Arbeit
  • Theoretische Grundlagen
    • Künstliche Intelligenz
    • Neuronale Netze
    • Transformer Foundation Models
      • Transformer
      • Transformer-Gesamtarchitektur
      • Large Language Models (LLMs)
      • LLAMA: Entwicklungen in LLMs
      • Retrieval-Augmented Generation (RAG)
    • Verfahrenstechnik und Transformer Modelle
    • Kriterien für den Einsatz zu Lehr- und Beratungszwecken
  • Analyse
    • CRISP-DM Modell
      • Geschäftsverständnis (Business Understanding: Zielsetzung)
      • Datenverständnis (Data Understanding)
      • Wissensdatenbank (Data Preparation)
      • Modelling-RAG Generation
      • Evaluation
  • Kritische Würdigung
    • Bewertung auf Akkuratheit und Quellenzuordnung
      • Qualitativ
      • Quantitativ
    • Bewertung des Einflusses der Hyperparameteranpassung
      • Modellvergleich
      • Size-Vergleich: Einfluss der Modellgröße auf die Leistung
      • Strategien für zukünftige Verbesserungen und Forschung
  • Ergebnisse und Ausblick

Zielsetzung und Themenschwerpunkte

Diese Arbeit befasst sich mit der Eignung von Transformer-Modellen für den Einsatz in der Verfahrenstechnik. Das Ziel ist es, ein detailliertes Verständnis der Möglichkeiten und Grenzen von LLMs in der prozeduralen Lehre zu erlangen. Dabei stehen die Akkuratheit der Modelle und die korrekte Zuordnung von Referenzen im Vordergrund.

  • Bewertung der Eignung von Transformer-Modellen in der Verfahrenstechnik
  • Analyse der Stärken und Schwächen von LLMs hinsichtlich Akkuratheit und Quellenzuordnung
  • Evaluation des Einflusses von Hyperparametern auf die Leistung der Modelle
  • Entwicklung von Empfehlungen für die Implementierung von LLMs in der Lehre
  • Exploration des Potenzials von LLMs zur Verbesserung von Lernprozessen

Zusammenfassung der Kapitel

  • Einleitung und Motivation: Die Einleitung führt in die rasante Entwicklung von KI und NLP-Technologien ein und beleuchtet die Bedeutung von großen Sprachmodellen (LLMs). Sie hebt die potenziellen Anwendungen von LLMs im Bildungsbereich, insbesondere in der Verfahrenstechnik, hervor. Die Einleitung definiert die Problemstellung und Zielsetzung der Arbeit, die auf die Analyse der Eignung von Transformer-Modellen für die prozedurale Lehre ausgerichtet ist.
  • Theoretische Grundlagen: Dieses Kapitel stellt die theoretischen Grundlagen der Arbeit dar, indem es die Konzepte der Künstlichen Intelligenz, neuronaler Netze und Transformer-Modelle erläutert. Es beleuchtet die Funktionsweise von Transformer-Architekturen, die Entwicklung von Large Language Models (LLMs) und die Technik der Retrieval-Augmented Generation (RAG).
  • Analyse: Der Analyseteil der Arbeit konzentriert sich auf die Anwendung des CRISP-DM-Modells, um die Eignung von Transformer-Modellen in der Verfahrenstechnik zu bewerten. Es werden die verschiedenen Phasen des CRISP-DM-Modells erläutert, einschließlich des Geschäftsverständnisses, des Datenverständnisses, der Wissensdatenbank, der Modellentwicklung (RAG-Generation) und der Evaluation.
  • Kritische Würdigung: In diesem Kapitel erfolgt eine kritische Bewertung der Ergebnisse der Analyse. Es wird die Akkuratheit der Modelle und die Zuordnung von Quellen sowohl qualitativ als auch quantitativ untersucht. Darüber hinaus wird der Einfluss der Hyperparameteranpassung auf die Leistung der Modelle bewertet.

Schlüsselwörter

Die Schlüsselwörter der Arbeit umfassen: Künstliche Intelligenz, Natural Language Processing (NLP), Large Language Models (LLMs), Transformer-Modelle, Retrieval-Augmented Generation (RAG), Verfahrenstechnik, prozedurale Lehre, Akkuratheit, Quellenzuordnung, Hyperparameteranpassung, CRISP-DM-Modell, Evaluation, Bildungsbereich.

Ende der Leseprobe aus 75 Seiten  - nach oben

Details

Titel
Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik
Hochschule
Technische Universität Carolo-Wilhelmina zu Braunschweig  (Institut für Partikeltechnik)
Note
1,7
Autor
Anonym (Autor:in)
Erscheinungsjahr
2024
Seiten
75
Katalognummer
V1471582
ISBN (PDF)
9783389019719
ISBN (Buch)
9783389019726
Sprache
Deutsch
Schlagworte
Transformer Modelle KI ChatGPT Machine Learning RAG
Produktsicherheit
GRIN Publishing GmbH
Arbeit zitieren
Anonym (Autor:in), 2024, Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik, München, GRIN Verlag, https://www.grin.com/document/1471582
Blick ins Buch
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
  • Wenn Sie diese Meldung sehen, konnt das Bild nicht geladen und dargestellt werden.
Leseprobe aus  75  Seiten
Grin logo
  • Grin.com
  • Zahlung & Versand
  • Impressum
  • Datenschutz
  • AGB
  • Impressum