Formelsammlung Informationstheorie. Aus dem Inhalt: Informationstheorie, Informationsbegriff, Wahrscheinlichkeiten, Informationsquellen, Informationsübertragung, Codierung von Informationen, (...).
Inhaltsverzeichnis
1 Informationsbegriff
1.1 Definition
1.2 Informationsbegriff nach Shannon
2 Wahrscheinlichkeiten
2.1 Unabhängige Wahrscheinlichkeit
2.2 Bedingte Wahrscheinlichkeit
3 Informationsquellen
3.1 Definition
3.2 Quellen ohne Gedächtnis
3.3 Quellen mit Gedächtnis (Markow-Quellen)
3.4 Verbundquellen
3.5 Verbundquellen mit abhängigen Ereignissen
3.6 Beispiel
4 Informationsübertragung
4.1 Grundmodell
5 Informationsmaße
5.1 Summe aller Wahrscheinlichkeiten
5.2 Informationsgehalt
5.3 Entscheidungsgehalt
5.4 Mittlerer Informationsgehalt und Entropie
5.5 Entropie einer Verbundquelle
5.6 Entropie einer Verbundquelle mit abhängigen Ereignissen
5.7 Entropieredundanz
5.8 Symmetrisch gestörter Binärkanal
5.9 Beispiel Entropien
6 Codierung von Informationen
6.1 Definition
6.2 Informationsfluss
6.3 Kanalkapazität
6.4 Signalkodierung
Zielsetzung und thematische Schwerpunkte
Das Ziel der Arbeit ist die Vermittlung der theoretischen Grundlagen der Informationstheorie, wobei der Fokus auf dem statistischen Aspekt der Information und deren quantitativer Messbarkeit liegt. Es wird untersucht, wie Unsicherheit durch Information reduziert werden kann und wie sich Nachrichtensysteme mathematisch beschreiben lassen.
- Grundlagen der Wahrscheinlichkeitsrechnung im informationstheoretischen Kontext
- Modellierung von Informationsquellen und deren Entropie
- Analyse der Informationsübertragung über Kanäle sowie deren Störung
- Berechnung von Informationsgehalt, Entscheidungsgehalt und Redundanz
- Anwendung des Abtasttheorems zur Signalkodierung
Auszug aus dem Buch
1.2 Informationsbegriff nach Shannon
Information ist die Beseitigung von Unwissenheit. Etwas vorher nicht Bekanntes wird nach der Zuführung von Information bekannt.
Zusammenfassung der Kapitel
1 Informationsbegriff: Einführung in die informationstheoretische Sichtweise, bei der Information als statistische Größe losgelöst von ihrer Bedeutung betrachtet wird.
2 Wahrscheinlichkeiten: Erläuterung der für die Informationstheorie essenziellen Konzepte der unabhängigen und bedingten Wahrscheinlichkeit.
3 Informationsquellen: Definition und Kategorisierung verschiedener Quellentypen, inklusive Markow-Quellen und Verbundquellen.
4 Informationsübertragung: Darstellung des Grundmodells für die Übertragung von Nachrichten von einer Quelle über einen Sender zu einer Senke.
5 Informationsmaße: Mathematische Herleitung von Informationsgehalt, Entropie und Redundanz sowie deren Anwendung auf gestörte Kanäle.
6 Codierung von Informationen: Behandlung der Abbildung von Quellalphabeten auf Codealphabete sowie die Berechnung des Informationsflusses und der Kanalkapazität.
Schlüsselwörter
Informationstheorie, Shannon, Wahrscheinlichkeit, Entropie, Informationsgehalt, Nachrichtenquelle, Markow-Quelle, Verbundquelle, Kanalkapazität, Redundanz, Signalkodierung, Binärkanal, Bitfehlerwahrscheinlichkeit, Abtasttheorem, Transinformation
Häufig gestellte Fragen
Worum geht es in dieser Arbeit grundsätzlich?
Die Arbeit behandelt die mathematischen Grundlagen der Informationstheorie nach Claude Shannon, insbesondere die statistische Messung von Information und deren Übertragung.
Was sind die zentralen Themenfelder?
Die Schwerpunkte liegen auf Wahrscheinlichkeitsmodellen, der Entropie als Maß für den Informationsgehalt, der Kapazität von Übertragungskanälen und den Prinzipien der Signalkodierung.
Was ist das primäre Ziel der Untersuchung?
Das primäre Ziel ist es, ein Verständnis dafür zu schaffen, wie Information quantitativ bestimmt wird und welche Faktoren die Übertragungsqualität und Effizienz beeinflussen.
Welche wissenschaftliche Methode wird verwendet?
Es wird eine mathematisch-analytische Methode verwendet, um durch statistische Herleitungen und Matrixdarstellungen informationstheoretische Größen zu definieren.
Was wird im Hauptteil der Arbeit behandelt?
Der Hauptteil widmet sich der systematischen Herleitung von Informationsmaßen, der Analyse von Nachrichtenquellen sowie der Untersuchung von Signalübertragungsprozessen inklusive der Kanalkapazität.
Welche Schlüsselwörter charakterisieren die Arbeit?
Die Arbeit wird primär durch Begriffe wie Informationstheorie, Entropie, Wahrscheinlichkeit, Kanalkapazität und Redundanz charakterisiert.
Was unterscheidet Quellen mit Gedächtnis von solchen ohne?
Quellen ohne Gedächtnis zeichnen sich durch unabhängige Ereignisse aus, während bei Markow-Quellen (Quellen mit Gedächtnis) das Auftreten eines Symbols von vorherigen Zuständen abhängt.
Wie lässt sich die Redundanz eines Systems bestimmen?
Die Redundanz ergibt sich aus der Differenz zwischen der maximalen Entropie (Entscheidungsgehalt) und der tatsächlich vorliegenden Entropie der Quelle.
Welche Rolle spielt das Shannon-Abtasttheorem in diesem Kontext?
Das Theorem definiert die notwendige Abtastfrequenz für analoge Signale, um eine fehlerfreie Rekonstruktion bei der digitalen Signalübertragung zu ermöglichen.
Was beschreibt die Transinformation?
Die Transinformation gibt an, welcher Anteil der empfangenen Information tatsächlich von der Quelle stammt und erfolgreich über den Kanal übertragen wurde.
- Quote paper
- Dipl.-Ing. (FH), Dipl-Inform. (FH) Patrick Schimmel (Author), 2011, Formelsammlung Informationstheorie, Munich, GRIN Verlag, https://www.grin.com/document/279533
