Formelsammlung Informationstheorie


Prüfungsvorbereitung, 2011

9 Seiten


Leseprobe

1
Inhalt
Informationstheorie ... 2
1
Informationsbegriff ... 2
1.1
Definition ... 2
1.2
Informationsbegriff nach Shannon ... 2
2
Wahrscheinlichkeiten ... 2
2.1
Unabhängige Wahrscheinlichkeit ... 2
2.2
Bedingte Wahrscheinlichkeit ... 2
3
Informationsquellen ... 2
3.1
Definition ... 2
3.2
Quellen ohne Gedächtnis ... 3
3.3
Quellen mit Gedächtnis (Markow-Quellen) ... 3
3.4
Verbundquellen ... 3
3.5
Verbundquellen mit abhängigen Ereignissen ... 3
3.6
Beispiel ... 4
4
Informationsübertragung ... 4
4.1
Grundmodell ... 4
5
Informationsmaße ... 4
5.1
Summe aller Wahrscheinlichkeiten ... 4
5.2
Informationsgehalt ... 4
5.3
Entscheidungsgehalt ... 5
5.4
Mittlerer Informationsgehalt und Entropie ... 5
5.5
Entropie einer Verbundquelle ... 5
5.6
Entropie einer Verbundquelle mit abhängigen Ereignissen ... 5
5.7
Entropieredundanz ... 6
5.8
Symmetrisch gestörter Binärkanal ... 7
5.9
Beispiel Entropien ... 7
6
Codierung von Informationen ... 8
6.1
Definition ... 8
6.2
Informationsfluss ... 8
6.3
Kanalkapazität ... 9
6.4
Signalkodierung ... 9
7
Quellen ... 9

2
Informationstheorie
1 Informationsbegriff
1.1 Definition
Die Informationstheorie beschäftigt sich allein mit dem statistischen Aspekt der Information. Die
Information wird von jeder Bedeutung losgelöst betrachtet.
1.2 Informationsbegriff nach Shannon
Information ist die Beseitigung von Unwissenheit. Etwas vorher nicht Bekanntes wird nach der
Zuführung von Information bekannt
2 Wahrscheinlichkeiten
2.1 Unabhängige Wahrscheinlichkeit
Wahrscheinlichkeit für m Zustände
m
1
)
x
(
P
i
=
)
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
,
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
(
P
k
j
i
k
j
i
j
i
j
i
=
=
2.2 Bedingte Wahrscheinlichkeit
P(x
i
) und P(x
j
) sind Zustandswahrscheinlichkeiten.
P(x
j
|x
i
) ist die Wahrscheinlichkeit für das Auftreten von x
i
unter der Bedingung, dass x
j
bereits
eingetreten ist.
=
=
n
1
i
i
j
i
j
)
x
|
x
(
P
)
x
(
P
)
x
(
P
z.B.: Es gibt 5 schwarze und 5 rote Kugeln. Wie groß ist die Wahrscheinlichkeit, dass ohne
Zurücklegen nacheinander 5 rote Kugeln gezogen werden?
A =
rote Kugel im ersten Zug.
B|A = rote Kugel vorausgesetzt im ersten Zug wurde bereits rot gezogen.
p(A) = 5/10 = 0,5
p(B|A) = 4/9 (nur noch 9 Kugeln, davon 4 rot)
p(AB) = p(A) · p(B|A) = 5/10 · 4/9
3 Informationsquellen
3.1 Definition
=
)
P(x
...
)
P(x
)
P(x
x
...
x
x
X
n
2
1
n
2
1
=
=
n
1
i
i
1
)
x
(
P
Jedem Zeichen x
i
der Quelle X kann eine Wahrscheinlichkeit P(x
i
) zugeordnet werden.

3
3.2 Quellen ohne Gedächtnis
Für m Zustände ist die Wahrscheinlichkeit:
m
1
)
x
(
P
i
=
)
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
,
x
(
P
)
x
(
P
)
x
(
P
)
x
,
x
(
P
k
j
i
k
j
i
j
i
j
i
=
=
3.3 Quellen mit Gedächtnis (Markow-Quellen)
P(x
i
) und P(x
j
) sind Zustandswahrscheinlichkeiten.
P(x
j
|x
i
) sind Übergangswahrscheinlichkeiten
=
=
n
1
i
i
j
i
j
)
x
|
x
(
P
)
x
(
P
)
x
(
P
3.4 Verbundquellen
Teilquellen:
=
)
P(x
...
)
P(x
)
P(x
x
...
x
x
X
m
2
1
m
2
1
=
)
P(y
...
)
P(y
)
P(y
y
...
y
y
Y
n
2
1
n
2
1
Verbundquelle:
=
)
y
,
P(x
...
)
y
,
P(x
)
y
,
P(x
y
x
...
y
x
y
x
Z
n
m
2
1
1
1
n
m
2
1
1
1
3.5 Verbundquellen mit abhängigen Ereignissen
Wahrscheinlichkeit des Verbundereignisses (x
i
, y
j
):
)
y
|
x
(
P
)
y
(
P
)
y
,
x
(
P
)
x
|
y
(
P
)
x
(
P
)
y
,
x
(
P
j
i
i
i
i
i
i
i
i
i
=
=
P(y
i
|x
i
) ist die bedingte Wahrscheinlichkeit für das Auftreten eines Zeichens y
i
, wenn bekannt ist,
dass die 1. Teilquelle das Zeichen x
i
ausgewählt hat.
wobei x
i
= gesendete Zeichen
y
i
= empfangene Zeichen
Darstellung als Matrix:
y
1
y
2
... y
m
x
1
p(x
1
,y
1
)
...
...
p(x
1
,y
m
)
x
2
...
...
...
...
...
...
...
...
...
x
n
p(x
n
,y
1
)
...
...
p(x
n
,y
m
)
Wahrscheinlichkeit, dass x
i
eintritt:
=
=
m
1
j
j
i
i
)
y
|
x
(
P
)
x
(
P
Wahrscheinlichkeit, dass y
j
eintritt:
=
=
n
1
i
j
i
j
)
y
|
x
(
P
)
y
(
P

4
3.6 Beispiel
Verbundwahrscheinlichkeit zweier diskreter Quellen:
=
6
1
18
1
9
1
9
1
9
1
18
1
9
1
18
1
9
2
)
b
,
a
(
P
j
i
Zustandsswahrscheinlichkeiten P(a
i
):
P(a
1
) = 2/9 + 1/18 + 1/9 = 7/18
P(a
2
) = 1/18 + 1/9 + 1/9 = 5/18
P(a
3
) = 1/9 + 1/18 + 1/6 = 1/3
P(b
1
) = 2/9 + 1/18 + 1/9 = 7/18
P(b
2
) = 1/18 + 1/9 + 1/18 = 2/9
P(b
3
) = 1/9 + 1/9 + 1/6 = 7/18
Übergangswahrscheinlichkeiten P(b
j
|a
i
)
)
a
(
P
)
b
,
a
(
P
)
a
|
b
(
P
i
j
i
i
j
=
P(b
1
|a
1
) = (2/9) / (7/18) = 4/7
P(b
2
|a
1
) = (1/18) / (7/18) = 1/7
...
4 Informationsübertragung
4.1 Grundmodell
5 Informationsmaße
5.1 Summe aller Wahrscheinlichkeiten
Die Summe aller Wahrscheinlichkeiten ist 1:
=
=
n
1
i
i
1
)
x
(
P
5.2 Informationsgehalt
N
Gesamtzahl der Ereignisse
h(x
i
) Häufigkeit des Ereignisses x
i
]
bit
[
)
x
(
P
log
)
x
(
P
1
log
)
x
(I
)
x
(
h
N
N
)
x
(
h
)
x
(
P
i
2
i
2
i
n
1
i
i
i
i
-
=
=
=
=
=
2
ln
m
ln
m
ld
m
log
2
=
=
Beispiel:
x
i
A B C D E F G H
Quelle
Sender
Empfänger
Senke
Übertragungskanal
Ende der Leseprobe aus 9 Seiten

Details

Titel
Formelsammlung Informationstheorie
Hochschule
Wilhelm Büchner Hochschule Private Fernhochschule Darmstadt
Autor
Jahr
2011
Seiten
9
Katalognummer
V279533
ISBN (eBook)
9783656732693
ISBN (Buch)
9783656732679
Dateigröße
447 KB
Sprache
Deutsch
Schlagworte
formelsammlung, informationstheorie
Arbeit zitieren
Dipl.-Ing. (FH), Dipl-Inform. (FH) Patrick Schimmel (Autor), 2011, Formelsammlung Informationstheorie, München, GRIN Verlag, https://www.grin.com/document/279533

Kommentare

  • Noch keine Kommentare.
Im eBook lesen
Titel: Formelsammlung Informationstheorie



Ihre Arbeit hochladen

Ihre Hausarbeit / Abschlussarbeit:

- Publikation als eBook und Buch
- Hohes Honorar auf die Verkäufe
- Für Sie komplett kostenlos – mit ISBN
- Es dauert nur 5 Minuten
- Jede Arbeit findet Leser

Kostenlos Autor werden