Markov-Ketten: ein kurzer Überblick

Markov Ketten

von Pirjetta Stüven

Inhalt

1 Einführung in Kettenprozesse 3

2 Kurze Wiederholung: Unabhängige Ereignisse 4

3 Definition und Merkmale von Markov-Ketten (diskrete Zeit) 4

4 Übergangsmatrizen und Wahrscheinlichkeitsvektoren 5

5 Warteschlangensysteme 9

6 Zusammenfassung 15

7 Literatur 16

1 Einführung in Kettenprozesse

"Warum ist es interessant sich mit Markov-Ketten zu beschäftigen?"
Markov-Ketten dienen der Analyse oder/und Prognose der künftigen Entwicklungen z.B. auf den (Produkt)märkten. So können z.B. mit Hilfe von Modellen die Auswirkungen verschiedener Marketingmaßnahmen auf die Produktwahl der Konsumenten untersucht werden, um eine optimale Marketingstrategie zu entwickeln. Mittels der Markov-Ketten können Absatzprognosen, Anhaltspunkte zu der Dringlichkeit absatzpolitischer Maßnahmen, Angaben zur Beeinflussung der Markentreue von Konsumenten gemacht werden oder aber auch Warteschlangenzeiten beschrieben werden.

Es gibt zusammengesetzte Zufallsexperimente, deren Einzelversuche nicht voneinander abhängen. Andrej A. Markov (1856-1922), ein russischer Mathematiker, hat sich mit einem seiner Schüler als erster mit diesen stochastischen Kettenprozessen befasst. Die Markov-Prozesse gehören zu den Haupttypen stochastischer Prozesse.

Zur Begrifflichkeit: Ein stochastischer "Prozess" ist eine Folge von Zufallsvariablen. Stochastische Prozesse beschreiben die zeitliche Entwicklung eines zufallsabhägigen Systems. Die Bezeichnung "Kette" wird verwendet, wenn die Zeit diskret ist (Wertebereich abzählbar).

2 Kurze Wiederholung: Unabhängige Ereignisse

Man spricht von der Unabhängigkeit zweier Ereignisse, wenn sich die Ereignisse gegenseitig nicht beeinflussen.

heißt bedingte Wahrscheinlichkeit von A unter der Bedingung B, analog (wg. Multiplikationssatz allgemein mit bedingten Wahrscheinlichkeiten)

Zwei Ereignisse heißen unabhängig, wenn gilt: "Multiplikationssatz bei Unabhängigkeit"

3 Definition und Merkmale von Markov-Ketten (diskrete Zeit)

Grundsätzlich muss immer klar angegeben werden, wie Zeit (diskret oder stetig) und der Zustandsraum (was für Werte kann Xn annehmen) (diskret oder stetig) ist.

Definition nach Stierhof 1994:

"Eine Markov Kette liegt vor, wenn bei einer Folge von Einzelversuchen die Wahrscheinlichkeit für das Eintreten eines Ereignisses (Zustandes) Xn im (n+1)-ten Versuch vom bekannten gegenwärtigen Zustand im vorhergehenden n-ten Versuch abhängt."
Die Markov-Eigenschaft kann einfach umschrieben werden.
Betrachten wir eine Folge von Zufallsgrößen X1, X2, ..., Xn . Wir wollen nun Aussagen machen über die Verteilung von Xn+1 . Ein solcher Prozess hat die Markov-Eigenschaft, wenn für diese Verteilung die Kenntnis von X1, X2, ..., Xn gleichbedeutend ist mit der Kenntnis von Xn . die weiter zurückliegenden Werde X1, X2, ..., Xn-1 spielen also keine Rolle für Xn+1, wenn wir Xn kennen.

Wenn die Übergangswahrscheinlichkeit pij unabhängig ist von der Nummer n des Versuches, die Wahrscheinlichkeit also in jedem Zeitpunkt gleich ist, so heißt der Markovsche Kettenprozess homogen.

Wenn die Anzahl der möglichen Zustände des Kettenprozesses endlich ist, so heißt der Kettenprozess endlich.

Der Markov-Ketten sind also Modelle für Systeme, die sich ausgehend von einem bekannten gegenwärtigen Zustand im Zeitverlauf zufällig entwickeln - unabhängig von der Vergangenheit. Die zeitliche Homogenität will ausdrücken, dass das System zeitlich gleichbleibenden Einflüssen (Umweltbedingungen) unterliegt.

[...]