- II -

Inhaltsverzeichnis

Symbolverzeichnis.   III

Tabellenverzeichnis   IV

Abk  ürzungsverzeichnis  V

1  Einführung  1

1.1  Problemstellung.  1

1.2  Darstellung der Markov-Eigenschaft.  2

2  Charakterisierung der Zustände und Matrizen  4

2.1  Rekurrenz  4

2.2  Transitorisch  6

2.2  Regularität  6

2.3  Periodisch  7

2.4  Kommunizierend  8

2.5  Dekomponierbar  8

2.6  Absorbierend  8

2.8  Ergodisch  9

3  Verhalten und Besonderheiten von diskreten Markov-Ketten  9

3.1  Kurzfristiges Verhalten und Gleichgewicht  9

3.2  Analyse der Verweilzeit  11

3.3  Unterschiede bei inhomogenen Markov-Ketten.  12

3.4  Einführung in den Geburts- und Todesprozess  13

4  Zusammenfassung  13

5  Anhang  15

Literaturverzeichnis   15

- III

Symbolverzeichnis

X t = k:

das Element im Zustand k.

Beliebiger Großbuchstabe: Matrix der Übergangswahrscheinlichkeiten bei Homogenität.

P(AB): WS, dass das Ereignis A eintritt, unter der Bedingung, dass das Ereignis B bereits eingetreten ist.

P(A ∩ B): WS, dass die Ereignisse A und B gleichzeitig eintreten.

langen.

∀ : für alle…

∞ : Unendlich.

(d-1) Summanden gebildet und addiert.

manden.

Übergangswahrscheinlichkeiten P.

^{) (n} : Π Von einer Ausgangsverteilung ausgehend die WS, dass man sich

j

nach n Schritten im Zustand j befindet.

P(k): Matrix der Übergangswahrscheinlichkeiten zum Zeitpunkt k bei

N(s+1,t)= ∏

- IV

Tabellenverzeichnis

Tabelle1: Unterscheidung diskret/stetig bei Zustands- und Parameterraum.

- V

Abkürzungsverzeichnis

d.h.: das heißt Def.: Definition GG: Gleichgewicht i.A.: im Allgemeinen LGS: Lineares Gleichungssystem MK: Markov-Kette MP: Markov-Prozess sog.: sogenannte v.a.: vor allem Vgl.: Vergleiche WS: Wahrscheinlichkeit z.B.: zum Beispiel

^{- 1 -} 1 Einführung

1.1 Problemstellung

Ziel dieser Seminararbeit ist es, ein Teilgebiet der mathematischen Grundlagen der Warteschlangen-theorie, die Betrachtung des Markov-Prozesses (MP), zu erläutern. Hierzu wird im Kapitel 1 der Begriff MP näher erläutert und die inhaltliche Abgrenzung der weiteren Arbeit vorgestellt. In Kapitel 2 werden die diskreten Markov-Ketten (MK) unter dem Aspekt spezifiziert, wie man gegebene Matrizen und deren Zustände klassifizieren kann. In Kapitel 3 wird auf einige sehr relevante Aspekte von MK eingegangen, v.a. dem kurz- und langfristigen Verhalten. Außerdem werden die Besonderheiten von Inhomogenität sowie Geburts- und Todesprozess betrachtet. In Kapitel 4 folgt eine Zusammenfassung des Themas. Der Schwerpunkt dieser Arbeit liegt auf der ausführlichen Klassifizierung von Zuständen und Matrizen der diskreten MK.

Ein MP ist ein stochastischer Prozess. Ein stochastischer Prozess kann als Menge von Zufallsgrößen aufgefasst werden und bezieht sich auf einen Zustands- sowie einen Parameterraum. Mit Zustandsraum ist gemeint, inwiefern verschiedene Umweltzustände existieren. Sie können abzählbar unterscheidbar oder fortlaufend ineinander übergehend sein. Mit Parameterraum ist gemeint, zu welchen Zeitpunkten ein Wechsel des Umweltzustandes stattfinden kann. Es kann permanent geschehen oder nur zu bestimmten Zeitpunkten, die abgrenzbar sind. ¹ Wir erhalten also, je nach Kombination, 4 verschiedene stochastische Prozesse mit der im Kapitel 1.2 vorgestellten Markov-Eigenschaft. Im Rahmen dieser Seminararbeit werde ich nur auf den Fall diskret/diskret eingehen, d.h. eine genaue Betrachtung von diskreten MK (siehe Tabelle 1).

Ein MP dient dazu, um für ein betrachtetes Element, z.B. ein Staubkorn, Aussagen über seine Bewegung in der Zukunft treffen zu können. Hierbei wandert das Staubkorn mit bestimmten Wahrscheinlichkeiten (WS) von Zustand zu Zustand, wobei es auch mehrmals hintereinander im gleichen Zustand bleiben kann. ² MP finden in vielen Teilen der Wissenschaft Anwendung, z.B. bei der Theo-

¹ Vgl. Ferschl, S.5-6

² Vgl. Kleinrock, S.26