Statistik II

Zusammenfassung1

Thomas Bolz2

29. November 1995

Zusammenfassung der Vorlesung Statistik II von Prof. Dr. Kuno Egle im WS 94 95

1

Id : statistik:tex;v1:91995=05=0220 : 58 : 22thomasExpthomas

2

---

Vorwort:

Dies ist eine Zusammenfassung der Statistik II Vorlesung, die im Winterseme-

ster 1994 95 von Prof. Dr. Kuno Egle gehalten wurde. Sie erhebt weder An-

spruch auf Richtigkeit noch Anspruch auf Vollstandigkeit. Da sie mir trotzdem

bei der Klausurvorbereitung bisher eine gute Hilfe war, ein zumindest struktu-

riertes Nachschlagewerk ist und ich nicht zuletzt eine Menge Zeit darin investiert

habe, habe ich mich dazu entschloen, sie jedem Interessenten uber die rzstud

zu Verfugung zu stellen. Sie liegt in dem o entlichen Verzeichnis ~ul54 pub

als Postscript-File ab. Von hier aus kann sie sich jeder in ein eigenes Verzeichnis

kopieren und von dort aus ausdrucken ′cp ~ul54 pub statistik.ps.gz .′

danach ′lp statistik.ps.gz′.

Uber Erganzungsvorschlage und Fehlerkorrekturen freue ich mich. Sie konnen

mir per e-mail an ThomasBolz@stud.rz.uni-karlsruhe.de gesendet werden.

Karlsruhe, am 14.Februar 1995, Thomas Bolz

---

INHALTSVERZEICHNIS

i

Inhaltsverzeichnis

1 Grundbegri e

1

1.1 Wahrscheinlichkeitsraum 1

1.1.1 Wahrscheinlichkeitsma 1

1.1.2 Sprechweisen 1

1.1.3 Dirac-Ma 1

1.1.4 Laplace′scher Wahrscheinlichkeitsraum 1

1.1.5 Poissonverteilung 1

1.1.6 Geometrische Verteilung 2

1.1.7 Kont. Wahrscheinlichkeitsma e auf IR 2

1.1.8 Gleichverteilung 2

1.1.9 Exponentialverteilung 3

1.1.10 Standardnormalverteilung N0;1 3

1.1.11 Normalverteilung N; 2 3

1.1.12 Dreieckverteilung 3

1.2 Unterraum 3

1.2.1 Spur -Algebra 3

1.2.2 Bedingte Wahrscheinlichkeiten 3

1.2.3 Satz von der totalen Wahrscheinlichkeit 4

1.2.4 Satz von Bayes 4

1.3 Produktraum 4

1.3.1 Produkt- -Algebren 4

1.3.2 Produktwahrscheinlichkeit 4

1.3.3 Diskrete Produktmae 4

1.3.4 Produkt kont. Wahrscheinlichkeitsmae auf IR IR 4

1.4 Bildraum 5

1.4.1 Bild -Algebra 5

1.4.2 Bildwahrscheinlichkeit 5

1.4.3 Binomialverteilung 5

1.4.4 Transformation kont. Verteilungen auf IR 6

1.5 Das Stichprobenmodell unabhangiger Ziehungen 6

1.5.1 Stichprobenmodell 6

2 Lage- und Formparameter

6

2.1 Diskrete Verteilungen auf IR bzw. IRn 6

2.1.1 Arithmetisches Mittel, Mittelwert, Erwartungswert . . . 6

2.1.2 Quartile der Ordnung 7

2.1.3 Modus, Modalwert 7

2.1.4 Varianz: 2;VarP, und Standardabweichung

7

2.1.5 Allgemeine Momente, zentrale Momente 7

2.1.6 Klassische Beispiele diskreter, parametrischer Verteilungen 7

2.2 Kontinuierliche Verteilungen 8

2.2.1 Arithmetische Mittel, , Erwartungswert 8

2.2.2 Quantile der Ordnung 8

2.2.3 Modus, Modalwert x ; x

mod 8

2.2.4 Varianz: 2;VarP, und Standardabweichung

8

---

ii

INHALTSVERZEICHNIS

2.2.5 Momente, zentrale Momente 8

2.2.6 Klassische Beispiele kont. param. Verteilungen 9

2.2.7 Mittelwerte und Varianzen von Verteilungen auf IR IR . 9

3 Korrelation, Faltung, zentraler Grenzwertsatz

10

3.1 2

LIRP 10

3.1.1 De nitionen 10

3.1.2 Satz von Pythagoras 10

3.1.3 Satz von Bienaim e 10

3.1.4 Ubertragung auf 2-dimensionale Zufallsvariablen 10

3.1.5 Ungleichung von Tschebysche 10

3.2 Faltung 10

3.2.1 De nitionen 11

3.2.2 Anwendung 11

3.3 Folgen von Verteilungen, zentraler Grenzwertsatz 11

3.3.1 De nitionen 11

3.3.2 Verteilung des Mittelwertes x aus Transformationen . . . 11

3.3.3 Starkes Gesetz groer Zahlen 12

3.3.4 Zentraler Grenzwertsatz 12

3.3.5 Anwendung 12

4 Elemente der parametrischen Schatz- und Testtheorie

12

4.1 Parametrische statistische Strukturen 12

4.1.1 Parametrische Verteilungsklassen 12

4.2 Statistiken 13

4.2.1 De nitionen 13

4.2.2 Vollstandigkeit 13

4.2.3 Su zienz 13

4.2.4 Faktorisierungstheorem von Finster-Neymann 14

4.3 Schatztheorie Punktschatzung 14

4.3.1 De nition: Schatzer 14

4.3.2 Satz von Lehman Schi e UMVU-Schatzer 14

4.3.3 Mittlerer quadratischer Fehler MQF 14

4.3.4 Risiko 14

4.3.5 Wichtigste Konstruktionsmethoden 15

4.4 Bereichsschatzung 15

4.4.1 Bereichsschatzer 15

4.5 Testtheorie 15

4.5.1 Optimalitatseigenschaften 15

4.5.2 Gutefunktion 16

4.5.3 De nition von gleichmaig besser 16

---

1

Elementare Wahrscheinlichkeitstheorie

1 Grundbegri e

=Grundgesamtheit Menge aller Ereignisse, die auftreten konnen

= -Algebra d.h. alle interessierenden Ereignisse

A

P Wahrscheinlichkeitsma

1.1 Wahrscheinlichkeitsraum

1.1.1 Wahrscheinlichkeitsma

P:

0;1 heit Wahrscheinlichkeitsma

A

!

,

1 P =1

2 PA =1-PA

c

3 An IN

Familie von disjunkten Teilmengen

f

g

A

PSAn = PPAn

IN

IN

1.1.2 Sprechweisen

... sicheres Ereignis

... unmogliches Ereignis

;

A

... Ereignis

! ... Elementarereignis

f

g

1.1.3 Dirac-Ma

; = P ; !

fest:

A

2

Dirac-Ma "! im Punkt ! :

" A = 1 ::: ! A

2

0 ::: sonst

1.1.4 Laplace′scher Wahrscheinlichkeitsraum

ist endlich, das Mengensystem A ist die Potenzmenge von , alle Elemen-

tarereignisse sind gleich wahrscheinlich.

= endlich

6

;

A =

P :

0;1 de niert durch PA = A

,

!

= Anz. Elementarereignisse in A

Anz. Elementarereignisse in

1.1.5 Poissonverteilung

1

ak

1

ak

X

X

0 k! = ea 0 k! = 1 a fest

---

2

1 GRUNDBEGRIFFE

Pk = ak a

k!e,

1

Pk gibt Wahrscheinlichkeitdafur an, da k Punktereignisse pro Zeiteinheit

statt nden, wobei t = a gilt. mit =Ankunftsrate pro Zeiteinheit, t =Zeitspanne

Die Poissonverteilung ist fur n 50 oder p 0;1 eine Naherung fur die Bino-

mialverteilung. Dann ist a = np.

1.1.6 Geometrische Verteilung

k = 1 ppk

2

,

p =Anteil der Einsen, 1 p =Anteil der Nullen

,

k ist die Wahrscheinlichkeit, bei der k + 1-ten Ziehung einen Mierfolg zu

haben, d.h. eine Null zu ziehen, und bei den vorhergehenden k Ziehungen Erfolg

gehabt zu haben. Es gilt: n

qn

P

qk = 1 +1

,

k=0

1 q

,

1.1.7 Kontinuierliche Wahrscheinlichkeitsma e auf IR

Kontinuierliches Wahrscheinlichkeitsma P auf IR wird durch Wahrscheinlich-

keitsdichte

1

′ : IR IR

Z

+mit ′x dx = 1

!

1

de niert.

Zu ′ aquivalent ist die Verteilungsfunktion Fa:

a

Fa = P ;a = Z ′xdx

3

,1

,1

Eigenschaften von F:

1 F ist monoton steigend

2 F = 0; F+ = 1

,1

1

3 ′ stuckweise stetig

F stetig

1.1.8 Gleichverteilung

′

1

= b a fur a x b

, 0 sonst

Fx = x a

x b

,

b a a

,

---

1.2 Unterraum

3

1.1.9 Exponentialverteilung

′x = e x x 0

,

a

a

Fa = Z ′xdx = Z e x

e a

,

= 1 ,

4

,

0

0

Exp gibt die Verteilung der Zwischenankunftszeiten pro Zeiteinheit an z.B.

Telefonanrufe von Kunden, Ankunft von Personen an der Bushaltestelle. =Ankunftsrate

pro Zeiteinheit

1.1.10 Standardnormalverteilung N0;1

′x = 1

x2

5

2

p2 e,

Die Verteilungen bekommt man am besten aus Tabellen. Es gilt: x =

,

1 x

,

1.1.11 Normalverteilung N; 2

′x = 1

x 2

,

6

2

2

p2 e,

1.1.12 Dreieckverteilung

′

a+x

=

a

fur: a x 0

,

2

a x fur: 0 x a

,

a

2

1.2 Unterraum

1.2.1 Spur -Algebra

0

; : -Algera auf : 0 : A 0 A

A

A

f

j

2

Ag

heit " Spur von auf 0 oder

auf 0 induzierte -Algebra i. Z.

A

"von A

0 = = .

A

A

Ist Erzeuger von auf , so ist 0 := s 0=s

Erzeuger von 0.

S

A

S

f

2

S

g

A

1.2.2 Bedingte Wahrscheinlichkeiten

0; 0; P0 heit Unterraum

A

P0 : 0 0;1 mit P0A = PA= 0 = PA 0

A

!

P heit von P auf 0 induzier-

0

tes Wahrscheinlichkeitsma P von A unter der Bedingung 0. P0A =

0 A

c

0

8

2

---

4

1 GRUNDBEGRIFFE

1.2.3 Satz von der totalen Wahrscheinlichkeit

Man verscha t sich hier am besten eine Ubersicht, indem man die gegebenen

Wahrscheinlichkeiten am Einheitsquadrat aufzeichnet.

1 j IN

Partition von mit hochstens abzahlbarem IN;P j

f

g

A

0 B

:

8

2

A

PB= j = PB j

P j

PB j = PB= j P j

,

B j IN ist Partition von B, daher ist PB = PPB j.

f

g

IN

2 wie 1 und auerdem PB 0 Fur beliebiges k aus Partition j IN

f

g

ist

P k=B = P k B

PB = P

P

B= k P k

PB= j P j

1.2.4 Satz von Bayes

PA=B = PA B

P

A;B

B = PAPB

PB = PA

unabhangig

und

2

A

,

PB=A = PA B

PA = PAPB

PA = PB

1.3 Produktraum

1.3.1 Produkt- -Algebren

1; 2 -Algebren auf 1 bzw. 2 :

A

A

Die auf 1

2 von der Menge aller Rechtecke erzeugte -Algebra 1

2

S

A

A

heit "Produkt von 1 und 2 auf 1 2 , kurz

A

A

"Produkt -Algebra .

1.3.2 Produktwahrscheinlichkeit

1; 1; P1; 2; 2; P2 Wahrscheinlichkeitsraume:

A

A

Die Wahrscheinlichkeit P1 P2 auf 1 2; 1 2 mit P1 P2 A1 A2 :=

A

A

P1A1P2A2 A1

1; A2

2 heit Produktwahrscheinlichkeit.

8

2

A

2

A

1

2; 1

2; P1 P2 heit Produktraum.

A

A

1.3.3 Diskrete Produktmae

P1 = PIN j"!j diskretes Ma auf 1 mit Masse j in !j

P2 = P k"

IN !k diskretes Ma auf 2 mit Masse k in !k

P1 P2 = PP

!

j k j k

j; !k ist diskretes Wahrscheinlichkeitsma auf

2

1

2 mit Massen kj = j k in den Punkten !j; !k. Bedingte Verteilungen

sind identisch mit Rand- bzw. Ausgangsverteilungen.

1.3.4 Produkt kontinuierlicher Wahrscheinlichkeitsma auf IR IR

P1 kontinuierliches Wahrscheinlichkeitsma auf IR mit Dichte ′1x und Ver-

teilungsfunktion F1a

---

1.4 Bildraum

5

P2 kontinuierliches Wahrscheinlichkeitsma auf IR mit Dichte ′2y und Ver-

teilungsfunktion F2a

P1 P2 ist kontinuierliches Wahrscheinlichkeitsma auf IR IR mit Dichte

′x;y = ′1x′2y x;y unabhangig

,

Fa;b = P1 P2 ;a ;b = F1aF2b

,1

,1

Fa;b = FaFb gilt nur, wenn x und y zwei unabhangige Variablen sind.

Randdichten: xiere x

′1x = Z ′x;ydy = ′1xZ ′2ydy

7

y

y

|

z

1

bedingte Dichten:

′x=y := ′x;y

′

x;y unabhangig

8

2y = ′1x ′2y

′2y = ′1x ,

Bedingte Dichten sind identisch mit den Randdichten bzw. ursprunglichen

Dichten.

1.4 Bildraum

1.4.1 Bild -Algebra

f ;

E

A

,

!

f := B E=f 1B

heit Bild von mittels f.

,

B

f

2

Ag

A

1.4.2 Bildwahrscheinlichkeit

Die Wahrscheinlichkeit Pf = fP mit B

: PfB := Pf 1B heit

,

8

2

B

Bildwahrscheinlichkeit, Bild von P in E mittels f, oder Verteilung von f. E; ; Pf

B

heit Bildraum.

Eine mebare Funktion f auf einem Wahrscheinlichkeitsraum ; ; P heit

A

Zufallsvariable reelle Zufallsvariable, falls E = IR; Zufallsvektor, falls E = IRn.

f heit Pf-verteilt, f selbst ist diskret, kontinuierlich, falls Pf diskret auf E,

kontinuierlich auf E = IR verteilt ist.

1.4.3 Binomialverteilung

Stichprobe mit Zurucklegen

!

k = n

k

k pk1 pn,

9

,

binomischer

Lehrsatz

P

k

=

p + 1 pn = 1n = 1

,

Anwendung: Bei dichotomen nur zwei Auspragungen Merkmalen k Wahr-

scheinlichkeit fur k schlechte Teile bei Stichprobe vom Umfang n und Aus-

schuanteil p.

---

6

2 LAGE- UND FORMPARAMETER

1.4.4 Transformation kontinuierlicher Verteilungen auf IR

′f

1

x = ′f 1

,

x df,

dx

10

Beispiele:

1 x

x +

f 1 : x

x

,

,

!

,

!

,

b

b,

R

′fxdx = R ′x dx

a

a

,

,

2 x

x

f 1 : x

1 x

,

,

!

,

!

b

b

R

′fxdx = R 1′,xdx

a

a

Formel fur beliebig di erenzierbare f : IR

IR

,

!

Pf

1

B = Z ′fxdx = Z ′′ 1

,

x df,

dx dx

B

f B

,1

ist Wahrscheinlichkeit Pf mit Masse nur auf fIR.

1.5 Das Stichprobenmodell unabhangiger Ziehungen

1.5.1 Stichprobenmodell

Ein Stichprobenmodell von M IN unabhangigen Ziehungen mit Zurucklegen

2

aus

; ;P bzw. E; B; Pf liegt vor, wenn n mit Pn bzw. En mit Pfn

A

versehen ist.

2 Lage- und Formparameter

2.1 Diskrete Verteilungen auf IR bzw. IRn

2.1.1 Arithmetisches Mittel, Mittelwert, Erwartungswert

= EP = Ex := X kxk

11

IN

Transformation: f : IR

IR

,

!

Ef := EPf = X kfxi

IN

Zentrieren: f : x

x

Ef = 0

,

!

,

---

2.1 Diskrete Verteilungen auf IR bzw. IRn

7

2.1.2 Quartile der Ordnung

= 2 : Median xM halbiert die Gesamtmasse 1

xm = F 11

,

2

12

= 4 : Quartile Q1 = F 11

13

,

4; Q2 = xM; Q3 = F, 4

anderes Konzept:

0;1 : Q = F 1

,

2

2.1.3 Modus, Modalwert

Der Modus ist der wahrscheinlichste Wert: k aus

= max

k

N k i.a. mehr-

deutig z.B. Wurfeln k = 1

6

2.1.4 Varianz: 2;VarP, und Standardabweichung

VarP = P

2

IN kxk ,

= P

2X

+2 X

IN k x2k

k xk

k

,

IN

IN

13

|

z

|

z

1

= P

2

IN k x2k ,

Transformation: f : IR

IR

,

!

Varf =VarPf = P

Ef2

IN k fxk ,

Standardisierung f : x

x

,

,

!

Ef = 0; Varf = 1

2.1.5 Allgemeine Momente, zentrale Momente

fmx = xm; f0mx = x m

,

Mm = Efm = Exm = PIN kxmk m-tes Moment von P

m = 1 : M1 = PIN kxk =

M0m = Pf0m = P

m m -tes, zentriertes Moment von P

IN k xk ,

2.1.6 Klassische Beispiele diskreter, parametrischer Verteilungen

Poissonverteilung: k = akk a

! e

= a; 2 = a

,

Binomialverteilung: k = n,kpk1 pn k

= np; 2 =

,

,

np1 p

,

Hypergeometrische Verteilung: Stichprobe ohne Zurucklegen N Ele-

mente, M davon sind defekt, N M sind intakt

,

M! N M

,

,

k =

n k

k

,

N

,

n

---

8

2 LAGE- UND FORMPARAMETER

ist die Wahrscheinlichkeit, k defekte Teile bei Ziehung von n Elementen

ohne Zurucklegen zu erhalten. pH = MN Wahrscheinlichkeit, uberhaupt

ein schlechtes Teil zu ziehen

= nMN = npH 2 = nMN N M n

p

n

,

N N,

N 1 = npH1

HN,

,

N 1

,

,

Fur groe N kann man die Hypergeometrische durch die Binomialvertei-

lung approximieren.

Multinomialverteilung:

n !

k km =

pk

pkm

1

1

m

k

k

1

1

m

|

z

n!

k k

!

!

1

2

j = npj 2j = npj1 pj

,

2.2 Kontinuierliche Verteilungen

2.2.1 Arithmetische Mittel, , Erwartungswert

= EP = Ex := R x′xdx

IR

Transformation f : IR

IR Ef := EPf = R fx′xdx

,

!

IR

2.2.2 Quantile der Ordnung

= 2 :Median xM halbiert die Flache von ′, xm = F 11

,

2

= 4 : Quartile Q1 = F 11

13

,

4; Q2 = xM; Q3 = F, 4

anderes Konzept:

0;1 : Q = F 1

,

2

2.2.3 Modus, Modalwert x ; x

mod

Der Modus ist der Punkt mit der groten Wahrscheinlichkeitsdichte.

x aus max ′x = ′ = ′x

Im allgemeinen ist ′ di erenzierbar: x aus d′ != 0

dx

2.2.4 Varianz: 2;VarP, und Standardabweichung

V arx = Z x 2 ′xdx = Z x2 ′xdx 2

14

,

,

IR

IR

Transformation f : IR

IR V arf := V arPf = Ef2 Ef2

,

!

,

2.2.5 Momente, zentrale Momente

fnx = xm; f0mx = x m

,

Mm = Efm = Exm = R xm ′dx m-tes Moment von P

IR

M0m = Ef0m = Ex m = R x M ′dx m-tes zentriertes Moment

,

IR ,

von P

---

2.2 Kontinuierliche Verteilungen

9

2.2.6 Klassische Beispiele kontinuierlicher parametrischer Vertei-

lungen

Gleichverteilung: ′x = 1ba1a;b x

= a+b

a2

2 ;

2 = 112b,

,

Exponentialverteilung: ′x = e x

= 1

,

;

2 = 12

Normalverteilung N; 2:

′x = 1

x 2

,

15

2

2

p2 e,

Ex = ; V arx = 2

Lognormalverteilung logN; 2:

′x = 1 1

x 2

ln

,

x 0

16

2

2

p2 x e,

Ex =e+

2

Varx =e2+ 2 e 2 1 xM = e xMod = e 2

,

2

,

Chiquadratverteilung 2n:

′

x

nx =

1

1

2n,n

x

,

e,

0

17

2

2

2xn2

Dabei gilt: ,n = n 1!, also ,n + 1 = n,n, sowie ,1

,

2 1

p .

E 2n = n; Var 2n = 2n, Parameterraum = IN

s2

n

n

n = 1n Px

2

s2

Px

x2 Mit s2

1 i

n = 1

i

n wird die tatsachli-

,

n 1

,

,

1

che Varianz 2 der Grundgesamtheit geschatzt, wenn der tatsachliche

Mittelwert bekannt ist. Mit s2n wird dagegen die tatsachliche Varianz

geschatzt, wenn unbekannt ist.

2.2.7 Mittelwerte und Varianzen von Verteilungen auf IR IR

0

1

Z

x=R R x′x; y dx dy = R x

′x;ydy dx

2 x

x y

x @

A

x=R

x2 ′1x dx

,

y

x

|

z

′ x

1

=R x′

2

x

1x dx

=Ex2 x

,

=EP1

0

1

Z

y=R R y ′x; y dx dy = R y

′x;ydx dy

2 y

x y

y @

A

y=R

y2 ′2y dx

,

x

y

|

z

′ y

2

=R y ′

2

y

2y dy

=Ey2 y

,

=EP2

!

Erwartungswertvektor: =

2

,x

Varianzmatrix: 2 =

x

xy

y

yx

2y

---

10

3 KORRELATION, FALTUNG, ZENTRALER GRENZWERTSATZ

xy = Covx; y = R R x

R

y y

xy

y ′x; y dydx = Exy

x y

,

,

,

Exy = R xy ′x;ydydx

x y

Bemerkung: Corrx;y = Covx;y

x y

3 Korrelation, Faltung, zentraler Grenzwertsatz

3.1 2IR

L

P

3.1.1 De nitionen

Der Vektorraum 2

fxgx′xdx

LIRP mit Skalarprodukt

f;g := Ef g = RIR

und mit Seminorm f = p f;g heit Raum der quadratintegrierbaren re-

k

k

ellen Funktionen.

Covf;g := f0;g0 heit Kovarianz.

Corrf;g := f ;g = cos heit Korrelation zwischen f und g.

0

0

f g

k

k

k

k

0

0

f;g unkorreliert f0 g0

f;g = 0

,

?

,

3.1.2 Satz von Pythagoras

f;g unkorreliert Varf + g =Varf+Varg

3.1.3 Satz von Bienaim e

f