Meserle: Testen von Hypothesen

_______________________________________________________________________

1. Einführung

Will man ein Testverfahren zweier sich widersprechender Hypothesen erstellen, muss man sich zunächst über folgende Punkte im Klaren sein:

a) Ein Test ist seinem Wesen nach darauf angelegt, ein Werturteil über die zu testenden Hypothesen abzugeben. Dieses Urteil kann richtig, aber - leider - auch falsch sein. Daher ist es ratsam, vor Testbeginn die Wahrscheinlichkeit für eine mögliche Fehlentscheidung zu berechnen. Ist dies größer als 0,5, so tut man gut daran, allen Beteiligten die Prozedur des Tests zu ersparen. In diesem Fall ist es einfacher und sinnvoller, eine „Münze zu werfen“ und auf diese Art einer der Hypothesen den Vorrang zu geben.

b) Ein Testverfahren wäre andererseits überfordert, wollte man von ihm verlangen, mit absoluter Sicherheit die wahre Hypothese herauszufinden. Die Erfüllung der Gleichung P(„Eine richtige Entscheidung wird getroffen“) = 1 bleibt daher eine Illusion.

c) Der Testersteller ist somit gehalten, einen akzeptablen Mittelweg zwischen diesen beiden Extremfällen zu suchen. Er ist aufgefordert, die zur Verfügung stehenden verschiedenen Testmethoden optimal und situationsgerecht einzusetzen.

Zwei in der Schule zu behandelnden Methoden, den Alternativtest und den Signifikanz- bzw. Nullhypothesentest, wollen wir hier näher betrachten und deren entscheidenden Unterschiede aufzeigen.

2. Alternativ-Test

2.1. Wesentliche Merkmale des Alternativtests

A) Es handelt sich um zwei sich widersprechende Hypothesen H 1 und H 2 , die gleichzeitig getestet werden sollen.

B) Von den beiden Hypothesen muss genau eine wahr sein.

C) Die den beiden Hypothesen entsprechenden Wahrscheinlichkeiten (bzw. Wahrscheinlichkeitsbereiche) müssen durch ein „verbotenes“ Intervall getrennt sein.

Zur Veranschaulichung des Begriffes „verbotenes“ Intervall betrachte man die Beispiele in Figur 1.

Fig. 1 Veranschaulichung des Begriffes „verbotenes“ Intervall

Das „verbotene“ Intervall bezeichnet also den Wahrscheinlichkeitsbereich, der zwischen den beiden Hypothesen liegt und weder zu H 1 noch zu H 2 gehört.

Meserle: Testen von Hypothesen

_______________________________________________________________________

Sind die Bedingungen A), B) und C) erfüllt, so sind die folgenden Punkte D), E) und F) ebenfalls gesichert. D) Man führt mit einem einzigen Test - wie dieser auch immer ausgehen mag - auf jeden Fall eine Entscheidung (ein Werturteil) herbei.

E) Beide Hypothesen H 1 und H 2 können gleichermaßen relativ hoch abgesichert werden; d.h. man kann dafür sorgen, dass jede der beiden Hypothesen, unter der Voraussetzung, dass sie jeweils wahr ist, den Test mit entsprechend großer Wahrscheinlichkeit unbeschadet (ohne abgelehnt zu werden) übersteht.

F) Die Wahrscheinlichkeit für eine Fehlentscheidung lässt sich beliebig herabsetzen; d.h. die Sicherheit, eine richtige Entscheidung zu treffen, (die sogenannte Sicherheitswahrscheinlichkeit des Tests) lässt sich beliebig erhöhen, falls

a) der Stichprobenumfang hinreichend erhöht wird und

b) das „verbotene“ Intervall genügend groß ist.

2.2. Beispiel für den Alternativtest

An eine Firma werden Schachteln mit elektrischen Widerständen geliefert. Ein Teil davon enthält erste Qualität, das sind Widerstände, von denen nur 10% die vorgeschriebenen Maßtoleranzen nicht einhalten. Die übrigen Schachteln enthalten Widerstände zweiter Qualität mit einem Ausschussanteil von 30%. Leider sind die Aufkleber mit den Qualitätsbezeichnungen aus irgend einem Grunde abhanden gekommen. Für die Weiterverarbeitung ist es aber wichtig die Qualität der Widerstände zu kennen. Angenommen, wir haben eine beliebige Schachtel dieser Lieferung vor uns liegen und wir interessieren uns für das Ereignis „Ein zufällig aus dieser Schachtel entnommener Widerstand ist defekt“; dann existieren für die Wahrscheinlichkeit dieses Ereignisses die beiden widersprüchlichen Hypothesen:

Ferner soll noch die Zusatzinformation (aus dem Lieferschein ersichtlich) bekannt sein: Die ganze Sendung besteht aus 150 Schachteln; davon enthalten genau 100 Schachteln Widerstände erster Qualität und 50 Schachteln lediglich Widerstände zweiter Qualität. Somit trifft auf 100 Schachteln mit Sicherheit die Hypothese H 1 zu und auf 50 Schachteln die Hypothese H 2 .

2.2.1. Allgemeine Berechnung

Um eine Entscheidung über diese beiden Hypothesen treffen zu können, führen wir ein Test-Zufallsexperiment durch, das wir zunächst allgemein formulieren und berechnen. Anschließend werden wir zwei spezielle Zahlenbeispiele anführen. Test-Zufallsexperiment:

„Wir entnehmen eine Stichprobe der Länge n (mit Zurücklegen - obwohl dies in der Praxis allerdings unvernünftig wäre) und registrieren dabei die Häufigkeit Z der gezogenen defekten Widerstände. Unter Verwendung der unten angeführten Entscheidungsregel nehmen wir dann eine der beiden Hypothesen an und erklären, die angenommene Hypothese treffe auf obige Schachtel mit der noch zu bestimmenden Sicherheit zu.“

Es sollen folgende Abkürzungen gelten: A 1 := Annahmebereich für H 1

Meserle: Testen von Hypothesen

_______________________________________________________________________

Die Entscheidungsregel lautet:

Ein zu diesem Experiment passender

Ergebnisraum ist: Ω = (W ∩ I) ∪ (W ∩ II) ∪ (U ∩ I) ∪ (U ∩ II)

• Die Absicherung von H 1 :

• Die Absicherung von H 2 :

• Die Wahrscheinlichkeit für eine Fehlentscheidung P(F): Sinnvoller Weise ist: F := (U ∩ I) ∪ (W ∩ II) Damit folgt:

Wenn die Zusatzinformation (d.h. P(U ) und P(W) ) nicht bekannt ist, ergibt sich wegen P(U) + P(W) = 1 P(F) ≤ Max (P U (I); P W (II))

• Die Sicherheitswahrscheinlichkeit der Entscheidungsregel (d.h. die Wahrscheinlichkeit, durch Anwendung des Tests eine richtige Entscheidung zu treffen) ist somit: 1 − P(F);

2.2.2. Spezielle Zahlenbeispiele

2.2.2.1. Stichprobenlänge n gleich 10

Fig. 2 Binomialverteilung der Stichprobenvariablen für n = 10

Wie in Figur 2 ersichtlich ist, sind folgende

Annahmebereiche sinnvoll: A 1 = {0, 1} und A 2 = {2, 3, 4, 5, 6, 7, 8, 9, 10}

Meserle: Testen von Hypothesen

_______________________________________________________________________ Damit gilt für

• die Absicherung von H 1 :

• die Absicherung von H 2 :

• die Wahrscheinlichkeit, eine Fehlentscheidung zu treffen

- ohne Zusatzinformation:

- mit Zusatzinformation:

• die Sicherheitswahrscheinlichkeit (für eine richtige Entscheidung)

- ohne Zusatzinformation: 1 − P(F) ≥ 0,73610

- mit Zusatzinformation: 1 − P(F) = 0,77430

2.2.2.2. Stichprobenlänge n gleich 100

Fig. 3 Binomialverteilung bzw. Dichtefunktion der Stichprobenvariablen für n = 100

Analog zum letzten Beispiel erkennt man aus

Figur 3 folgende mögliche Annahmebereiche: A 1 = {0, 1, 2, ..., 20} und A 2 = {21, 22, 23, ..., 100} Nun gilt für

• die Absicherung von H 1 :

• die Absicherung von H 2 :

Meserle: Testen von Hypothesen

_______________________________________________________________________

• die Wahrscheinlichkeit, eine Fehlentscheidung zu treffen

- ohne Zusatzinformation:

- mit Zusatzinformation:

• die Sicherheitswahrscheinlichkeit (für eine richtige Entscheidung)

- ohne Zusatzinformation: 1 − P(F) ≥ 0,98354

- mit Zusatzinformation: 1 − P(F) = 0,99397

Vergleicht man die entsprechenden Wahrscheinlichkeitswerte von 2.2.2.1. und 2.2.2.2., so ist jeder weitere Kommentar überflüssig; die Zahlen sprechen für sich!

3. Übergang vom Alternativtest zum Signifikanztest

Wie wir gesehen haben, erlaubt der Alternativtest, sich positiv für eine der beiden Hypothesen zu entscheiden; dabei ist dieses Urteil in hohem Maße zuverlässig. Der wichtigste Grund dafür, mit großer Wahrscheinlichkeit eine richtige Entscheidung treffen zu können, liegt in einem hinreichend großen „verbotenem“ Intervall, welches die beiden Hypothesen trennt.

Folgendes Beispiel, bei dem im Gegensatz zum vorangegangenen Kapitel kein „verbotenes“ Intervall vorhanden ist, soll dies veranschaulichen. Es sei H 1 : p ≤ 0,8 H 2

: p > 0,8 ohne Zusatzinformation.

Fig. 4 Zu beiden Hypothesen gehört im Grenzfall dieselbe Verteilung

bzw. dieselbe Dichtfunktion d(z)

Meserle: Testen von Hypothesen

_______________________________________________________________________

• Die Absicherung von H 1 ist:

• Die Absicherung von H 2 ist:

Die Summe (der unteren Grenze) der beiden Absicherungswahrscheinlichkeiten ist in diesen Fällen (das „verbotene“ Intervall fehlt) stets gleich 1.

• Die Wahrscheinlichkeit, eine Fehlentscheidung zu treffen ist nun:

• Und für die Sicherheitswahrscheinlichkeit dieses Tests, eine richtige Entscheidung zu fällen, folgt: 1 − P(F) ≥ 0,46016

Ein Losentscheid über diese beiden Hypothesen wäre demnach genau so zuverlässig wie die umständliche Prozedur des Alternativtests. Dieser Sachverhalt steht in engem Zusammenhang mit den niedrigen „Absicherungswahrscheinlichkeiten“, die in ihrer Summe den Wert Eins nicht mehr übersteigen können (s.o.). Wir sehen also:

Berühren sich die beiden Wahrscheinlichkeitsbereiche der beiden Hypothesen, so erweist sich die Alternativ-Testmethode, so wie wir sie bisher verwendet haben, als unbrauchbar. Sie muss also abgeändert und ergänzt werden, damit wieder einigermaßen gesicherte Schlussfolgerungen möglich werden. Zu diesem Zweck wurde der sogenannte Signifikanz- oder Nullhypothesentest entwickelt. Grundsätzlich wendet man dabei folgende Strategie an:

Diejenige der beiden Hypothesen, deren irrtümliche Ablehnung folgenschwerer erscheint, wird eindeutig favorisiert und entsprechend hoch abgesichert. Dies geht natürlich - unfairer Weise - auf Kosten der anderen Hypothese. Die hohe Absicherung der favorisierten Hypothese hat zur Folge, dass auch die Wahrscheinlichkeit für deren irrtümlichen „Annahme“ wächst.

Letztendlich ist deshalb nur noch dann eine gesicherte Aussage möglich, wenn es trotz der hohen Absicherung der favorisierten Hypothese zu deren Ablehnung kommt. (Siehe Punkt 4.2.) Die bevorzugte Rolle wird dabei von der Nullhypothese H 0 übernommen, während H 1 den Part der „vernachlässigten“ Hypothese zugesprochen bekommt.

Anders gesagt: Die Hypothese H 1 wird bei dieser Testmethode „hundsgemein“ behandelt. Übersteht H ¹ diesen Test aber trotzdem - indem es zur Ablehnung von H 0 kommt - , so ist der Aussagewert des Tests von entsprechend hohem Rang.

Das Ergebnis spricht dann signifikant gegen H 0 und damit für H 1 .

4. Signifikanz-Test

4.1. Wesentliche Merkmale des Signifikanztests A) Es handelt sich um eine Hypothese H 1 , die getestet werden soll.

B) Man stellt dazu die Gegenhypothese (Nullhypothese) H 0 auf, welche die totale Verneinung der ersten Hypothese H 1 (innerhalb der möglichen Grundmenge) darstellt. Somit ist mit absoluter Sicherheit genau eine der beiden Hypothesen wahr.

C) Die den beiden Hypothesen entsprechenden Wahrscheinlichkeitsbereiche liegen (ohne Intervalllücke!) unmittelbar nebeneinander (Siehe Figur 5).

Meserle: Testen von Hypothesen

_______________________________________________________________________

Fig. 5 Veranschaulichung der beiden sich widersprechenden Hypothesen

H 0 und H 1 , die unmittelbar neben einander liegen, also durch kein „verbotenes“ Intervall getrennt sind

Treffen die angeführten Merkmale zu, ergeben sich drei wichtige Folgerungen (Man beachte dabei den Unterschied zum Alternativtest!):

D) Nicht jedes Testergebnis führt zu einer Entscheidung; d.h. zu einem Werturteil über H 1 . E) Nur eine der beiden Hypothesen kann relativ hoch abgesichert werden. Und zwar wird die Nullhypothese H 0 abgesichert.

F) Die Wahrscheinlichkeit für eine Fehlentscheidung lässt sich „beliebig“ herabsetzen; d.h. die Sicherheit, keine Fehlentscheidung zu treffen, (die sogenannte Sicherheitswahrscheinlichkeit des Tests) lässt sich „beliebig“ erhöhen, falls

a) der Stichprobenumfang hinreichend erhöht wird und b) der Ablehnungsbereich (bezüglich H 0 ) hinreichend eingeengt wird.

4.2. Beispiel für den Signifikanztest

Die allgemeine Berechnung für die Absicherung der Hypothesen und für die Wahrscheinlichkeit einer Fehlentscheidung lässt sich analog zu Punkt 2.2.1. (Alternativtest) durchführen. Wir können die entsprechenden Ergebnisse direkt übertragen und auf den neuen Sachverhalt anwenden. ¹⁾ Nehmen wir folgende typische Aufgabenstellung aus einem Stochastiklehrbuch:

„Groß ist das öffentliche Interesse beim Testen eines neuen Arzneimittels. Einerseits soll der Fortschritt der Medizin nicht aufgehalten werden, andererseits schon gar nicht eine Arznei eingeführt werden, die eher eine Verschlechterung als eine Verbesserung bewirkt. Werden wir konkreter:

Bei Anwendung der bisher üblichen Arznei war die Überlebenschance nach einer bestimmten Erkrankung 80%. Ein Team von Wissenschaftlern behauptet, die „Nova“-Arznei bewirke eine Erhöhung der Überlebenschance.“ Es soll also die Hypothese H 1 : p > 0,8 gegen die Nullhypothese H 0 : p ≤ 0,8 getestet werden.

Wir einigen uns auf folgendes Test-Experiment:

„Es wird eine Stichprobe durchgeführt, indem man 50 Personen, die an dieser bestimmten Krankheit leiden, das Medikament „Nova“ verabreicht und die Häufigkeit Z der die Krankheit überlebenden registriert. Mittels nachstehender Entscheidungsregel sprechen wir nur dann ein Werturteil über H 1 aus, wenn Z in den Ablehnungsbereich von H 0 fällt. Wir erklären dann, das „Nova“-Medikament sei wirkungsvoller und

Meserle: Testen von Hypothesen

_______________________________________________________________________

besser als die herkömmliche Arznei. Kommt es dagegen nicht zur Ablehnung von H 0 , so wird die alte Behandlungsmethode beibehalten. Diese Verhaltensweise soll unsere „Vorsicht“ zum Ausdruck bringen, aber keinesfalls bedeuten, dass das Testergebnis die „Unbrauchbarkeit“ der Neuentwicklung in irgendeiner Weise bestätigt habe.“

Das Signifikanzniveau α sei 0,02; d.h. wir sorgen bei der Erstellung der Entscheidungsregel dafür, dass die Wahrscheinlichkeit für eine irrtümliche Ablehnung der Nullhypothese (also das Risiko 1. Art) kleinergleich α bleibt.

Daraus ergibt sich für H 0 der Nicht-Ablehnungsbereich

Die Entscheidungsregel lautet somit:

Der Ergebnisraum ist (formal anders,

aber inhaltlich analog zu 2.2.1.): = {(w; ab), (w; nab), (f, ab), (f; nab)}, mit Ω

Fig. 6 Dichtefunktion der Stichprobenvariablen beim

„Nova“-Test für den kritischen Wert p = 0,8

• Die Absicherung von H 0 ist: P w (Z∈A) ≥ 1 − α = 0,98

P f (Z∈ A ) ≥ α = 0,02 • Die Absicherung von H 1 ist lediglich:

Meserle: Testen von Hypothesen

_______________________________________________________________________

• Die Wahrscheinlichkeit für eine Fehlentscheidung:

Wir wollen uns hier noch einmal an einem Rechenbeispiel überlegen, wie wir das Ereignis „Fehlentscheidung“ definieren müssen.

a) Ersetzt man fälschlicherweise in der Entscheidungsregel den Fall „H 0 wird nicht abgelehnt“ durch „H 0 wird angenommen“, so muss F = {(w; ab), (f; nab)} gesetzt werden und damit wird

In dieser Gleichung sind die Wahrscheinlichkeiten P({w}) und P({f}) die eigentlichen Unbekannten und zu bestimmenden Größen des Tests.

Da P({w}) also nicht bekannt ist, folgt wegen P({w}) + P({f}) = 1:

Die Sicherheit dieser Entscheidung könnte somit kaum schlechter sein !!!

b) Bei der richtigen Interpretation der Entscheidungsregel besteht das Ereignis „Fehlentscheidung“ also nur aus einem Element: F = {(w; ab)} Somit gilt:

Diese relativ große Sicherheit rechtfertigt die Durchführung des Signifikanztests. In der allgemeinen Formulierung ergibt sich unter Verwendung des Signifikanzniveaus α:

• Die Sicherheit der Entscheidung (die Wahrscheinlichkeit keine Fehlentscheidung zu treffen) ist also mindestens gleich (1 − α); deshalb wird (1 − α) auch als Sicherheitswahrscheinlichkeit bezeichnet.

5. Schlussbemerkungen

5.1. Die Interpretation der Sicherheitswahrscheinlichkeit

Obwohl man einen Test sinnvoller weise nur einmal durchführt, kann man sehr wohl die Sicherheitswahrscheinlichkeit eines Tests auch als „Relative Häufigkeit“ interpretieren. So bedeutet die Feststellung, ein Test könne mit der Sicherheitswahrscheinlichkeit von 98% durchgeführt werden

a) für den Alternativtest:

Werden die beiden Hypothesen H 1 und H 2 1000mal dem gleichen Testverfahren unterzogen, so ²⁾ werden im Mittel 980 richtige und 20 falsche Entscheidungen getroffen.

b) für den Signifikanztest (in etwas anderer Formulierung als üblich):

Wenn man den Test 1000mal - bei inhaltlich gleicher Entscheidungsregel auf verschiedene Nullhypo- thesen mit übereinstimmendem H 0 (z.B.: p ≤ p 0 ) - anwendet, wird man „sehr oft“ keine Entscheidung

Meserle: Testen von Hypothesen

_______________________________________________________________________

(d.h. kein Werturteil über H 1 ) fällen können, aber in weniger als (durchschnittlich) 20 Fällen wird man fälschlicherweise die Gegenhypothese H 1 der (wahren) Nullhypothese vorziehen. Selbst wenn alle 1000 zu testenden Hypothesen H 1 falsch sein sollten, würde die Anzahl der Fehl- ²⁾ entscheidungen den Wert 20 (im Mittel) nicht übersteigen. Siehe auch hier die „Bemerkung“. Wie groß allerdings die Anzahl der entscheidungslosen Testausgänge ist, hängt sehr davon ab, wo die (wahren aber unbekannten) Werte p bezüglich p 0 im Intervall [0; 1] jeweils liegen. Man beachte dabei stets: Die Hypothese H 1 zu Unrecht nicht anzunehmen wird hier nicht als „Fehlurteil“ gewertet.

5.2. Auswahl der Testmethode

Wenn in einem gegebenen Fall die Kriterien (siehe 2.1.) für einen Alternativtest sprechen, ist es natürlich trotzdem möglich, die Methode des Signifikanztests anzuwenden; umgekehrt ist es jedoch keinesfalls sinnvoll anstelle eines Signifikanztests den Alternativtest durchzuführen. (siehe Aufgabenbeispiel in 3.).

5.3. Testergebnisse korrigieren Wahrscheinlichkeiten

Unter Punkt 4.2. wurde es bereits angedeutet:

Die Wahrscheinlichkeit P(„H 1 ist wahr“) = P(W) bzw. P(„H 2 ist wahr“) = P(U) sind die eigentlichen gesuchten Größen.

Jede Wahrscheinlichkeit eines Ereignisses ist prinzipiell eine bedingte Wahrscheinlichkeit und hängt primär von der Kenntnis des Experimentators ab, der das Zufallsexperiment durchführt. Nur unter der Voraussetzung, dass der Experimentator weiß, es handelt sich in einem gegebenen Fall um einen Laplace-Tetraeder, ist die Wahrscheinlichkeit P(„Erscheinen einer bestimmten Seite“) = ¼ gerechtfertigt. Kehren wir mit diesem Gedanken zurück zum Widerstands-Test in Punkt 2.2.2.: Vor der Durchführung des Alternativ-Tests galt aufgrund der Zusatzinformation: ² / 3 und P(U) = ¹ / 3 . P(W) =

Angenommen, wir führen den Test (n = 100) durch und es kommt zur Ablehnung von H 1 , so wäre es durchaus sinnvoll, diese neue Kenntnis in eine verbesserte Wahrscheinlichkeitsangabe einfließen zu lassen:

Für die untersuchte Schachtel gilt nun: P(W) = 0,00603 und P(U) = 0,99397

Dieser letzte Schritt ist natürlich mathematisch nicht zwingend - aber auch nicht verboten; denn die Fundamente der Stochastik (die Axiome von Kolmogorow) lassen jeden Weg offen, den Ereignissen brauchbare Wahrscheinlichkeiten zuzuordnen. Und die so gewonnene neue Wahrscheinlichkeit lässt sich - wie jede sinnvolle Wahrscheinlichkeit - in einer geeigneten Versuchsfolge als „Relative Häufigkeit“ deuten, „nachprüfen“ und - wenn man möchte - noch weiter „verbessern“.

¹⁾ [1] Hofmann, W.: Das Testen von Hypothesen, München, bsv 1986, S. 84

²⁾ Bemerkung: Die Ausdrücke „im Mittel“ und „durchschnittlich“ haben in diesem Zusammenhang natürlich nur einen Sinn, wenn die 1000-er Testserie entsprechend oft wiederholt wird. Weitere Literatur:

[2] J. Feuerpfeil u. F. Heigl: Wahrscheinlichkeitsrechnung und Statistik , München, bsv 1987 [3] F. Barth u, R. Haller: Stochastik, München, Ehrenwirt 1983 [4] A. Engel: Wahrscheinlichkeitsrechnung und Statistik, Band 1, Stuttgart, Klett 1973