Logistische Regression - Die Anwendung des Logit- und Probit-Modells

1. Einleitung und Anwendungsfelder der logistischen Regression

In vielen Bereichen der Wissenschaft wie auch der Praxis in Wirtschaft, Politik usw. geht es darum, die Wahrscheinlichkeit für das Eintreten eines bestimmten Ereignisses zu ermitteln. Im Bereich des Marketing etwa ist es interessant zu wissen, welche Einflussgrößen die Kaufwahrscheinlichkeit erhöhen, im Bereich der Medizin geht es darum, welche Faktoren das Risiko einer Erkrankung erhöhen und in der Politik wird es von Interesse sein, die Auswirkungen bestimmter Größen auf die Wahrscheinlichkeit gewählt zu werden zu bestimmen. Alle diese Ereignisse lassen sich als dichotome (binäre) Variablen betrachten (Kauf – Nichtkauf, Erkrankung – Nichterkrankung, Wahl – Nichtwahl, usw.). Im Folgenden wird das Eintreten eines solchen Ereignisses als 1 und das Nichteintreten als 0 gekennzeichnet (vgl. Backhaus u. a.; Litz; Hamilton; Hartung/Elpelt; Andreß/Hagenaars/Kühnel; Tutz; Voß). Die Beziehung zwischen den Eintrittswahrscheinlichkeiten lassen sich folgendermaßen darstellen (vgl. Backhaus, S. 418):

= = + =

1 ) 1 ( ) 0 ( y P y P

Die Wahrscheinlichkeit für das Eintreten des Ereignisses (abhängige/endogene/erklärte Variable bzw. Regressand oder auch Prognosevariable genannt) beträgt also 1 minus die Wahrscheinlichkeit für das Nichteintreten des Ereignisses. Mit Hilfe der logistischen Regression lassen sich nun die Wahrscheinlichkeiten für das Eintreten eines Ereignisses berechnen. Dieses Verfahren weist einerseits Ähnlichkeiten mit der Diskriminanzanalyse auf, indem es sich um einen Zwei-Gruppen-Fall handelt. Andererseits bestehen Ähnlichkeiten zur linearen Regressionsanalyse, da über einen Regressionsansatz die Einflussgrößen (unabhängige/exogene/erklärende Variablen bzw. Regressor oder auch Prädiktorvariable genannt) gewichtet werden (vgl. Backhaus, S. 418). Wie bei der linearen Regression kann es sich dabei um dichotome oder metrische Einflussgrößen handeln. Die wesentlichen Unterschiede zur linearen Regression werden im folgenden Abschnitt aufgezeigt. Kapitel drei geht dann vertiefend auf die logistische Regression ein und Kap. 4 widmet sich schließlich dem Logit- und dem Probit-Modell. Da, wie im Verlauf dieser Arbeit festgestellt, die Logit- und Probit-Analyse in SPSS (dem Standardprogramm für Sozial- und Wirtschaftswissenschaftler) nur mangelhaft implementiert ist, beziehen sich die meisten Ausführungen dieser Arbeit auf die logistische Regression (die im Gegensatz zum Logit- und Probit-Modell Einzelfalldaten untersucht).

3

2. Unterschiede zur linearen Regression

Während es sich beim linearen Ansatz um metrisch skalierte abhängige Variablen handelt, deren Wert durch die Regressionsgerade vorausgesagt werden soll, geht es beim logistischen Ansatz darum, die Eintrittswahrscheinlichkeit eines bestimmten Ereignisses zu ermitteln (vgl. Backhaus, S. 419). Wie dies zu Problemen führt, sei nachfolgend veranschaulicht. In diesem fiktiven Beispiel soll der Einfluss des Lernaufwandes in Stunden auf das Bestehen einer Prüfung untersucht werden. Abb. 1 zeigt ein Streudiagramm mit den Werten von zehn Personen (Prüfung bestanden = 1, nicht bestanden = 0). Die aufgrund der linearen Regressionsfunktion gezeichnete Gerade geht klar ersichtlich über den zulässigen Wertebereich hinaus, d. h., sie nimmt Werte unter 0 bzw. über 1 an.

Die Eintrittswahrscheinlichkeit eines Ereignisses kann somit mit einer linearen Regression nicht geschätzt werden (vgl. Backhaus, S. 421-422). Der lineare Regressionsansatz

unterstellt eine Streuung von [ ] +∞ ∞ − ; lung der Residualgröße k

tens entstehen bei Anwendung der linearen Regression unplausible Schätzwerte, wie oben

4

bereits gezeigt wurde. Die logistische Regression versucht nun, durch Unterstellung der latenten Variable Z, die Eintrittswahrscheinlichkeit eines beobachtbaren Ereignisses zu schätzen (vgl. Backhaus, S. 422-423).

> ⎧

Z wird dabei als aggregierte Einflussstärke bezeichnet, von welcher die Eintrittswahrscheinlichkeit abgeleitet wird. Diese Funktion ist noch immer linear. Um nun Werte zwischen 0 und 1 zu erreichen, wird auf die logistische Funktion als Wahrscheinlichkeitsfunktion zurückgegriffen (vgl. Backhaus, S. 423):

1

=

+

e 1

Unter Einsetzen des jeweiligen Z-Wertes erhält man sodann die logistische Regressionsgleichung (vgl. Backhaus, S. 423):

1

Die Z-Werte bezeichnet man auch als Logits (vgl. Backhaus, S. 423). Daraus lassen sich nun die Wahrscheinlichkeiten für das Bestehen der Prüfung in Abhängigkeit des Lernaufwandes in Stunden (vgl. obiges Beispiel) berechnen und in folgender Abb. 2. darstellen.

5

Diese Funktion weist einen s-förmigen Verlauf auf, nimmt nur Werte zwischen 0 und 1 an = = und ist immer um den Wendepunkt bei P

Hieraus können also im Gegensatz zu Abb. 1 die Wahrscheinlichkeiten abgelesen werden.

2.1 Exkurs: Binomialverteilung

Dabei handelt es sich um eine diskrete Verteilung mit zwei möglichen Ergebnissen. D. h., jedem Ereignis lässt sich eine bestimmte Wahrscheinlichkeit zuordnen. Für die Wahrschein- P = − = 1 lichkeiten gilt (vgl. Kap. 1):

sind von vorangegangenen Ereignissen unabhängig. Die Verteilungsfunktion von diskreten Zufallsvariablen ergibt sich durch Addition der Wahrscheinlichkeiten (vgl. Voß, S. 313):

∑

= F

Die Auftretenswahrscheinlichkeit ist somit die entscheidende Größe im Rahmen dieser Ver-teilungsform (vgl. Tutz, S. 9).

6