Inhaltsverzeichnis  I

Inhaltsverzeichnis

1  Einleitung  1

2  Lineare Regression  3

2.1  Das einfache lineare Regressionsmodell  3

2.2  Das multiple lineare Regressionsmodell  5

2.3  Sch atzung der Modellparameter  6

2.4  Test auf Einfluss der Regressoren  8

2.5  G ute der Anpassung  9

3  Nichtparametrische Regression  10

3.1  Univariate Gl attung  10

3.1.1  Polynom-Splines  11

3.1.2  Penalisierte Splines  15

3.1.3  Gl attungssplines  22

3.1.4  Lokal gewichtete Regression  24

3.1.5  Konfidenzb ander  26

3.1.6  Gl attungsparameterwahl  27

3.2  Additive Modelle  29

3.2.1  Sch atzung der additiven Funktionen  30

3.2.2  Modellierung von Interaktionen  32

3.2.3  Modellwahl  32

4  Renditeberechnung und Indikatoren zur Aktienbewertung  36

4.1  Diskrete und stetige Rendite  38

4.2  Kurs-Gewinn-Verh altnis  39

4.3  Momentum  40

5  Empirische Untersuchung der Renditeanomalien von Aktien  41

5.1  Modelle f ur die Aktienrendite in der Industriebranche  42

5.1.1  Lineare Modelle  42

5.1.2  Nichtparametrische Regression  44

5  2 Betrachtung einzelner L ander  52

  Inhaltsverzeichnis  II

5.2.1  Untersuchung des Einflusses des Kurs-Gewinn-Verh altnisses und  

  des Momentums auf die Rendite  52

5.2.2  J ahrliche Modellierung  60

5.3  Vertiefte Untersuchung des Momentums  66

5.3.1  Univariate Modelle  67

5.3.2  Multivariate Modelle  70

5.3.3  Modelle f ur die einzelnen L ander  78

6  Schlussbetrachtungen  88

6.1  Zusammenfassung  88

6.2  Ausblick  91

A  Anhang  96

  A.1 Die Daten  96

A  2 Abbildungen zu den Modellen f ur die Aktienrendite in der Industriebranche  98

Tabellenverzeichnis III   

  Tabellenverzeichnis  

1  In dieser Arbeit verwendete Indikatoren zur Aktienbewertung  37

2  Ergebnisse der nichtparametrischen Regressionsmodelle  45

3  Ergebnisse der nichtparametrischen Regressionsmodelle f ur die USA, Ja-  

  pan und China  53

4  Ergebnisse der nichtparametrischen Regressionsmodelle f ur Kanada, Bra-  

  silien und Australien  54

5  J ahrliche flexible Modellierung des Einflusses von PER auf die Rendite in  

  den USA, Japan, China, Kanada, Australien und Brasilien  62

6  Ergebnisse der nichtparametrischen Regressionsmodelle mit den uber ver-  

  schieden lange Zeitr aume berechneten Momenta als Pr adiktoren  67

7  Vergleich der AIC-Werte des univariaten Modells mit den AIC-Werten  

  der Modelle mit zwei Momenta als Einflussgr oßen mit und ohne Interaktion  72

8  Vergleich der AIC-Werte zwischen einfachem additiven Modell und Modell  

  mit Interaktion  76

9  Signifikanz des Einflusses verschiedener Momenta in den USA, Japan,  

  China, Kanada, Brasilien und Australien  79

10  Vergleich der AIC-Werte des univariaten Modells mit den AIC-Werten der  

  Modelle mit zwei Momenta als Einflussgr oßen mit und ohne Interaktion  

in  den USA, Japan und China  81

11  Vergleich der AIC-Werte des univariaten Modells mit den AIC-Werten der  

  Modelle mit zwei Momenta als Einflussgr oßen mit und ohne Interaktion  

in  Kanada, Brasilien und Australien  82

12  Prozentuale Anteile der verschiedenen L ander an den verwendeten Daten  96

13  Auszug aus dem Datensatz zu den Kapiteln 5.1 und 5.2  97

2  - und AIC-Werte des einfachen additiven Modells und des Modells mit  

14  R  

  Interaktion f ur die verschiedenen Momenta-Kombinationen  116

  Abbildungsverzeichnis  

1  B-Splines vom Grad l 1 (links oben), l 2 (rechts oben) und l 3 (links  

  unten) mit aquidistanten Knoten auf dem Intervall 0,1000  14

  Abbildungsverzeichnis  IV

2  R-Output des linearen Modells f ur die Aktienrendite mit PER und M gesamt  

  als Pr adiktoren und Interaktion  43

3  Residuenplot des linearen Modells f ur die Aktienrendite mit PER und  

M  gesamt als Pr adiktoren und Interaktion  44

4  Glatter Effekt von M gesamt mit punktweisen Konfidenzb andern und  

  durch generalisierte Kreuzvalidierung bestimmten Gl attungsparameter  46

5  Glatter Effekt von M gesamt mit punktweisen Konfidenzb andern und sub-  

  jektiv gew ahlten Gl attungsparameter  46

6  Glatter Effekt von PER mit punktweisen Konfidenzb andern  47

7  Glatte Effekte von M gesamt und PER in einem additiven Modell mit  

  punktweisen Konfidenzb andern  48

8  Glatte Effekte von Jahr und M gesamt in einem additiven Modell mit  

  punktweisen Konfidenzb andern  49

9  Glatte Effekte von Jahr und PER in einem additiven Modell mit punkt-  

  weisen Konfidenzb andern  50

10  Glatte Effekte von Jahr, M gesamt und PER in einem additiven Modell  

  mit punktweisen Konfidenzb andern  51

11  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße  68

2  -Werte der nichtparametrischen Regressionsmodelle mit dem  

12  R uber ver-  

  schieden lange Zeitr aume berechneten Momentum als Einflussgr oße auf  

  die Rendite  70

13  AIC-Werte der nichtparametrischen Regressionsmodelle mit dem uber  

  verschieden lange Zeitr aume berechneten Momentum als Einflussgr oße  

  auf die Rendite  70

14  Bivariate Funktionssch atzung des Einflusses von M60 gesamt und M360 gesamt  

  auf die Rendite  77

15  Bivariate Funktionssch atzung des Einflusses von M120 Land und M900 Land  

  auf die Rendite in den USA  83

16  Bivariate Funktionssch atzung des Einflusses von M360 Land und M630 Land  

  auf die Rendite in Japan  84

17  Bivariate Funktionssch atzung des Einflusses von M240 Land und M450 Land  

  auf die Rendite in China  85

  Abbildungsverzeichnis  V

18  Bivariate Funktionssch atzung des Einflusses von M90 Land und M360 Land  

  auf die Rendite in Kanada  86

19  Bivariate Funktionssch atzung des Einflusses von M540 Land und M900 Land  

  auf die Rendite in Brasilien  87

20  Bivariate Funktionssch atzung des Einflusses von M180 Land und M240 Land  

  auf die Rendite in Australien  88

21  Regressionsbaum zur Modellierung des Einflusses des Preis-Buchwert-  

  Verh altnisses, des Kurs-Gewinn-Verh altnisses und des Momentums auf  

  die Rendite in Kanada  94

22  Flexible Modellierung der Rendite mit M Land, PER bzw. beiden Varia-  

  blen gleichzeitig als Einflussgr oßen in den USA  98

23  Flexible Modellierung der Rendite mit zeitlicher Gl attung und M Land,  

  PER bzw. beiden Variablen gleichzeitig als Einflussgr oßen in den USA  99

24  Flexible Modellierung der Rendite mit M Land, PER bzw. beiden Varia-  

  blen gleichzeitig als Einflussgr oßen in Japan  100

25  Flexible Modellierung der Rendite mit zeitlicher Gl attung und M Land,  

  PER bzw. beiden Variablen gleichzeitig als Einflussgr oßen in Japan  101

26  Flexible Modellierung der Rendite mit M Land, PER bzw. beiden Varia-  

  blen gleichzeitig als Einflussgr oßen in China  102

27  Flexible Modellierung der Rendite mit zeitlicher Gl attung und M Land,  

  PER bzw. beiden Variablen gleichzeitig als Einflussgr oßen in China  103

28  Flexible Modellierung der Rendite mit M Land, PER bzw. beiden Varia-  

  blen gleichzeitig als Einflussgr oßen in Kanada  104

29  Flexible Modellierung der Rendite mit zeitlicher Gl attung und M Land,  

  PER bzw. beiden Variablen gleichzeitig als Einflussgr oßen in Kanada  105

30  Flexible Modellierung der Rendite mit M Land, PER bzw. beiden Varia-  

  blen gleichzeitig als Einflussgr oßen in Brasilien  106

31  Flexible Modellierung der Rendite mit zeitlicher Gl attung und M Land,  

  PER bzw. beiden Variablen gleichzeitig als Einflussgr oßen in Brasilien  107

32  Flexible Modellierung der Rendite mit M Land, PER bzw. beiden Varia-  

  blen gleichzeitig als Einflussgr oßen in Australien  108

33  Flexible Modellierung der Rendite mit zeitlicher Gl attung und M Land,  

  PER bzw beiden Variablen gleichzeitig als Einflussgr oßen in Australien  109

  Abbildungsverzeichnis  VI

34  J ahrliche Betrachtung des Einflusses des Kurs-Gewinn-Verh altnisses auf  

  die Rendite in den USA  110

35  J ahrliche Betrachtung des Einflusses des Kurs-Gewinn-Verh altnisses auf  

  die Rendite in Japan  111

36  J ahrliche Betrachtung des Einflusses des Kurs-Gewinn-Verh altnisses auf  

  die Rendite in China  112

37  J ahrliche Betrachtung des Einflusses des Kurs-Gewinn-Verh altnisses auf  

  die Rendite in Kanada  113

38  J ahrliche Betrachtung des Einflusses des Kurs-Gewinn-Verh altnisses auf  

  die Rendite in Brasilien  114

39  J ahrliche Betrachtung des Einflusses des Kurs-Gewinn-Verh altnisses auf  

  die Rendite in Australien  115

40  AIC-Werte der Modelle mit M60 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  117

41  AIC-Werte der Modelle mit M90 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  117

42  AIC-Werte der Modelle mit M120 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  117

43  AIC-Werte der Modelle mit M180 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  118

44  AIC-Werte der Modelle mit M240 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  118

45  AIC-Werte der Modelle mit M300 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  118

46  AIC-Werte der Modelle mit M360 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  119

47  AIC-Werte der Modelle mit M450 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  119

48  AIC-Werte der Modelle mit M540 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  119

49  AIC-Werte der Modelle mit M630 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  120

50  AIC-Werte der Modelle mit M720 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  120

  Abbildungsverzeichnis  VII

51  AIC-Werte der Modelle mit M810 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  120

52  AIC-Werte der Modelle mit M900 gesamt in Kombination mit einem an-  

  deren Momentum mit und ohne Interaktion  121

53  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße in den USA  122

54  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße in Japan  123

55  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße in China  124

56  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße in Kanada  125

57  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße in Brasilien  126

58  Flexible Modellierung der Rendite mit dem Momentum, berechnet uber  

  verschieden lange Zeitr aume, als Einflussgr oße in Australien  127

1 1 Einleitung

1 Einleitung

In dieser Arbeit sollen Renditeanomalien von Aktien untersucht werden. Man spricht von einer Anomalie, wenn die Rendite nicht durch ein g¨ angiges Modell der erwarteten Rendite erkl¨ art werden kann, wobei das sogenannte Capital Asset Pricing Model (kurz ¹ Dieses Modell geht zur¨ uck auf die Arbeiten von Sharpe CAPM) wohl das Gel¨ aufigste ist.

(1964) und Lintner (1965) und besagt, dass man h¨ ohere Renditen nur durch ¨ Ubernahme ² zus¨ atzlichen Risikos erzielen kann. Die mathematische Formulierung des CAPM lautet

E(R s ) = R rf + β(E(R M ) − R rf ).

Hierbei bezeichnet R s die Rendite einer Aktie, R rf die Rendite einer risikolosen Anlage und R M die Rendite des Marktportfolios, welches aus allen vorhandenen risikobehafte- ³ undgibt an, wie stark ten Wertpapieren besteht. β wird als Marktfaktor bezeichnet

die Rendite der betrachteten Aktie auf eine Ver¨ anderung der Differenz (E(R M ) − R rf ) reagiert. Bei einem sehr kleinen β ver¨ andert sich die Rendite kaum. Das Risiko ist also gering, man kann aber auch keine viel h¨ ohere Rendite als die der risikofreien Anlage erwarten. F¨ ur große Werte von β reagiert die Rendite stark auf Ver¨ anderungen der Dif- ferenz (E(R M ) − R rf ). Sie unterliegt also st¨ arkeren Schwankungen und beinhaltet damit ein h¨ oheres Risiko, aber man kann mit einer solchen Aktie h¨ ohere Renditen erzielen. In einigen Arbeiten zu diesem Thema, zum Beispiel von Fama / French (1996) , wurde das CAPM jedoch kritisiert und bessere Modellierungsans¨ atze f¨ ur die Rendite gefunden, so dass man auch ohne zus¨ atzliches Risiko durch Selektion der Aktien anhand bestimmter Indikatoren eine h¨ ohere Rendite erzielen kann.

Zur Untersuchung dieser Renditeanomalien sollen nun Regressionsmodelle mit der Aktienrendite als abh¨ angige Variable und verschiedenen Indikatoren zur Aktienbewertung als unabh¨ angige Variablen gefittet werden. Man m¨ ochte damit herausfinden, ob und auf welche Weise diese Indikatoren die Rendite beeinflussen, so dass damit eine m¨ ogliche Hilfestellung geliefert werden kann, um entsprechende Anlageentscheidungen zu treffen. Als Indikatoren werden hier das Kurs-Gewinn-Verh¨ altnis sowie das Momentum, berechnet ¨ uber verschieden lange Zeitr¨ aume, verwendet. Die Modellierung geschieht zun¨ achst durch klassische lineare Regression, wozu schon einige Studien durchgef¨ uhrt wurden,

¹ Vgl. Fama / French (1996, S. 55).

² Vgl. Petersmeier (2003, S. 370).

³ Vgl. Coggin / Fabozzi (2003, S. 61).

1 Einleitung

zum Beispiel von Fama / French (1992), Pesaran / Timmermann (1994) und Pontiff / Schall (1998). Allerdings erscheint es nicht immer als gerechtfertigt, von einem linearen Zusammenhang zwischen den Indikatoren und der Rendite auszugehen. Haugen (2001, S. 21f) beschreibt zum Beispiel einen nichtlinearen Zusammenhang zwischen der erwarteten Rendite und dem sogenannten Interest-Rate-Beta, also der Sensitivit¨ at, mit der die Rendite einer Aktie auf eine ¨ Anderung des Zinssatzes reagiert. Um solch einen

nichtlinearen Zusammenhang modellieren zu k¨ onnen, braucht man also eine flexiblere Methode als die lineare Regression. Petersmeier (2003) beispielsweise verwendet in ihrer Arbeit die Kernregression als nichtparametrisches Verfahren zur Modellierung der Aktienrendite, weist aber gleichzeitig auf einige Nachteile dieses speziellen nichtparametrischen Verfahrens, wie zum Beispiel die ad¨ aquate Behandlung hochdimensionaler ⁴ Deshalb sollen hier andere nichtparametrische Methoden als die Sch¨ atzprobleme, hin.

Kernregression verwendet werden, um den Einfluss der Indikatoren auf die Aktienrendite flexibel zu modellieren. Mit diesen nichtparametrischen Regressionsmodellen befasst sich der Hauptteil dieser Arbeit.

In Kapitel 2 und 3 werden die f¨ ur die Untersuchung notwendigen statistischen Grundlagen, n¨ amlich die lineare und die nichtparametrische Regression, erkl¨ art. Kapitel 4 beschreibt die Indikatoren zur Aktienbewertung, die f¨ ur die Regressionsmodelle als m¨ ogliche Pr¨ adiktorvariablen verwendet werden, n¨ amlich das Kurs-Gewinn-Verh¨ altnis und das Momentum. Außerdem wird hier kurz auf verschiedene Methoden zur Berechnung der Aktienrendite eingegangen. In Kapitel 5 findet dann die eigentliche Untersuchung statt, wobei Aktien von Unternehmen aus der Industriebranche weltweit im Zeitraum von 1993 bis 2007 als Datengrundlage dienen. In Kapitel 5.1 werden zuerst globale Modelle ¨ uber alle diese Unternehmen gefittet, bevor in Kapitel 5.2 einzelne L¨ ander, n¨ amlich die USA, Japan, China, Kanada, Brasilien und Australien, vertieft betrachtet werden. Hier findet auch eine j¨ ahrliche Untersuchung der Zusammenh¨ ange statt, um verschiedene Phasen in den L¨ andern aufzudecken. Bei der Betrachtung von Kapitalm¨ arkten geht man n¨ amlich davon aus, dass sich sogenannte Value- und Growth-Phasen abwechseln. Value und Growth sind zwei verschiedene Anlagestrategien. Nach dem Value-Ansatz werden Aktien ausgesucht, die auf Basis einer bestimmten Kennzahl als preiswert ein- ⁵ H¨aufig wird hierbei, zur¨ uckgehend auf die Arbeit von Fama / gestuft werden k¨ onnen.

French (1992), das Buch-Marktwert-Verh¨ altnis verwendet, also das Verh¨ altnis zwischen

⁴ Vgl. Petersmeier (2003, S. 132).

⁵ Vgl. Haugen (2001, S. 97).

3 2 Lineare Regression

dem Buchwert einer Aktie und der Einsch¨ atzung ihres Wertes durch den Markt. Aktien mit hohem Buch-Marktwert-Verh¨ altnis werden dabei als Value-Aktien einstuft. Es werden aber auch andere Kennzahlen, wie zum Beispiel das Kurs-Gewinn-Verh¨ altnis (siehe Kapitel 4.2), zur Ermittlung von Value-Aktien benutzt. Diese Kennzahl soll f¨ ur die Untersuchungen in der vorliegenden Arbeit verwendet werden, wobei Aktien mit einem niedrigen Kurs-Gewinn-Verh¨ altnis als Value-Aktien klassifiziert werden k¨ onnen. In Value-Phasen erzielen solche Aktien eine h¨ ohere Rendite. Nach dem Growth-Ansatz fokussiert man sich dagegen auf die Zukunftsaussichten eines Unternehmens. Man kauft also Aktien eines Unternehmens, von dem man ein starkes Gewinnwachstum erwartet, ⁶ In Growth-Phasen haben diese Aktien selbst wenn sie momentan eher teuer erscheinen. eine h¨ ohere Rendite.

In Kapitel 5.3 wird schließlich das Momentum als Einflussgr¨ oße vertieft betrachtet, welches hierf¨ ur ¨ uber verschieden lange Zeitr¨ aume berechnet wurde, um zun¨ achst anhand von Modellen mit jeweils nur einem dieser Momenta als Pr¨ adiktorvariable herauszufinden, welcher Berechnungszeitraum des Momentums am geeignetsten zur Modellierung der Rendite ist. Danach sollen aber auch Modelle mit mehr als einem Momentum als Einflussgr¨ oße gefittet werden um herauszufinden, welche Momenta-Kombination zu einem besonders guten Modell f¨ ur die Rendite f¨ uhrt und um m¨ oglicherweise Wechselwirkungen zwischen kurz- und l¨ angerfristigen Momenta zu entdecken. Abschließend findet noch eine kurze Betrachtung der entsprechenden Zusammenh¨ ange in den einzelnen L¨ andern statt.

2 Lineare Regression

In dieser Arbeit sollen zun¨ achst lineare Zusammenh¨ ange zwischen der Rendite und verschiedenen Indikatoren zur Aktienbewertung untersucht werden. Dies soll mit Hilfe von linearen Regressionsmodellen geschehen, die versuchen, den Zusammenhang zwischen einer abh¨ angigen bzw. zu erkl¨ arenden Variablen Y (auch Regressand, Response, Zielvariable) und einer oder mehreren unabh¨ angigen bzw. erkl¨ arenden Variablen X 1 , ..., X ^K (auch Regressoren, Pr¨ adiktoren, Kovariablen) zu modellieren.

⁶ Vgl. Kleeberg / Rehkugler (1998, S. 824).

2 Lineare Regression

2.1 Das einfache lineare Regressionsmodell

Im einfachen linearen Regressionsmodell wird der Zusammenhang zwischen einer abh¨ angigen Variablen Y und einer unabh¨ angigen Variablen X untersucht. Die entsprechende Modellgleichung lautet

y = β 0 + β 1 x + ǫ. (1)

Nach der Beobachtung einer Stichprobe vom Umfang T l¨ asst sich die Gleichung schreiben als

y t = β 0 + β 1 x t + ǫ t (t = 1, ..., T ) (2)

bzw. in Matrixnotation

y = Xβ + ǫ, (3)

mit

     

 , β =  .  , X =         

β 0 ist der Intercept und β 1 ist der Steigungsparameter der Regressionsgeraden. Diese beiden Parameter werden als Regressionskoeffizienten bezeichnet. F¨ ur die unbeobachtbaren Fehlerkomponenten ǫ t nimmt man an, dass sie unabh¨ angig und identisch verteilte ² . ⁷ Zufallsvariablen sind mit einem Erwartungswert von Null und konstanter Varianz σ Daraus folgt, dass die y t ebenfalls unabh¨ angig sind mit

² . E(y t ) = β 0 + β 1 x t und Var(y t ) = σ (4)

H¨ aufig nimmt man zus¨ atzlich an, dass die Fehler ǫ t einer Normalverteilung folgen. ² sind im Allgemeinen unbekannt und sollen gesch¨ atzt werden. Die Parameter β 0 , β 1 und σ

⁷ Vgl. Rao et al. (2008, S. 7).

2 Lineare Regression

2.2 Das multiple lineare Regressionsmodell

Das multiple lineare Regressionsmodell l¨ asst sich als Verallgemeinerung des einfachen linearen Regressionsmodells mit mehr als einer Einflussgr¨ oße auffassen. Hier wird also der Zusammenhang zwischen der abh¨ angigen Variable Y und K erkl¨ arenden Variablen X 1 , ..., X K untersucht. Das entsprechende Modell lautet

y = β 0 + β 1 x 1 + ... + β K x K + ǫ. (5)

Nach der Beobachtung einer Stichprobe vom Umfang T l¨ asst sich die Gleichung schreiben als

y t = β 0 + β 1 x t1 + ... + β K x tK + ǫ t (t = 1, ..., T ) (6)

bzw. in Matrixnotation

y = Xβ + ǫ, (7)

mit

       

 y =  , X =  , β =  , ǫ =  .        

   

⁸ Es werden ¨ ublicherweise folgende Modellannahmen getroffen:

• E(ǫ) = 0,

² I T , • E(ǫǫ ^′ ) = σ

• X besitzt vollen Spaltenrang, d.h. Rang(X) = K + 1 = p,

• X ist eine nicht-stochastische Matrix und

⁸ Vgl. Rao et al. (2008, S. 34).

2 Lineare Regression

² I T ). • ǫ ∼ N (0, σ

Da y = Xβ + ǫ gilt, folgt aus der letzten Annahme f¨ ur y:

² I T ). y ∼ N (Xβ, σ (8)

y folgt also einer Normalverteilung mit Erwartungswertvektor Xβ und der Kovarianz- ² I T . matrix σ

2.3 Sch¨ atzung der Modellparameter

Eine der popul¨ arsten Methoden zur Sch¨ atzung der Regressionskoeffizienten ist die Kleinste- ⁹ Manm¨ ochte hierbei β so sch¨ atzen, dass die Residuenquadratsum-Quadrate-Sch¨ atzung. me

^′ Xβ − 2β

minimiert wird. Differenzieren von (9) nach β ergibt:

¹⁰ Setzt man die erste Ableitung gleich Gleichung (11) ist zumindest nichtnegativ definit. Null, so erh¨ alt man ein System von sogenannten Normalgleichungen

^′ X ˆ ^′ y. β = X (12) X

Besitzt X vollen Rang, so ist X ^′ X als positiv definite Matrix invertierbar und es ergibt

sich als eindeutige L¨ osung der Normalgleichungen der Kleinste-Quadrate-Sch¨ atzer (kurz

⁹ Vgl. Rao et al. (2008, S. 35).

10 ^′ Av ≥ 0 f¨ ur Eine symmetrische (n × n)-Matrix A wird als nichtnegativ definit bezeichnet, falls v

^′ Av > 0 f¨ ur alle Vektoren v ∈ R alle Vektoren v ∈ R ⁿ ; gilt sogar v ⁿ \ {0}, so wird A als positiv

definit bezeichnet (vgl. Schmidt / Trenkler (1998, S. 82f)).

2 Lineare Regression

KQ-Sch¨ atzer)

ˆ ⁻¹ X ^′ X) ^′ y. β = (X (13)

¹¹ die beste lineare erwar-Diese Sch¨ atzung ist nach dem GAUSS-MARKOV-Theorem tungstreue Sch¨ atzung f¨ ur β. Damit ergibt sich als Sch¨ atzung f¨ ur y

y = X ˆ ⁻¹ X ^′ X) ^′ y = P y ˆ β = X(X (14)

mit der (T × T )-Matrix ⁻¹ X ^′ X) ^′ . P = X(X (15)

¹² Sie ist symmetrisch und Die Matrix P wird Prediction- oder Hat-Matrix genannt. idempotent und besitzt den Rang p. Auch die Matrix M = (I − P ) ist symmetrisch und idempotent. Sie besitzt den Rang T − p und es gilt:

ˆ ǫ = M ǫ, (16)

denn

= (I − X(X

Das heißt, M ǫ ergibt die gesch¨ atzten Residuen. Mit Hilfe dieser l¨ asst sich

1 1

^′ ˆ ² = ^′ M ǫ s ˆ ǫ = (17) ǫ ǫ

T − p T − p ² berechnen. ¹³ als erwartungstreue Sch¨ atzung der Varianz σ

¹¹ Vgl. Toutenburg (2003, S. 109).

¹² Vgl. Toutenburg (2003, S. 343).

¹³ Vgl. Rao et al. (2008, S. 46).

2 Lineare Regression

2.4 Test auf Einfluss der Regressoren

Tests zur ¨ Uberpr¨ ufung des Einflusses einzelner Regressoren X i (i = 1, ..., K) erfolgen mit dem t-Test, der untersucht, ob sich der Regressionskoeffizient β i signifikant von Null

¹⁴ Es wird hier also unterscheidet.

H 0 : β i = 0 gegen H 1 : β i = 0

getestet. Als Teststatistik verwendet man

mit β i = 0. Wegen (8) und (13) folgt:

ˆ ² (X ⁻¹ ). ^′ X) β ∼ N (β, σ (19)

² erhielten wir nach (17) Als Sch¨ atzung f¨ ur σ

1

^′ ˆ ² = s ˆ ǫ ǫ,

T − p

womit sich als gesch¨ atzte Varianz f¨ ur ˆ β i

ˆ ^{−1 2} (X ^′ X) V ar(β i ) = s ii , (20)

also das i-te Diagonalelement der Kovarianzmatrix von ˆ β, ergibt. Die Verteilung der Teststatistik t l¨ asst sich durch folgende ¨ Uberlegungen herleiten: Gleichung (18) l¨ asst sich erweitern zu

¹⁴ Vgl. Neter et al. (1989, S. 243).

2 Lineare Regression

Der Z¨ ahler ist offensichtlich standardnormalverteilt. Der Nenner l¨ asst sich umformen zu

T − p

^{1 2} I T ) folgt Aus ǫ ∼ N (0, σ ǫ ∼ N (0, I T ). Außerdem ist die Spur von M gleich T −p und

σ

² -Verteilung mit T − p Freiheitsgrasomit ergibt sich, dass der quadrierte Nenner einer χ

den folgt. Die Teststatistik t ist also als Quotient einer Standardnormalverteilung und

² -Verteilung, dividiert durch die Anzahl ihrer Freiheitsgrade, t-verteilt der Wurzel einer χ

¹⁵ Um nun zu testen, ob die Variable X i einen Einfluss auf mit T − p Freiheitsgraden.

Y hat, legt man zun¨ achst ein Signifikanzniveau α fest, berechnet dann die Teststatistik nach (18) und kann dann H 0 zum Niveau α ablehnen, falls gilt:

|t| > t 1− , α

2

^α wobei t 1− das 1 − -Quantil der t-Verteilung bezeichnet. Diese Quantile sind zum ^{α 2} 2

Beispiel in B¨ uning / Trenkler (1994, S. 372) tabelliert.

2.5 G¨ ute der Anpassung

Um zu ¨ uberpr¨ ufen, wie gut das gesch¨ atzte Modell zu den vorliegenden Daten passt, wird

² verwendet. Es l¨ asst sich wie folgt berechnen: ¹⁶ h¨ aufig das Bestimmtheitsmaß R

SS Reg RSS

² = R = 1 − , (21)

SY Y SY Y ^′ y, RSS = (y − ˆ ^′ (y − ˆ mit SY Y = y y) und SS Reg = SY Y − RSS. y)

Das Bestimmtheitsmaß gibt also das Verh¨ altnis der durch die Regression erkl¨ arten Variabilit¨ at SS Reg zur totalen Variabilit¨ at SY Y wider. Es kann Werte zwischen Null und Eins annehmen. In dem Extremfall der perfekten Anpassung, in dem also die Residuen- ² -Wert Eins, wohingegen sich quadratsumme RSS gleich Null ist, ergibt sich ein R

in dem anderen Extremfall eines Modells, in dem alle Regressoren in absolut keinem

² -Wert linearen Zusammenhang mit Y stehen, bei dem also SS Reg gleich Null ist, ein R von Null ergibt.

Ein Kritikpunkt an dem Bestimmtheitsmaß ist allerdings, dass es mit steigender Anzahl

¹⁵ Vgl. Fahrmeir et al. (2003, S. 302).

¹⁶ Vgl. Rao et al. (2008, S. 59).

10 3 Nichtparametrische Regression

von in das Modell aufgenommenen Pr¨ adiktoren niemals kleiner werden kann, auch wenn diese v¨ ollig ungeeignet sind. Deshalb ist es meist sinnvoller, das adjustierte Bestimmtheitsmaß

² = 1 − (1 − R

T − K − 1 ¹⁷ F¨ ur sehr zu betrachten, bei dem eine h¨ ohere Anzahl von Parametern bestraft wird.

großes T und eine ¨ Quotient

T −K−1

verwendeten Datens¨ atze sehr groß sind und in den Modellen nur wenige Pr¨ adiktoren ² ververwendet werden, kann man hier also auch das gew¨ ohnliche Bestimmtheitsmaß R wenden.

3 Nichtparametrische Regression

Lineare Regressionsmodelle sind oft nicht ausreichend, um den Zusammenhang zwischen den Kovariablen und der Responsevariable zu beschreiben, da man nicht immer nur von einem linearen Zusammenhang ausgehen kann. Deshalb bietet es sich oft an, nichtparametrische Regressionsmodelle zu verwenden, mit deren Hilfe der Einfluss der Kovariablen auf die abh¨ angige Variable flexibler modelliert werden kann.

3.1 Univariate Gl¨ attung

Bei der univariaten nichtparametrischen Regression m¨ ochte man den Einfluss nur einer Kovariable X auf den Response Y durch eine glatte Funktion modellieren. Die entsprechende Modellgleichung lautet

y t = f (x t ) + ǫ t (t = 1, ..., T ). (23)

F¨ ur die Fehlerkomponenten ǫ t nimmt man im Allgemeinen, ebenso wie im linearen Regressionsmodell an, dass sie unabh¨ angig und identisch verteilte Zufallsvariablen sind

¹⁷ Vgl. Fahrmeir et al. (2007, S. 161).

3 Nichtparametrische Regression

mit

² (t = 1, ..., T ). E(ǫ t ) = 0 und V ar(ǫ t ) = σ (24)

¹⁸ Aus diesen Annah-H¨ aufig nimmt man zus¨ atzlich eine Normalverteilung der Fehler an. men folgt, dass die y t ebenfalls unabh¨ angig sind mit

² (t = 1, ..., T ). E(y t ) = f (x t ) und V ar(y t ) = σ (25)

Das Problem ist nun die Funktion f zu sch¨ atzen. Ein parametrischer Ansatz w¨ are es anzunehmen, dass f (x) zu einer parametrischen Familie von Funktionen f (x|β) geh¨ ort, ¹⁹ f also bis auf eine endliche Anzahl an Parametern bekannt ist, zum Beispiel

1. f (x|β) = β 0 + β 1 x,

² , 2. f (x|β) = β 0 + β 1 x

^{β 2} . 3. f (x|β) = β 0 + β 1 x

Wie man hier sieht, ist der parametrische Ansatz auch schon relativ flexibel und es lassen sich damit auch nichtlineare Modelle, wie das dritte Beispielmodell, spezifizieren. Allerdings schließt man damit immer, egal welche parametrische Familie man benutzt, eine große Anzahl m¨ oglicher Funktionen aus. In einem nichtparametrischen Ansatz w¨ ahlt man nun f aus einer glatten Familie von Funktionen. Auch hier muss man zwar gewisse Eigenschaften, beispielsweise Differenzierbarkeit, f¨ ur f voraussetzen, diese sind allerdings viel weniger restriktiv als im parametrischen Ansatz. Im Folgenden sollen nun einige Methoden beschrieben werden, die Funktion f nichtparametrisch zu modellieren.

3.1.1 Polynom-Splines

Bei der Modellierung durch Polynom-Splines (auch Regressions-Splines) m¨ ochte man die Funktion f (x) durch Polynome sch¨ atzen. Dies geschieht nicht global auf dem gesamten Wertebereich von X, sondern st¨ uckweise, um eine h¨ ohere Flexibilit¨ at der Sch¨ atzung zu ²⁰ Man unterteilt also zun¨ achst den Wertebereich der Kovariable X durch erm¨ oglichen.

¹⁸ Vgl. Fahrmeir et al. (2007, S. 293).

¹⁹ Vgl. Faraway (2006, S. 211).

²⁰ Vgl. Eubank (1988, S. 196).

3 Nichtparametrische Regression

m sogenannte Knoten κ 1 < ... < κ m in mehrere Intervalle [κ j , κ j+1 ) und sch¨ atzt dann auf jedem dieser Intervalle ein Polynom vom Grad l. Da die gesch¨ atzte Funktion glatt sein sollte, fordert man außerdem, dass die Funktion (l −1)-mal stetig differenzierbar ist, auch an den Intervallgrenzen. Es l¨ asst sich zeigen, dass jeder Polynom-Spline vom Grad l mit einer gegebenen Knotenanzahl m durch m + l − 1 Basisfunktionen B 1 , ..., B ^{m+l−1 21} Somit sch¨ atzt man die Funktion durch darstellbar ist.

^m+l−1

mit dem Regressionskoeffizienten γ j . Die bekanntesten Basisfunktionen sind die Basis der trunkierten Potenzen und die B-Splines, die im Folgenden erkl¨ art werden sollen.

Trunkierte Potenzen ²² Die Basis der trunkierten Potenzen besteht aus folgenden Funktionen:

B l+2 (x) = (x − κ 2 )

mit

Mit dieser Basis erh¨ alt man also als Modellgleichung f¨ ur die Responsevariable Y

2 ^{l l l} y t = γ 1 + γ 2 x t + γ 3 x t + ... + γ l+1 x t + γ l+2 (x t − κ 2 ) + + ... + γ l+m−1 (x t − κ m−1 ) + + ǫ t ,

mit t = 1, ..., T , bzw. in Matrixnotation

y = Xγ + ǫ, (27)

²¹ Vgl. Fahrmeir et al. (2007, S. 297).

²² Vgl. Fahrmeir et al. (2007, S. 297).

3 Nichtparametrische Regression

mit

 





 

 

^′ . Es ergibt sich also wieder ein lineares und dem Parametervektor γ = (γ 1 , ..., γ m+l−1 )

Modell f¨ ur Y . In der Regel verwendet man Splines vom Grad l = 3, da man so eine zweimal stetig differenzierbare Funktion erh¨ alt.

B-Splines

Die B-Splines sind zwar weniger anschaulich als die Basis der trunkierten Potenzen, da sie nur rekursiv darstellbar sind, haben aber bessere numerische Eigenschaften. B-Splines vom Grad l = 0 sind wie folgt definiert:

⁰ B j (x) = 1 ^[κ j ^,κ j+1 ) (x) , j = 1, ..., m + l, (28)

mit

1 κ j ≤ x < κ j+1

1 ^[κ j ^,κ j+1 ) (x) = .

0 sonst

B-Splines h¨ oheren Grades l ≥ 1 lassen sich daraus durch folgende Rekursionsformel

²³ definieren:

κ j+l − κ j κ j+l+1 − κ j+1

An dieser Darstellung l¨ asst sich erkennen, dass die inneren Knoten κ 1 , ..., κ m nicht ausreichend sind. Man braucht 2l zus¨ atzliche Knoten und erh¨ alt damit die sogenannte erweiterte Knotenmenge κ 1−l , κ 1−l+1 , ..., κ m+l−1 , κ m+l . In Abbildung 1 sind je 10 B-Splines vom Grad l = 1, l = 2 und l = 3 zu ¨ aquidistanten Knoten dargestellt. In der Regel legt man die B-Spline-Basis vom Grad l = 3 zu Grunde um damit eine zweimal stetig differenzierbare Funktion zu erhalten.

²³ Vgl. Fahrmeir et al. (2007, S. 305).

3 Nichtparametrische Regression

Abbildung 1: B-Splines vom Grad l=1 (links oben), l=2 (rechts oben) und l=3 (links

unten) mit ¨ aquidistanten Knoten auf dem Intervall [0,1000]

Wie bei der Basis der trunkierten Potenzen erh¨ alt man auch hier wieder ein lineares Modell f¨ ur Y , n¨ amlich

y = Xγ + ǫ,

mit

 

  

 

^′ . und dem Parametervektor γ = (γ 1 , ..., γ m+l−1 )

Benutzt man zur Sch¨ atzung der Funktion f Polynom-Splines, egal ob man die Basis der trunkierten Potenzen oder die B-Splines zugrundelegt, erh¨ alt man also ein lineares Modell f¨ ur Y und kann somit den Parametervektor γ wieder einfach mit der Methode

3 Nichtparametrische Regression

der Kleinsten-Quadrate sch¨ atzen, womit man den KQ-Sch¨ atzer

⁻¹ X ^′ X) ^′ y ˆ γ = (X

² besitzen, folgt f¨ ur die Kovarianz des erh¨ alt. Da nach (25) alle y t die selbe Varianz σ KQ-Sch¨ atzers

² (X ⁻¹ X ⁻¹ = σ ² (X ⁻¹ . ^′ X) ^′ X(X ^′ X) ^′ X) cov(ˆ γ) = σ (30)

Als Sch¨ atzer der unbekannten Funktion bekommt man

   = X ˆ

  

mit der Gl¨ attungsmatrix (auch Smoother-Matrix genannt)

⁻¹ X ^′ X) ^′ . S = X(X

Die Sch¨ atzung durch Polynom-Splines ist also relativ einfach, allerdings st¨ oßt man hierbei auf die Frage, wie viele Knoten man verwenden sollte. Verwendet man sehr viele Knoten, erh¨ alt man zwar eine gute Anpassung der gesch¨ atzten Funktion an die Daten, allerdings ist diese sehr rau. Man nennt diesen Effekt Overfitting. Benutzt man andererseits sehr wenige Knoten, ergibt sich eine sehr glatte Sch¨ atzung, die jedoch weniger gut zu den Daten passt. Diesem Problem kann man zum Beispiel mit Penalisierungsans¨ atzen begegnen, die im folgenden Abschnitt erkl¨ art werden sollen.

3.1.2 Penalisierte Splines

Penalisierte Splines (kurz P-Splines) sind ein wichtiges Hilfsmittel, um einen Kompromiss zwischen Datentreue und Glattheit zu erreichen. Man geht hierbei so vor, dass man zun¨ achst eine relativ große Anzahl an Knoten definiert, um eine ausreichende Flexibilit¨ at der Sch¨ atzung zu gew¨ ahrleisten, und dann einen Strafterm einf¨ uhrt, der eine zu große Variabilit¨ at der gesch¨ atzten Funktion bestraft.

3 Nichtparametrische Regression

Penalisierung f¨ ur trunkierte Potenzen

Hat man bei der Sch¨ atzung eine Basis der trunkierten Potenzen von Grad l zu Grunde ge- 2 ^l legt, so werden Abweichungen von dem Polynom l-ten Grades γ 1 +γ 2 x t +γ 3 x t +...+γ l+1 x

t

²⁴ Der Penalisierungsterm ist also die Summe der quadrierten Abweichungen der bestraft. ^{l l} Koeffizienten der trunkierten Potenzen (x t − κ 2 ) + , ..., (x t − κ m−1 ) + von Null und lautet somit:

^m+l−1 mit der Diagonalmatrix K = diag( 0, ..., 0 , 1, ..., 1 ),

(l+1)−mal (m−2)−mal

die als Strafmatrix bezeichnet wird.

Penalisierung f¨ ur B-Splines

Hat man die B-Spline-Basis zu Grunde gelegt, so kann die Penalisierung auf unterschiedliche Weise erfolgen. Da man ja die Rauheit der Funktion bestrafen m¨ ochte, bietet sich als erste M¨ oglichkeit an, einen Strafterm aus der zweiten Ableitung zu bilden, da diese ein Maß f¨ ur die Kr¨ ummung ist. Man kann also

^′′ (x)) ² dx P en(γ) = (f (32)

als Penalisierungsterm benutzen. Dies l¨ asst sich umformen zu

²⁴ Vgl. Fahrmeir et al. (2007, S. 307f).

3 Nichtparametrische Regression

Die Eintr¨ age der Strafmatrix K werden hier also aus den zweiten Ableitungen der B- ²⁵ Spline-Funktionen gebildet.

Eine zweite Penalisierungsm¨ oglichkeit ergibt sich durch folgende ¨ Uberlegungen: Legt

man die B-Spline-Basis zu Grunde, so hat man eine glatte Sch¨ atzung, falls benachbarte Koeffizienten in ihrer Gr¨ oße wenig voneinander abweichen. Damit ergibt sich als zweite M¨ oglichkeit der Penalisierung die Abweichungen benachbarter Koeffizienten zu bestrafen. Dies geschieht indem man die quadrierten ersten oder zweiten Differenzen ²⁶ aufsummiert, womit der entsprechende Penalisierungsterm wie folgt lautet:

mit

¹ γ j − ∆ ¹ γ j−1 = γ j − 2γ j−1 + γ j−2 .

Setzt man k = 1, so werden also Differenzen erster Ordnung bestraft, w¨ ahrend dies f¨ ur k = 2 f¨ ur Differenzen zweiter Ordnung geschieht. F¨ ur k = 1 l¨ asst sich Gleichung (34) umformen zu

mit den Bandmatrizen

 

   

 

0 · · · 0 −1 1

²⁵ Vgl. Fahrmeir et al. (2007, S. 313f).

²⁶ Vgl. Fahrmeir et al. (2007, S. 310).

3 Nichtparametrische Regression

wobei die Differenzenmatrix D 1 eine Matrix der Dimension ((m + l − 2) × (m + l − 1)) ist und damit K 1 eine ((m + l − 1) × (m + l − 1))-Matrix ist. Eine ¨ aquivalente Umformung f¨ ur k = 2 ergibt:

mit

 

    D 2 = 

 

 

 

0 · · · 0 1 −2 1

Die Matrix der zweiten Differenzen D 2 besitzt hier die Dimension ((m+l−3)×(m+l−1)) und somit ist K 2 eine ((m + l − 1) × (m + l − 1))-Matrix.

Wie eben gezeigt wurde, l¨ asst sich der Penalisierungsterm sowohl bei der Basis der ^′ Kγ darstellen. Nachdem trunkierten Potenzen als auch bei den B-Splines in der Form γ

man nun diese Strafterme eingef¨ uhrt hat, sch¨ atzt man γ nicht mehr wie im vorherigen Abschnitt mit Hilfe der KQ-Methode, sondern durch die sogenannte penalisierte KQ-Methode, die zus¨ atzlich den Penalisierungsterm ber¨ ucksichtigt. Anstelle der ¨ ublichen Residuenquadratsumme ^′ (y − Xγ) S(γ) = (y − Xγ) (35)

wird nun die um den Penalisierungsterm erweiterte Residuenquadratsumme

^′ (y − Xγ) + λγ ^′ Kγ P S(γ, λ) = (y − Xγ) (36)

²⁷ Der Parameter λ, der nur positive Werte oder Null annehmen darf, nach γ minimiert.

wird Gl¨ attungsparameter genannt. Er steuert den Kompromiss zwischen Datentreue und

²⁷ Vgl. Fahrmeir et al. (2007, S. 313).

3 Nichtparametrische Regression

Glattheit. Wenn λ gleich Null ist, erh¨ alt man das gew¨ ohnliche KQ-Kriterium, das heißt es findet keine Penalisierung statt, so dass man eine sehr raue Sch¨ atzung der Funktion erh¨ alt. Ist λ dagegen sehr groß, wird die Variabilit¨ at der Sch¨ atzung stark bestraft, so dass man im Extremfall λ → ∞ als Funktionssch¨ atzung eine Gerade erh¨ alt. Die penalisierte Residuenquadratsumme aus Gleichung (36) l¨ asst sich umformen zu

^′ y − 2γ

Durch Ableiten dieser Gleichung nach γ und Nullsetzten erh¨ alt man den penalisierten KQ-Sch¨ atzer ⁻¹ X ^′ X + λK) ^′ y, ˆ γ = (X (37)

mit der Kovarianzmatrix

² (X ⁻¹ X ⁻¹ . ^′ X + λK) ^′ X(X ^′ X + λK) cov(ˆ γ) = σ (38)

Damit ergibt sich als Funktionssch¨ atzung

   = X ˆ

  

mit der Gl¨ attungsmatrix ⁻¹ X ^′ X + λK) ^′ . S = X(X

Exkurs: Vergleich des penalisierten KQ-Sch¨ atzers mit dem Ridge-Sch¨ atzer und dem bedingten KQ-Sch¨ atzer

Nun soll der Sch¨ atzer (37) genauer betrachtet werden. Vergleicht man ihn mit dem Ridge-Sch¨ atzer oder mit dem bedingten KQ-Sch¨ atzer, die beide Anwendung in linearen Regressionsmodellen finden, so f¨ allt eine starke ¨ Ahnlichkeit der Gestalt des penalisierten KQ-Sch¨ atzers mit diesen Sch¨ atzern auf.

3 Nichtparametrische Regression

28

Der Ridge-Sch¨ atzer mit k > 0 wird benutzt, um Multikollinearit¨ at zu ¨ uberwinden. Hierbei unterscheidet man

zwischen extremer und schwacher Multikollinearit¨ at. Extreme Multikollinearit¨ at bedeutet eine exakte lineare Abh¨ angigkeit zwischen zwei oder mehr Spalten der Designmatrix ^′ X nicht mehr invertierbar ist ²⁹ Damit besitzt X nicht mehr vollen Rang, so dass X.

und damit der gew¨ ohnliche KQ-Sch¨ atzer (13) nicht mehr berechnet werden kann. Diese Form der Multikollinearit¨ at kommt in der Praxis allerdings eher selten vor im Gegensatz zur schwachen Multikollinearit¨ at. Hier liegt nur eine n¨ aherungsweise lineare Abh¨ angigkeit zwischen Spalten von X vor. Damit besitzt X noch vollen Rang und man kann die KQ-Sch¨ atzung (13) berechnen. Jedoch ergeben sich dadurch sehr kleine Werte f¨ ur

die Determinante |X

⁻¹ von ˆ ^′ X) ² (X σ

Komponenten ˆ

³⁰ Bei der Ridge-Sch¨ atzung wird die Konstante k zur Varianzstabilisierung auf jedes den.

^′ X addiert. Damit ergibt sich als Kovarianzmatrix der der Diagonalelemente von X Ridge-Sch¨ atzung

^Ridge ) = σ cov( ˆ ^′ X + kI) ^′ X(X ^′ X + kI) ² (X ⁻¹ X ⁻¹ . β

Vergleicht man diese mit der Kovarianzmatrix der ¨ ublichen KQ-Sch¨ atzung

cov( ˆ ^′ X) ^′ X) ^′ X(X ^′ X) ² (X ⁻¹ = σ ² (X ⁻¹ X ⁻¹ , β) = σ

^Ridge ) ≤ cov( ˆ so erkennt man, dass gilt cov( ˆ ^′ X + kI) ^′ X) ³¹ , denn (X ⁻¹ ≤ (X ⁻¹ . β β)

Das heißt, die Diagonalelemente der Kovarianzmatrix der Ridge-Sch¨ atzung und damit die Varianz der einzelnen Komponenten β 0 , β 1 , ..., β K sind kleiner als bei der ¨ ublichen

KQ-Sch¨ atzung. Allerdings ist der Ridge-Sch¨ atzer nun offensichtlich nicht mehr erwartungstreu. Es wird hier also eine Verzerrung in Kauf genommen, um insgesamt den

²⁸ Vgl. Toutenburg (2003, S. 179).

²⁹ Vgl. Toutenburg (2003, S. 113).

³⁰ Vgl. Toutenburg (2003, S. 114).

³¹ ≤ gilt hierbei nach der L¨ owner-Ordnung, nach der man zwei symmetrische nichtnegativ definite

(n × n)-Matrizen A und B vergleichen kann, wobei A ≤ B gilt, falls B − A nichtnegativ definit

^′ (B − A)v ≥ 0 f¨ ur alle Vektoren v ∈ R ist, das heißt v ⁿ (vgl. Schmidt / Trenkler (1998, S. 82ff)).