Nichtparametrische Regressionsmodelle und deren Schätzung

Inhaltsverzeichnis

Tabellenverzeichnis

Abbildungsverzeichnis

1 Einleitung

2 Kerndichteschätzung
2.1 Warum Nichtparametrik?
2.2 Der univariate Kerndichteschätzer
2.2.1 Konsistenz
2.2.2 Kerne höherer Ordnung
2.2.3 Verfahren zur Bestimmung des Parameters
2.3 Der multivariate Kerndichteschätzer

3 Kern-Regression
3.1 Der Nadaraya-Watson-Schätzer
3.2 Lokal polynomiale Regression

4 Empirische Untersuchung
4.1 Vorgehen
4.2 Ergebnisse

5 Fazit

A Anhang

Literatur

Tabellenverzeichnis

1 Beispiele für Kernfunktionen

Abbildungsverzeichnis

1 Schlusskurse des Aktienindex DAX und der Aktie Commerzbank

2 QQ-Plot für Aktienkurse DAX und Commerzbank

3 Prognose der zukünftigen DAX-Kurse

4 Histogramm

5 Form verschiedenen Kernfunktionen (1= Quartisch, 2= Triangulär, 3= Epanech- nikov, 4: Gauß, 5= Uniform) (Härdle, 1990)

6 Verschiedene Kerne

7 Verschiedene Bandweiten

8 Vergleich der vier Schätzverfahren

1 Einleitung

Ein wichtiger Faktor in der Zeitreihenanalyse ist die Prognose von zukünftigen Daten. Zukünftige Entwicklungen spielen in der heutigen globalisierten, internationalisierten und stark vom Wett- bewerb geprägten Welt eine große Rolle, weil sie Wettbewerbsvorteile verschaffen. In der Ökonometrie gibt es viele verschiedene Verfahren, um zukünftige Beobachtungen von Zeitrei- hen zu prognostizieren. Ein Bereich ist die nichtparametrische Regressionsschätzung, welche in dieser Arbeit vorgestellt wird. Sehr interessant ist außerdem der generelle Zusammenhang bzw. die Beziehung zwischen zwei Variablen (Härdle, 1990). Das klassische lineare Regres- sionsmodell wird gerne angewandt, weil es Zusammenhänge zwischen den verschiedensten Begebenheiten erklären kann. Um dieses Modell anwenden zu können, werden einige Annah- men getroffen. Ein Beispiel und gleichzeitig ein Problem sind die Fehlerterme εi, welche als normalverteilt angenommen werden (Greene, 1993). Stimmen alle Annahmen mit der Realität überein, sind die Ergebnisse dieses Modells sehr gut. Werden allerdings Annahmen verletzt, ent- steht eine Verzerrung (ein sogenannter Bias), was zu falschen Ergebnissen führt. Besonders in der Vorhersage von zukünftigen Daten ist das ein großes Problem! Die Nichtparametrik möchte diesen Bias so klein wie möglich halten und trifft deshalb keine strukturellen Formannahmen. Nichtparametrische Modelle lassen sich daher gut für eine Prognose nutzen und außerdem für die Beziehung zwischen Variablen. Der wichtigste Parameter ist dabei die Bandweite h, von ihr hängt das Schätzergebnis enorm ab. Die Wahl dieses Parameters nimmt also einen wichtigen Part ein, welcher nicht vernachlässigt werden darf. Leider hat die Nichtparametrik auch Gren- zen, da aufgrund der Stichprobengröße nur wenige Regressoren in das Modell aufgenommen werden. Hinzu kommt, dass sich ein lineares Modell recht leicht und schnell berechnen lässt, während ein nichtparametrisches Modell numerische Methoden braucht, um berechnet wer- den zu können. Bei exponentiell wachsenden Zeitreihen können außerdem Probleme bei der Vorhersage auftreten. Die nichtparametrischen Verfahren betreiben das sogenannte Smoothing (Glätten) durch lokale Fits. Dies ist eine bereits alte Idee und hat Wurzeln in der Zeitreihenana- lyse . Dabei wird die Dichte in einzelne Kästchen, welche die Größe der Bandweite h haben, aufgeteilt. In diesen Kästen wird dann einzeln eine lokale Berechnung durchgeführt. Um die Beobachtungen in den Kästchen zu gewichten, gibt es sogenannte Kernfunktionen. Diese sind einfach gesagt, Gewichtungsfunktionen. Viele nichtparametrische Schätzer bauen auf dem so- genannten Rosenblatt-Parzen-Dichteschätzer auf, welcher nach seinen Erfindern Parzen (1962) und Rosenblatt (1956) benannt ist. Er wird in dieser Arbeit als Grundlage für die nichtparametrische Regressionsschätzung erklärt. Danach wird auf das Verfahren der lokal konstanten Schätzung nach Nadaraya (1964) und Watson (1964) und der lokal polynomialen Schätzung nach Stone (1977) eingegangen. Außerdem werden Vor- und Nachteile erläutert. Anhand einer kleinen empirischen Untersuchung werden die in der Arbeit besprochenen Verfahren am Beispiel der DAX-Kurse von 2000-2014 angewendet.

2 Kerndichteschätzung

Im Folgenden wird erklärt, unter welchen Bedingungen es sinnvoll ist, die Nichtparametrik zu nutzen. Außerdem wird die Grundlage der nichtparametrischen Regressionsschätzung erklärt: der Kerndichteschätzer.

2.1 Warum Nichtparametrik?

Bei parametrischen Sch¨atzungen

Abbildung in dieser Leseprobe nicht enthalten

wird für den Parameter β eine spezifische Form unterstellt, beispielsweise wird er mittels der Kleinste-Quadrate-Methode aus den Daten geschätzt. Dabei wird angenommen, dass

Abbildung in dieser Leseprobe nicht enthalten

die Daten und somit auch die Fehlerterme normalverteilt sind und man schätzt aus den Da- ten den Erwartungswert µ und die Varianz σˆ2. Parametrik ist von Vorteil, wenn die Verteilung der Fehlerterme nah an der Normalverteilung liegt. Der Vorteil von OLS ist bei Gültigkeit der Annahmen, dass es einen globalen Fit und schnelle Konvergenzraten gibt (Greene, 1993). Soll- te das aber nicht der Fall sein, entsteht ein Missspezifikationsrisiko und somit ein Bias. Die Nichtparametrik umgeht diesen Bias und schätzt die Dichte direkt aus den Daten.

Abbildung in dieser Leseprobe nicht enthalten

Der Name ”Nichtparametrik” bezieht sich dabei auf die flexible funktionale Form einer Regres- sionskurve. Es wird an jedem Punkt x geschätzt und diese geschätzen Werte dann verbunden. Ein Vorteil ist, dass es eine vielseitige Methode ist, um eine generelle Beziehung zwischen zwei Variablen darzustellen. Außerdem existiert durch die direkte Schätzung der Dichte aus den Da- ten mehr Freiheit beim Fit. Hinzu kommt, dass Vorhersagen über Beobachtungen möglich sind, ohne an ein festes parametrisches Modell gebunden zu sein. Die Prognose von neuen Beob- achtungen ist von speziellem Interesse in der Zeitreihenanalyse. Nachteilig ist, dass durch den lokalen Fit die Stichproben sehr groß sein müssen (Härdle, 1990). Dazu mehr in Kapitel 2.3.

2.2 Der univariate Kerndichteschätzer

Der Übersicht halber wird erst der univariate Fall erläutert und danach kurz erklärt, welche Veränderungen im multivariaten Fall vorliegen. Parzen (1962) und Rosenblatt (1956) haben zum Smoothing durch lokale Regression die Kerndichteschätzung eingeführt. Die Idee hinter der Kerndichteschätzung ist, die Beobachtungen in einem Histogramm zu organisieren. Die einzelnen Kästchen des Histogramms lassen die Verteilung erahnen. Histogramme unterstellen allerdings keine Dichte, weil die Kästchen verschieden hoch sind und deshalb Sprünge existie- ren. Um eine Dichte zu erhalten, muss abgeleitet werden, was bis jetzt noch nicht möglich ist. Um nun also f aus den Beobachtungen zu schätzen, wird als Ausgangspunkt die empirische VerteilungsfunktionFˆ (x) benötigt:

Abbildung in dieser Leseprobe nicht enthalten

Voraussetzung ist, dass die Beobachtungspunkte unabhängig identisch verteilt (iid) sind. Durch das Gesetz der großen Zahlen ist F(x) ein konsistenter Schätzer für die Verteilungsfunktion F (X ). Auch die Fehlerterme sind durch den Zentralen Grenzwertsatz normalverteilt. Um ei- ne stetige Dichte erzeugen zu können, muss die Funktion ableitbar sein. Dafür wird für die Kästchenbreite ein kleines fixes h (> 0) festgelegt, was als Bandweite bezeichnet wird. Wenn die Kernfunktion nun über den Support von [−1, 1] läuft, nutzt sie nur Beobachtungen im Intervall von

Abbildung in dieser Leseprobe nicht enthalten

Dadurch überschneiden sich die einzelnen Kästchen und die Ableitung ist problemlos, weil an jeder Beobachtung die Systematik angewendet werden kann. Hinzu kommt, dass die Funktion durch das Überschneiden der Kästchen stetig ist, weil die Beobachtungen teilweise doppelt für die Gewichtung benutzt werden (in zwei nebeneinander liegenenden Kästchen). Deshalb ist es kein echtes Histogramm. Abbildung 4 im Anhang zeigt, wie sich die geschätzte Dichte an die Form des Histogramms anpasst. Der Kerndichteschätzer sieht wie folgt aus:

Abbildung in dieser Leseprobe nicht enthalten

n ist dabei die Anzahl der Beobachtungen, h die Bandweite, xi sind die Beobachtungspunkte und K der Kern. Wenn die vorherige Systematik angewendet wird, werden innerhalb der Kästen die Beobachtungen gezählt und gleich gewichtet, weil es die Dichte einer uniformen Verteilung ist. Der Schätzer kann nun zu jeder symmetrischen Wahrscheinlichkeitsdichte verallgemeinert werden, die die folgenden Annahmen erfüllen. Die Annahmen an den Kern lauten wie folgt:

Abbildung in dieser Leseprobe nicht enthalten

Nummer 1 und 2 legen fest, dass sich der Kern zu 1 integriert und die Dichte symmetrisch ist. Nummer 3 zeigt die Kernkonstanten µ2 und κ2, die in weiteren Rechnungen auftauchen werden. Viertens stellt die Lippschitz-Bedingung dar: die Funktion springt nicht (mehr als Stetigkeit, das c soll immer gleich sein). Als letztes muss ein 2. Moment vorhanden sein (weil sonst zuviel Masse an den Rändern ist). Annahmen Nr. 4 und 5 werden für die asymptotische Normalität gebraucht. Es müssen außerdem folgende Annahmen an das Modell gelten:

Abbildung in dieser Leseprobe nicht enthalten

Sie legen fest, dass die Beobachtungswerte unabhängig identisch verteilt sein müssen, und die 4 Dichte stetig ist (damit das Ableiten möglich ist). Um die Beobachtungen in den Kästchen zu gewichten, gibt es verschiedene Kernfunktionen. Tabelle 1 zeigt in Anlehnung an (Härdle, 1990) ein paar Beispiele (ein Bild, wie die einzelnen Kernfunktionen aussehen, befindet sich im Anhang 5): Beispielsweise gibt der triangulare Kern das stärkste Gewicht den Daten, die

Tabelle 1: Beispiele für Kernfunktionen

Abbildung in dieser Leseprobe nicht enthalten

am höchsten liegen. Der Gauß-Kern gleicht einem flachen Hügel und der Epanechnikov-Kern einem Halbkreis. Am beliebtesten ist dieser Kern, weil er asymptotisch optimal ist. Optimal ist er, weil er den IMSE (integrierten mittleren quadratischen Fehler) minimiert (Epanechnikov, 1969). Die meisten Kerne gewichten die Daten stärker, die näher am Beobachtungspunkt liegen. Letztendlich ist die Wahl des Kernes relativ unwichtig für das Schätzergebnis (siehe Abbildung 6 im Anhang) und deshalb zu vernachlässigen. Asymptotisch hat die Wahl keinen Effekt (Marron and Nolan, 1988). Die Bandweite h hat einen viel größeren Einfluss auf das Schätzergebnis. Abbildung 7 im Anhang zeigt, wie sich verschiedene h auswirken können. Daraus lässt sich erkennen, dass die Wahl des Glättungsparameters enorm wichtig für die Qualität der Schätzung ist. Wird h zu groß gewählt, ist die Kästchenbreite zu groß und es kommt zum Oversmoothing (blaue Linie). Die Funktion ist viel zu flach. Als Undersmoothing bezeichnet man ein h, das zu klein gewählt wurde (schwarze Linie). Dann ist die Linie sehr wackelig, weil sich nicht mehr genug Beobachtungen in den Kästchen befinden (Härdle, 1990).

2.2.1 Konsistenz

Um zu zeigen, dass der Schätzer asympotisch konsistent ist, kann man den mittleren qua- dratischen Fehler (Bias 2 + Var) benutzen. Das ist erlaubt, weil der Satz von Tschebyscheff gilt(Sibbertsen and Lehne, 2012):

Abbildung in dieser Leseprobe nicht enthalten

Unter den Annahmen an den Kern und das Modell und f ∈ C2(R) sehen Varianz und Bias folgendermaßen aus (und können mittels der Taylorentwicklung berechnet werden):

Abbildung in dieser Leseprobe nicht enthalten

Asymptotisch geht der Bias gegen Null, weil h → 0. Die Varianz geht ebenfalls gegen Null, weil nh [Abbildung in dieser Leseprobe nicht enthalten] und deshalb [Abbildung in dieser Leseprobe nicht enthalten]. Darausfolgt,dassdermittlerequadratischeFehler(Bias 2 +Var) von ˆf (x) asymptotisch gegen Null geht. In endlichen Stichproben gilt also: je kleiner die Bandweite, desto kleiner die Verzerrung. Das Problem dabei ist eine immer größer werdende Varianz. Sie wird größer, weil durch immer kleinere Bandweiten immer weniger Beobachtungen für die Schätzung benutzt werden. Andersrum wächst der Bias, wenn die Varianz möglichst klein gehalten werden soll. Diese Problematik wird als Varianz-Bias-Tradeoff bezeichnet, den das eine kann nur zum Nachteil des anderen verkleinert werden (Härdle,1990). Kapitel2.2.3erklärt, wie man ein gutes Gleichgewicht der beiden erhalten kann.

2.2.2 Kerne höherer Ordnung

In den Annahmen an das Modell wurde festgelegt, dass die Dichte stetig ist und eine2. Ablei- tung existieren muss: [Abbildung in dieser Leseprobe nicht enthalten]. Damit war der Bias von der Ordnung O(h2). Was wäre, wenn die Dichte noch mehr Ableitungen hat? Würde der Bias dann noch schneller gegen Null gehen, aufgrund unendlich schneller Konvergenzraten durch mehr Taylorableitungen [Abbildung in dieser Leseprobe nicht enthalten]? Die

Idee dahinter ist, einen speziellen Kern K* zu verwenden:

Abbildung in dieser Leseprobe nicht enthalten

K* ist ein sogenannter höherer Ordnungskern. Dabei ist die Ordnung eines Kerns v > 0 definiert als das erste Moment des Kerns, ungleich Null, und κv < 0. Wenn das Gleichungssystem für Kernfunktionen, die sich zu einer geschlossenen Einheit integrieren, für ein festes v gelöst wird, führt das zum v-ten Ordnungskern (Grith et al., 2012).

In der Praxis existieren allerdings Grenzen für sehr große v. Je größer v, desto wackeliger wird es, was nicht erstrebenswert ist. Außerdem kann es vorkommen, dass die Kerndichte bei der Nutztung von höheren Ordnungskernen negativ ist (obowhl nur positive Werte für den Regressand existieren) (Bierens, 1987).

2.2.3 Verfahren zur Bestimmung des Parameters h

Da die Wahl des Glättungsparameters h für die Qualität der Schätzung essentiell ist, gibt es ver- schiedene Verfahren, wie beispielsweise das Eyeballing, die Plug-in Methode und die Kreuzva- lidierung, um den passenden Parameter zu bestimmen. Die Eyeballing-Methode beruht darauf, die Dichte immer wieder mit verschiedenen Bandweiten zu plotten, bis es irgendwann ”richtig” aussieht. Dies ist jedoch viel zu unwissenschaftlich und sollte vermieden werden! Die Idee hin- ter Plug-in Methoden ist, unbekannte Werte durch Vorausschätzer zu ersetzen und dann h über Iteration zu berechnen. Für die Berechnung wird ein Startwert benötigt. Dieser lässt sich mit der sog. Daumenregel berechnen, die einen normalverteilten Kern annimmt. Dies ist ein einfacher und schneller Weg, einen groben Wert zu berechnen, und kann für Vorausschätzungen genutzt werden. Allerdings ist eine Bandweite, die auf diesen Berechnnungen zustande kommt, nur asymptotisch optimal. In endlichen Stichproben wird gerne die Kreuzvalidierung angewandt (Grith et al., 2012).

Es gibt verschiedene Methoden der Kreuzvalidierung, zum Beispiel die generalisierte Kreuzva- lidierung nach Craven and Wahba (1978) oder die Leave-one-out Kreuzvalidierung nach Stone (1974), welche in dieser Arbeit näher vorgestellt wird. Diese Berechnungen führen zu guten Ergebnissen für die Bandweite in endlichen Stichproben, haben aber keine geschlossenen Er- gebnisse. Deshalb müssen sehr aufwendige datengetriebene Rechenverfahren genutzt werden, um solch eine automatische Bandweite zu bestimmten (Grith et al., 2012). Bei der Leave-one- out-Kreuzvalidierung ist der Glättungsparameter h der Wert, der folgende Funktion minimiert:

Abbildung in dieser Leseprobe nicht enthalten

Der erste Teil nennt sich Faltungskern und hat ein n2statt eines einfachen n, weil sich zwei Kerne in ihm befinden. Er spart Rechenaufwand, denn wenn K eine Dichte der Verteilung N (0, 1) hat, dann hat der Faltungskern die Dichte N (0, 2). Der zweite Teil der Formel ist der ”leave-one-out-Schätzer”, der alle Beobachtungen einschließt, außer die i-te. Dieser bestimmte Schätzer muss verwendet werden, um Verzerrungen zu vermeiden. Die Rechnung funktioniert so, dass für jede Beobachtung i die jeweilige Beobachtung aus dem Datensatz entfernt wird (jeder Datensatz lässt ein i aus). Dann wird das Modell mit den ”neuen” Daten berechnet und beiden Modelle (mit und ohne i) werden voneinander abgezogen. Das schützt vor dem sog. ”overfitting”. Dies wird für alle Beobachtungen hintereinander durchgeführt und nimmt das h, welches die niedrigste Kreuzvalidierungsstatistik hat (Stone, 1974).

2.3 Der multivariate Kerndichteschätzer

Der multivariate Kerndichteschätzer

Abbildung in dieser Leseprobe nicht enthalten

ist dem univariaten sehr ähnlich. Grob gesagt, ist der einzige Unterschied, dass das h nun eine Matrix der Dimension d ist, mit d Einträgen auf der Hauptdiagonalen. K ist nun ein Produkt-

kern:

Abbildung in dieser Leseprobe nicht enthalten

Ein Produktkern ist ein univariater Kern in jeder Dimension. Die Kerne werden für jede Di- mension aufmultipliziert und danach aufsummiert, um die Dichte zu erhalten. Damit kann alles wie im univariaten Fall angewendet werden. Für die Konsistenz gelten wieder die Kern- und die Modellannahmen aus Kapitel 2. Bias und Varianz bleiben gleich (bei der Varianz ändert sich die Bandweite h zu hd ) für [Abbildung in dieser Leseprobe nicht enthalten] und nhd [Abbildung in dieser Leseprobe nicht enthalten]. Allerdings konvergiert die Varianz langsamer als im univariaten Fall, weil [Abbildung in dieser Leseprobe nicht enthalten] immer größer ist als nh . Es werden außerdem weitere Annahmen an das Modell benötigt, die Annahmen an den multivariaten Schätzer:

Abbildung in dieser Leseprobe nicht enthalten

Der Erwartungswert vom Betrag Y muss kleiner als unendlich sein. Des weiteren sind die Pärchen sind unabhängig und identisch verteilt (Lohn und Ausbildung gehören zusammen aber nicht die Löhne untereinander) und Y und X haben eine gemeinsame Dichte. Außerdem sind die X stetig verteilt (es funktioniert auch für unstetige Variablen, wie beispielsweise Dummys, dann müssten allerdings die Regulationen geändert werden) (Wand and Jones, 1994).

Ein Nachteil der Nichtparametrik wird als ”Fluch der Dimensionalität/Curse of Dimensiona- lity” bezeichnet. Er wurde von Bellman (1961) entdeckt und benutzt, um die Problematik zu vieler Variablen in der Nichtparametrik zu beschreiben. Es handelt sich dabei um das Problem, dass für jede neue Dimension (weitere Regressoren), die in das nichtparametrische Modell auf- genommen werden, eine viel größere Menge an Daten benötigt wird. Wenn eine Stichprobe beispielsweise 1000 Beobachtungspunkte enthält und in 10 Kästchen aufgeteilt wird, dann be- finden sich im Schnitt 100 Daten in einem Kasten. Bei zwei Dimensionen sind es nur noch 10 Daten pro Kästchen (1000/102) und bei drei Dimensionen nur noch 1 Punkt (1000/10 3). Das ist ein großer Nachteil, denn die Stichprobengröße muss exponentiell wachsen.

3 Kern-Regression

In diesem Kapitel geht es um die nichtparametrische Regressionsschätzung. Wie im Bereich der Parametrik gibt es auch hier viele Schätzverfahren, wie zum Beispiel das Spline-Smoothing nach Silverman (1984) oder die LOESS-Regression nach Cleveland (1979). Der Fokus liegt in dieser Arbeit auf der lokalen polynomialen Regression, die im folgenden erklärt wird. Der Einstieg geschieht durch einen Spezialfall: der Nadaraya-Watson-Schätzer.

3.1 Der Nadaraya-Watson-Schätzer

Nadaraya (1964) und Watson (1964) haben einen Schätzer für die bedingte Erwartung gefunden. m(x) wird geschätzt als ein lokal gewichteter Durchschnitt und benutzt dabei den Kern als Gewichtungsfunktion.

Abbildung in dieser Leseprobe nicht enthalten

Die gemeinsame Dichte von y und x wird bedingt durch die Dichte von x. m(x) entsteht, indem man die beiden Dichten durch geschätzte Dichten ersetzt:

Abbildung in dieser Leseprobe nicht enthalten

Dabei steht das d in der Potzenz wieder für die Dimensionen und die 1 für den univariaten y- Kern. Das y steht dabei für den Regressand und das x für die Regressoren. Dabei sind yi und xi wieder die Beobachtungspunkte. Durch Substitution und Kernannahmen entsteht letztendlich diese Form:

Abbildung in dieser Leseprobe nicht enthalten

Dieser Schätzer ist ein lokal gewichtetes Mittel mit der Gewichtungsfunktion W (x)

Abbildung in dieser Leseprobe nicht enthalten

Das yi wird gewichtet mit dem xi, das von Interesse ist. Die Gewichtungsfunktion W (x) sorgt dafür, dass die Punkte nur zwischen 0 und 1 liegen und sich zu 1 aufaddieren. Liegen die xi in dem Kästchen um den bestimmten Punkt x, wird der entsprechnede y-Wert mit in die Berech- nung einbezogen. Danach wird durch die Anzahl der x geteilt. Die Punkte nahe dem x werden höher gewichtet als die anderen. Der Nadaraya-Watson-Schätzer regressiert also lokal auf eine Konstante in jedem einzelnen Kästchen. Er minimiert ein lokales Kriterium:

Abbildung in dieser Leseprobe nicht enthalten

Via OLS wird das Residuenquadrat minimiert, der Kern sorgt wieder für Gewichtung und Kästchenbildung. Im Unterschied zum Kerndichteschätzer ist der Bias-Term länger, er enthält viele abgeleitete Dichten. Wenn ein Kästchen wenige Beobachtungen enthält (also eine flache Dichte hat), wird der Bias enorm, weil f (x) im Nenner steht, und dann durch einen Wert nahe 0 geteilt wird.

Abbildung in dieser Leseprobe nicht enthalten

Das führt zu den sogenannten ”Boundary Effects”: Es kann an den Rändern schlecht geschätzt werden. Der Nadaraya-Watson-Schätzer kann allerdings auch in der Mitte Probleme bereiten, wenn die Regressionsfunktion eine bedeutende Krümmung hat. Diese Probleme sind besonders bei Mulitdimensionalität ausgeprägt (Hastie and Loader, 1993).

[...]