Inhaltsverzeichnis

1  Einleitung  3

2  Einführung in die lineare Parameterschätzung  3

2.1  Ein einfaches Beispiel  4

2.1.1  Die Lösung des Beispiels mittels OLS  5

2.1.2  Die Lösung des Beispiels mittels TLS  5

3  Die Prinzipien des TLS Problems  7

3.1  Das OLS Problem  7

3.2  Das TLS Problem und die SVD  10

3.2.1  Die Singular Value Decomposition  11

3.2.2  Anwendung der SVD auf das Problem der TLS  13

4  Anwendungen der TLS  16

5  Schlusswort und ein letztes Beispiel  17

5.1  Schlussbeispiel  18

5.2  Zusammenfassung  18

2

1 Einleitung

Das Konzept der Total Least Squares (TLS) ist eine Datenschätztechnik, die statistische und numerische Methoden zusammenführt um Probleme zu lösen, die in einer grossen Anzahl von Anwendungen auftauchen. Im Grunde handelt es sich um eine Schätzmethode für lineare Parameter, wie sie in zahlreichen Gebieten der Wissenschaft und Technik auftreten. Dazu zählen unter anderem die Signalverarbeitung, die Systemtheorie, das allgemeine Ingenieurwesen, die Statistik, die Physik wie auch die Ökonomie, die Biologie etc. Die Methode der TLS trägt mehrere Namen und ist je nach Fachbereich auch als Orthogonalregression oder als das „errors-in-variables“ Modell bekannt. Dieser Artikel stellt die Methode der TLS dem bereits bekannten Ansatz zur Schätzung linearer Parameter mittels Regressionsanalyse bzw. Ordinary Least Squares (OLS) gegenüber. Weiters werden mehrere Aspekte des TLS Problems diskutiert und mittels der Singular Value Decomposition (SVD) die Analyse des Problems durchgeführt.

Der Rest dieses Artikels ist wie folgt gegliedert: Abschnitt 2 führt mittels eines Beispiels zu OLS und TLS in die Methoden ein und gibt eine allgemeine Einführung in die lineare Parameterschätzung. In Abschnitt 3 werden die OLS der TLS Methode gegenübergestellt sowie die Prinzipien der TLS besprochen. Mittels der SVD wird eine Lösung der TLS angegeben. Der Autor stützt sich dabei vor allem auf die Beiträge von Golub und Van Loan (1980), Van Huffel und Vandewalle (1991) wie auch Nievergelt (1994). Abschnitt 4 nennt eine Reihe von Anwendungen der TLS, während die Hauptergebnisse dieses Artikels und der durchgeführten Analyse in Abschnitt 5 zusammengefasst werden.

2 Einführung in die lineare Parameterschätzung

Jede lineare Methode zur Parameterbestimmung beginnt mit einem Modell, dass durch eine lineare Gleichung beschrieben werden kann: (1)

Hier bezeichnen 1 ; :::; n und die Variablen und x = [x 1 ; :::; x n ] ^T 2 R ⁿ stellt einen Vektor von Parametern dar, der das System charakterisiert. ¹ Das Basisproblem für die angewandte Mathematik ist es nun, die wahren aber un-

¹ DerLeser wird darauf aufmerksam gemacht, dass in Disziplinen wie der Statistik oder der

Ökonometrie das oben angeführte Gleichungssystem (1) im Regelfall mit x 1 1 +:::+xn n = y

angesetzt wird. In diesem Fall bezeichnen dann x 1 m; :::; xn und y die Variablen und =

[ 1 ; :::; n ] ^T 2 R ⁿ stellt einen Vektor von zu bestimmenden Parametern dar.

3

bekannten Parameter aufgrund von bestimmten Messungen der Variablen zu …nden. Dies ergibt im Regelfall ein überdeterminiertes System von m linearen Gleichungen (m > n). Dieses System schreiben wir wie folgt: Ax b oder Ax + " = b (2)

Die i-te Spalte der Daten- oder Designmatrix A 2 R ^mn und der Vektor b 2 R ^m enthalten die Messungen der Variablen 1 ; :::; n respektive . In der üblichen Schreibweise der Statistik und Ökonometrie Ax+" = b stellt " einen Fehlervektor dar.

Bemerkung 1 Wir bezeichnen mit 1 ; :::; n und die Modellvariablen. Mit A und b werden die Designmatrix respektive der Beobachtungsvektor bezeichnent während a ij beziehungsweise b i Elemente von A und b darstellen. In der klassischen OLS-Methode wird angenommen, dass die Messungen a ^ij der Daten- beziehungsweise Designmatrix aus (2) fehlerfrei sind. Damit werden alle Fehler in den Daten im Vektor der Beobachtungen b beziehungsweise im Fehlervektor " aufgefangen. Diese Annahme über die Fehler ist allerdings oft unrealistisch: Modellfehler, menschliche Fehler, Fehler im Datensampling, Messprobleme, usw. können auch zu Ungenauigkeiten der Designmatrix A führen. Das TLS Verfahren ist eine angemessene Fittingmethode, wenn sowohl die Beobachtungen b als auch die Designmatrix A Fehler enthalten. Es handelt sich dabei darum, den „besten“ Teilraum zu den Datenmessungen (a T i ; b i ), i = 1; :::; m und a T i der i-te Zeilenvektor von A. Im einfachsten Basismodell der OLS werden die Fehler " i mit Erwartungswert Null und konstanter Varianz realisiert, also E(" i ) = 0 und V ar(" i ) = ² . Im Falle der TLS gilt für die Statistik auf ähnliche Weise

E[b A^ xjA realisiert] = 0 und E((b A^ x) ² jA realisiert) = ² (3)

Bemerkung 2 Van Huffel und Vandewalle (1991) bemerken, dass sich TLS vor allem zur Schätzung von Parametern eignet und weniger zu deren Vorhersage. Wie leicht ersichtlich ist, wird die Schwierigkeit der Voraussage nämlich durch (3) bedeutend erhöht.

2.1 Ein einfaches Beispiel

Um eine Idee der beiden Methoden OLS und TLS zu bekommen, betrachten wir hier das einfachste Beispiel aller Parameterschätzungen, nämlich jenes mit nur einem zu schätzenden Parameter n = 1. Die Gleichung (1) kann dann wie

4

folgt geschrieben werden: (4) x =

Ein Schätzer für den Parameter x basierend auf m Beobachtungen der Datenwerte a i und b i soll gefunden werden. Wir schreiben allgemein für die Messungen

für i = 1; :::; m mit a ⁰ i und b ⁰ i den wahren Werten aus der Matrix (des Vektors)

A = [a 1 ; :::; a n ] und b = [b 1 ; :::; b m ] ^T . a i und b i stellen zufällige Fehlerterme i der Variablen und dar. ² der wahren Werte a ⁰ i und b 0

2.1.1 Die Lösung des Beispiels mittels OLS

Wenn tatsächlich beobachtbar ist, also wenn a i = 0, dann sind sämtliche Fehler nur in den Messungen der Variablen enthalten. Dies erlaubt es, zur Lösung von (4) das Verfahren der OLS zu verwenden. Diese Methode versucht die

Summe der Fehler der quadratischen Di¤erenzen Der beste Schätzer ^ x OLS = arg min

Die OLS Regression x = von (4) hat eine direkte graphische Interpretation wie in Abbildung 1 dargestellt.

2.1.2 Die Lösung des Beispiels mittels TLS

Gibt es allerdings Fehler in beiden Variablen, also a i 6 = 0 und b i 6 = 0, so werden die Hypothesen der OLS Methode verletzt. In diesem Fall kommt die TLS Methode zum Zug. Wenn sämtliche Fehler unabhängig und gleich verteilt sind mit Erwartungswert Null und konstanter Vararianz, so wird der beste Schätzer von x durch die Minimierung der Summe der orthogonalen Abstände der Beobachtungen zum Modell…t gegeben. Abbildung 2 präsentiert die Idee der

² Im betrachteten Beispielfall ist n = 1 und die Matrix A ist ein Vektor.

5

Abbildung 1: Geometrische Interpretation der OLS Schätzung von x = .