Freedom House als Messmethode - zuverlässig oder Näherung?

Inhalt

1. Einleitung

2. Methodische Kriterien
2.1. Objektivität
2.2. Reliabilitätt
2.3. Validität

3. Die Entwicklung und der aktuelle Stand
3.1. Robert Dahl als Basis
3.2. Die Messmethode Freedom House
3.3. Die Auswertung von Freedom House

4. Zusammenfassung

5. Quellennachweis

1. Einleitung

Es gibt heutzutage etliche Ansätze die Herkunft beziehungsweise die Entwicklung zur Demokratie zu erklären. Ein wichtiger Ansatz hierbei ist die klassische Demokratietheorie. Doch seit der Entwicklung des zweidimensionalen Systems von Robert Dahl, versuchen immer mehr Politik- und Sozialwissenschaftler ein System für die Messung von Demokratie zu entwickeln. Bei diesen unterschiedlichen Methoden soll auf ganz differenzierte Art und Weise die Qualität einer Demokratie dargestellt werden. Dabei haben stechen drei Messarten hervor, als da wären PACL, Polity IV und Freedom House. In diesem Text geht es speziell darum Grundlagen und Konzeptionen für die Demokratiemessung allgemein und Freedom House speziell zu beleuchten. Es ist durchaus wichtig die Voraussetzungen für eine wissenschaftliche Messung zu erläutern bevor man sich mit der Messmethode auseinandersetzen kann. Objektivität, Reliabilität und Validität sind hierbei ausschlaggebende Grundbegriffe. Mit Hilfe dieser Grundbegriffe soll es darum gehen Indikatoren zu finden mit deren Hilfe die Funktionsweise einer empirischen Demokratiemessung zu bestimmen. Bei der Betrachtung dieser Ausgangslage entstehen doch einige Fragen, die es zu beantworten gilt. Ist es überhaupt möglich Demokratie zu messen und wie genau ist die entsprechende Messmethode? Was ist zu berücksichtigen und was ist vernachlässigbar? Schon diese wenigen Fragen zeigen wie wichtig es ist sich mit den Methoden der Demokratiemessung intensiv zu beschäftigen. Es gibt eine Vielzahl von Einflüssen, die das Überleben einer Demokratie sichern. Dazu gehören zum Beispiel die Entwicklung eines Landes und wie bereits erwähnt die Faktoren, welche die Entwicklung zu einer Demokratie begünstigen. Als erstes werden nun die Grundbegriffe erläutert um eine einheitlichen Wissens- und Verständnisstand zu schaffen.

2. Methodische Kriterien

Zentrale Begriffe einer empirischen Untersuchung sind Objektivität, Reliabilität und Validität. Im Sinne der empirischen Sozialforschung sind Validität und Reliabiltät als Gültigkeit und Zu-verlässigkeit einer Messung zu verstehen. Dabei ergibt sich ein Abhängigkeitsverhältnis zwischen diesen beiden Begriffen. Die Validität einer Messung hängt immer von der Reliabilität ab, doch umgekehrt gilt das nicht. Im Klartext heißt das, dass eine Messung durchaus zuverlässig sein kann, sie muss aber nicht gültig sein. Andererseits eine notwendige Bedingung für eine valide Messung ist die Reliabilität dieser Messung.

Aufgrund dieser logischen Zusammenhänge ist es sinnvoll die Begriffe einzeln zu betrachten und genauer zu erläutern. Bei aller Theorie und Begriffsdefinition ist jedoch zu beachten, dass bei jeder empirischen Messung in der Sozialforschung eine Simplifizierung beziehungsweise Modellisierung vonnöten ist. Es ist also die Fragestellung unter der die Messung durchgeführt wird, ob die Ergebnisse bewertbar sind.

Des weiteren ist die Objektivität von Bedeutung, dass sie die Zuverlässigkeit der Messanlage wieder spiegelt. Die Objektivität lässt sich in dreifacher Weise differenzieren als da wären Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität. Der enge Zusammenhang zur Reliabiltät ist unstrittig, doch kann Objektivität als Sonderform der Reliabilität betrachtet werden.

2.1 Objektivität

Zuerst soll der Begriff Durchführungsobjektivität erörtert werden. Die Messung soll nicht durch die Person des Durchführenden beeinträchtigt werden, sondern sie ist abhängig davon. Es sollen also reaktive Effekte in der Messung vermieden werden. Das Objekt ist nicht vollständig unabhängig von der Person des Beobachters, da es nicht objektiv gegeben ist. Vielmehr wird es durch die Wahrnehmung des Beobachters (judge) konstruiert. Daraus ergibt sich ein Zwiespalt, denn gleich Sachen können von zwei unterschiedlichen Beobachtern wahrgenommen werden und es ergibt sich nun eine Divergenz im Messergebnis. Um ein hohes Maß an Durchführungsobjektivität zu gewährleisten, ist die Konstruktionsperspektive der Wirklichkeit transparent zu gestalten und die Indikatoren sollten der Möglichkeit abweichender Interpretationen entgegen gewählt werden.

Die Auswertungsobjektivität besagt, dass die Auswertung der Ergebnisse unabhängig von der auswertenden Person sein soll. Bei einer Auswertung soll nicht interpretiert werden, sondern die Ergebnisse sollen zusammengefasst oder zugeordnet (codiert) werden zu einem numerischen Wert. Es ist deshalb eine Vereinfachung der Erhebung, sobald Handlungsfelder codierten Kategorien zugeordnet werden. Weiterhin ist eine qualitative Darstellung des Ergebnisses möglich. In der Demokratiemessung sind beide Methoden gebräuchlich.

Unabhängig von der Art der Methode muss stets eine klare Abtrennung der Kategorien vorgenommen werden um die Auswertungsobjektivität zu gewährleisten.

Unter einer differenzierten Auswertung des empirischen Befundes wird jedoch die Auswertungsobjektivität beeinträchtigt. Die letzte Form der Objektivität ist die Interpretationsobjektivität. Sie betrifft den Umgang mit dem quantifizierten Material. Es soll erreicht werden, dass gleiche numerische Werte nicht unterschiedlich interpretiert, weil unterschiedliche Trennwerte (tresholds/cutting points) angelegt werden.

2.2 Reliabilität

Wie bei der Objektivität gibt es auch unterschiedliche Formen der Reliabilität. Allerdings steigt die Zuverlässigkeit einer Messung mit der Reduktion der vormals erwähnten Kategorien.

Die Zuverlässigkeit kann über Paralleltest bestimmt werden. Der gleiche Sachverhalt anhand von zwei unterschiedlichen Messinstrumenten gemessen. Der Grad der Verlässlichkeit leitet sich vom Grad der Übereinstimmung ab. Jedoch ist es von immenser Bedeutung relativ ähnliche Messinstrumente zu verwenden, dass es sonst zu einer verfälschten Messung kommen kann. Da dies in der empirischen Sozialforschung schwer umzusetzen ist, wird diese Methode hier eher selten angewandt. Eine weitere Methode ist die Testwiederholung (Test-Retest-Methode). Dabei wird die gleiche Messung in einem zeitlich geringen Abstand wiederholt und auch hier entscheidet der Grad der Übereinstimmung über die Zuverlässigkeit. Ein Manko ist hier jedoch, das ein stabil Messobjekt vorausgesetzt wird. Die Methode der Testhalbierung (Testhälften) koppelt sich teilweise an den Paralleltest. Der Test wird in zwei gleichwertige Hälften geteilt und dann mit Hilfe des Paralleltests geprüft. Es wird hierbei angenommen, dass beide Testhälften das gleiche messen. Jedoch ist auch dieser Test nicht problemfrei, denn es gibt unterschiedliche Möglichkeiten den Test zu halbieren. Im Bereich der Demokratiemessung ist es nicht sinnvoll dieses Verfahren anzuwenden, da beide Testhälften die gleiche Dimension messen sollen. Doch Demokratie ist kein eindimensionales Konstrukt, sondern mindestens zweidimensional. Den Abschluss in diesen Ausführungen bildet die item-Analyse basierend auf der Likert Skala. Mit diesem Verfahren können Messinstrumente erzeugt werden deren Verlässlichkeit von vornherein höher ist. Die items sind dabei empirisch beobachtbare Merkmalsausprägungen deren Kohärenz geprüft werden soll. Es werden Übereinstimmungen oder Unterschiede der items geprüft und ausgewertet. Basierend auf dem Prinzip dieser Methode, ist sie zur Demokratiemessung ungeeignet. Im Extremfall kann mit dieser Methode die Validität stark gefährdet werden.

Alles in allem müssen mehrere Aspekte betrachtet werden, als da wären die präzise und verständliche Formulierung der Indikatoren, die Klarheit der Skalierung, die Objektivität des Beobachters, die Eindeutigkeit und Transparenz der tresholds, die Art der Reliabilitätsprüfung und die Offenlegung der Quellen einhergehend mit der Nachvollziehbarkeit der Kodierung. All diese Punkte bilden die Grundlage für eine objektive und zuverlässige Messung.

[...]