„In an era of fiscal conservatism, programs at all levels of education are coming under increasing scrutiny. Not only must new projects be carefully planned, monitored, and evaluated, but existing activities are also constantly being reassessed with respect to their absolute effectiveness and their merit relative to alternative uses of scarce resour-ces.“
Was Solmon (1983: 15) vor mehr als zwanzig Jahren für den Bildungssektor feststellte, lässt sich heute eigentlich auf alle Bereiche übertragen, in denen evaluiert wird. Aufgrund knapper Ressourcen und deren vielfältigen Einsatzmöglichkeiten erscheint es häufig notwendig, den Nachweis dafür zu erbringen, dass Evaluationen keine Ressourcenverschwendung darstellen, sondern Nutzen stiften und zur Verbesserung von Programmen, Projekten und Maßnahmen beitragen. Eine Möglichkeit zur Erbringung dieses Nachweises ist die ökonomische Bewertung der Effizienz von Evaluationen. Hierfür gibt es verschiedene Methoden, von denen die sog. Kosten-Nutzen Analyse zur Effizienzüberprüfung von Evaluationen am besten geeignet scheint.
Zur Bearbeitung des Themengebietes standen dem Verfasser zwei Vorgehenseisen zur Verfügung: Zum einen ist es möglich, die Kosten-Nutzen Analyse an einem empirischen Beispiel zu erläutern, zum anderen kann das Konzept der Kosten-Nutzen Analyse mit all seinen Facetten allgemein und vor allem vor dem Hintergrund der Bewertung von Evaluationen vorgestellt und diskutiert werden. Da bei der Darstellung anhand eines empirischen Beispiels einige Aspekte der Kosten-Nutzen Analyse nicht klar herausgestellt werden könnten, wird für diese Arbeit die allgemeine Vorgehensweise gewählt.
Im folgenden Abschnitt wird das Konzept der Kosten-Nutzen Analyse vorgestellt und von zwei anderen bedeutenden Konzepten der ökonomischen Evaluation abgegrenzt. Zudem wird kurz darauf eingegangen, weshalb gerade die Kosten-Nutzen Analyse für die Evaluation von Evaluationen („Meta-Evaluation“) bedeutsam ist.
Im darauf folgenden Abschnitt wird dann ein fiktiv-empirisches Beispiel vorgestellt, anhand dessen im weiteren Verlauf der Arbeit sowohl die Kosten als auch die Nutzen einer Evaluation dargestellt und diskutiert werden.
Mit einem kurzen Fazit und einer persönlichen Einschätzung des Verfassers zur Anwendbarkeit der Kosten-Nutzen Analyse auf Evaluationen schließt diese Arbeit.
Inhaltsverzeichnis
1 Einführung
2 Kosten-Nutzen Analyse
3 Fiktives Beispiel
4 Die Kosten einer Evaluation
5 Der Nutzen einer Evaluation
6 Fazit
7 Literatur
1 Einführung
„In an era of fiscal conservatism, programs at all levels of education are coming under increasing scrutiny. Not only must new projects be carefully planned, monitored, and evaluated, but existing activities are also constantly being reassessed with respect to their absolute effectiveness and their merit relative to alternative uses of scarce resources.“
Was Solmon (1983: 15) vor mehr als zwanzig Jahren für den Bildungssektor feststellte, lässt sich heute eigentlich auf alle Bereiche übertragen, in denen evaluiert wird. Aufgrund knapper Ressourcen und deren vielfältigen Einsatzmöglichkeiten erscheint es häufig notwendig, den Nachweis dafür zu erbringen, dass Evaluationen keine Ressourcenverschwendung darstellen, sondern Nutzen stiften und zur Verbesserung von Programmen, Projekten und Maßnahmen beitragen. Eine Möglichkeit zur Erbringung dieses Nachweises ist die ökonomische Bewertung der Effizienz von Evaluationen. Hierfür gibt es verschiedene Methoden, von denen die sog. Kosten-Nutzen Analyse zur Effizienzüberprüfung von Evaluationen am besten geeignet scheint.
Zur Bearbeitung des Themengebietes standen dem Verfasser zwei Vorgehenseisen zur Verfügung: Zum einen ist es möglich, die Kosten-Nutzen Analyse an einem empirischen Beispiel zu erläutern, zum anderen kann das Konzept der Kosten-Nutzen Analyse mit all seinen Facetten allgemein und vor allem vor dem Hintergrund der Bewertung von Evaluationen vorgestellt und diskutiert werden. Da bei der Darstellung anhand eines empirischen Beispiels einige Aspekte der Kosten-Nutzen Analyse nicht klar herausgestellt werden könnten, wird für diese Arbeit die allgemeine Vorgehensweise gewählt.
Im folgenden Abschnitt wird das Konzept der Kosten-Nutzen Analyse vorgestellt und von zwei anderen bedeutenden Konzepten der ökonomischen Evaluation abgegrenzt. Zudem wird kurz darauf eingegangen, weshalb gerade die Kosten-Nutzen Analyse für die Evaluation von Evaluationen („Meta-Evaluation“) bedeutsam ist.
Im darauf folgenden Abschnitt wird dann ein fiktiv-empirisches Beispiel vorgestellt, anhand dessen im weiteren Verlauf der Arbeit sowohl die Kosten als auch die Nutzen einer Evaluation dargestellt und diskutiert werden.
Mit einem kurzen Fazit und einer persönlichen Einschätzung des Verfassers zur Anwendbarkeit der Kosten-Nutzen Analyse auf Evaluationen schließt diese Arbeit.
2 Kosten-Nutzen Analyse
Die Kosten-Nutzen Analyse ist eine von verschiedenen Methoden der ökonomischen Evaluation. Ökonomische Evaluationsmethoden wurden ursprünglich nicht für die Anwendung auf Evaluationen entwickelt, sondern zur Effizienzbewertung von Maßnahmen, Programmen und Projekten. Da Evaluationen aber lediglich eine spezielle Form von Projekten darstellen, ist eine Übertragung der Konzepte unproblematisch. Gründe für die Anwendung von ökonomischen Evaluationsmethoden auf Evaluationen im Rahmen einer Meta-Evaluation sind neben der Rechfertigung bzw. Legitimation von Evaluationen die Qualitätssicherung und -entwicklung von Evaluationen, eine bessere Abschätzung von Kosten und Nutzen von Evaluationen sowie ein besseres Verständnis eines Evaluationsvorhabens im Vorfeld (Sewell & Mrczak: 1997). Ökonomische Evaluationsmethoden sind also sowohl ex ante (in der Planungsphase einer Evaluation) als auch ex post (zur Beurteilung von Evaluationen im Nachhinein) geeignet (vgl. Rossi et al., 2004: 336-339).
Die beiden bekanntesten Konzepte der ökonomischen Evaluation werden mit den Begriffen „cost-benefit analysis“ (CBA) und „cost-effectiveness analysis“ (CEA) bezeichnet. Rossi et al. (2004) fassen die beiden genannten Konzepte unter dem Begriff „efficiency analysis“ zusammen. Neben diesen beiden Konzepten wird von Levin & McEwan (2001) und von Drummond et al. (2005) mit der „cost-utility analysis“ (CUA) eine weitere Methode der Kostenanalyse genannt und beschrieben[1].
Bei der CEA (auch Kosten-Effektivitäts Analyse) geht es im Kern darum, mehrere Evaluationen mit derselben Zielsetzung hinsichtlich ihres Kosteneinsatzes zu vergleichen (vgl. Rossi et al., 2004: 362-366 und Drummond et al., 2005: 103 ff.). Es soll festgestellt werden, welche der Evaluationen bei gleicher Zielerreichung die wenigsten Ressourcen benötigt bzw. welche Evaluation bei gleichem Kosteneinsatz ihr Ziel am besten erreicht. Die CEA liefert also eine Entscheidungsgrundlage für die Entscheidung für ein Evaluationsprojekt aus mehreren Alternativen.
Die CUA (auch Kosten-Nutzwert Analyse) ist der CEA auf der Kostenseite sehr ähnlich, wenn nicht sogar identisch (vgl. Drummond et al., 2005: 137). Der wesentliche Unterschied zwischen den beiden Methoden besteht in der Erfassung des Effektivitätskriteriums. Während die CEA nur auf einem einzigen Effektivitätsmaß basiert, verwendet die CUA „…information on the preferences of individuals in order to express their overall satisfaction with a single measure or multiple measures of effectiveness.“ (Levin & McEwan, 2001: 19). Mit der CUA ist es möglich, verschiedene Effektivitätskriterien anhand der Präferenzen von Beteiligten über diese Effektivitätskriterien in einem „Utility-Kriterium“ zu bündeln. Auch diese Methode dient vorwiegend dazu, verschiedene Evaluationsprojekte hinsichtlich ihrer Kosteneffizienz untereinander zu vergleichen. Damit eine Kosten-Nutzwert Analyse überhaupt durchgeführt werden kann, müssen die Ergebnisse eines Programms bzw. einer Evaluation bereits vorliegen, da es ansonsten nicht möglich ist, von Individuen die Präferenzen abzufragen.
Die Kosten-Nutzen Analyse unterscheidet sich in ihrer Konzeption grundlegend von den beiden zuvor vorgestellten Methoden, da hierbei nicht nur die Vergleichbarkeit zwischen verschiedenen Projekten von Interesse ist, sondern auch und vor allem der Vergleich von Kosten und Nutzen innerhalb eines einzelnen Projekts. Der Kosten-Nutzen Analyse kommt im Rahmen der Meta-Evaluation eine besondere Bedeutung zu. Grund hierfür ist, dass der Erfolg eines Evaluationsvorhabens letztlich daran festgemacht werden kann, ob es gelingt, einen Nutzen zu stiften (Brandt, 2007: 190). Gelingt dies nicht, so werden die eingesetzten Ressourcen verschwendet. Ausdruck findet die Wichtigkeit vom Verhältnis zwischen Kosten und Nutzen einer Evaluation auch unter dem Punkt „D3“ der Standards für Evaluation (Deutsche Gesellschaft für Evaluation: 2002). Dort heißt es: „Der Aufwand für Evaluation soll in einem angemessenen Verhältnis zum Nutzen der Evaluation stehen.“
Man muss außerdem davon ausgehen, dass im Normalfall ein Programm nur einmal mit denselben Zielsetzungen evaluiert wird. Aus diesem Grund ist ein ex post Vergleich von Evaluationen mit Hilfe von CEA und CBA oft nicht möglich.
Während die CEA und die CUA versuchen, unter mehreren Evaluationen die effizienteste zu identifizieren, kann mit Hilfe der „cost-benefit analysis“ (CBA) untersucht werden, ob die eingesetzten Ressourcen für eine Evaluation tatsächlich einen Nutzen stiften. Zur Berechnung des Kosten-Nutzen Verhältnisses einer Evaluation müssen sowohl die Nutzen (tangible und nicht-tangible) als auch die Kosten (direkte und indirekte) erfasst werden. Sie müssen dann in ein gemeinsames Maß umgewandelt werden, üblicherweise monetärer Natur (vgl. Rossi et al., 2004: 339). „Money Valuation is the soul of benefit-cost analysis: assessing the good and bad aspects of a decision alternative by valuing them in terms of money.“ (Thompson, 1980: 15) Hierbei offenbart sich das größte Problem der Kosten-Nutzen Analyse: die Monetarisierung von oftmals nicht monetären Gegenständen (vgl. hierzu Levin & McEwan, 2001: 15ff.). Diese Problem wird im später in dieser Arbeit behandelt.
Im deutschen Sprachraum gibt es auf dem Gebiet der Meta-Evaluation synonym für die Kosten-Nutzen Analyse den zutreffenden Begriff der Kostenwirksamkeitsanalyse[2]. „Eine Evaluation ist dann kostenwirksam, wenn ihr Nutzen gleich gross oder grösser als ihre Kosten ist.“ (Widmer, 1996: 21) Eine Evaluation ist also genau dann kostenwirksam, wenn ihre Resultate mehr oder zumindest nicht weniger Nutzen stiften als sie selbst gekostet hat. Scriven (1983: 42-44) bezeichnet eine solche Evaluation als „cost-free evaluation“. Eine sauber durchgeführte CBA versetzt Entscheidungsträger also in die Lage, eine einzelne Evaluation ex ante darauf hin zu überprüfen, ob sie genügend Nutzen stiftet, um den Ressourceneinsatz zu rechtfertigen. „Bleiben die Kosten in jedem Fall höher als der zu erwartende Nutzen, ist auf eine Evaluation zu verzichten.“ (Widmer, 1996: 21).
Das eigentliche Ergebnis einer Kosten-Nutzen Analyse besteht nun in der Berechnung einer genau definierten Relation zwischen Kosten und Nutzen einer Evaluation. Dies kann entweder durch die Bildung eines Koeffizienten geschehen oder durch die Bildung der Differenz („Nettonutzen“) (Sewell & Mrczak: 1997). Levin & McEwan (2001) nennen zusätzlich als dritte Möglichkeit die „Internal Rate of Return“, die mit Wertdifferenzen der monetären Maßeinheit zusammenhängt und die sich besonders für die Diskontierung von Kosten eignet.
Alle drei Methoden haben ihre Vor- und Nachteile, die bei Levin & McEwan (2001) oder Rossi et al. (2004) nachgeschlagen werden können. Die verschiedenen Berechnungsmethoden der Kosten-Nutzen Kombination sollen in dieser Arbeit nicht im Vordergrund stehen, da die Berechnung der Maße verhältnismäßig einfach durchzuführen ist, wenn Kosten und Nutzen einer Evaluation erst einmal identifiziert und quantifiziert sind. Es soll an dieser Stelle lediglich darauf hingewiesen werden, dass sich der Kosten-Nutzen Koeffizient gut zum Vergleich von mehreren Evaluationsstudien eignet und der Nettonutzen für die Bestimmung des absoluten Nutzens einer einzigen Evaluationsstudie sehr gut geeignet ist (Levin & McEwan, 2001: 175ff.). Können Kosten und Nutzen einer Evaluation identifiziert und quantifiziert werden, so empfiehlt es sich, alle zur Verfügung stehenden Maße zu berechnen und sie jeweils entsprechend dem Erkenntnisinteresse zu interpretieren.
Bevor sich die Arbeit in ihrem weiteren Verlauf ausführlich mit den Kosten und Nutzen von Evaluationen beschäftigt, muss noch eine sehr wichtige Frage beantwortet werden, die vor jeder Durchführung einer Kostenwirksamkeitsanalyse gestellt werden muss: Aus welcher Perspektive bzw. von welchem Standpunkt aus wird eine Kosten-Nutzen Analyse durchgeführt? Von der Durchführungsperspektive der CBA hängt das Ergebnis ganz maßgeblich ab. Wenn bspw. ein privater Auftraggeber einer Evaluation, auf die eine CBA angewendet werden soll, auch der Auftraggeber der CBA ist, so wird er ein anderes Erkenntnisinteresse haben als bspw. eine Regierungsbehörde, die durch Kosten-Nutzen Analysen herausfinden möchte, ob Evaluationen einen gesellschaftlichen Nutzen stiften oder nicht. Den privaten Auftraggeber der CBA wird der gesellschaftliche Nutzen einer Evaluation wenig interessieren, er will wissen, welche Nutzen und welche Kosten für ihn durch eine durchgeführte Evaluation entstanden sind. Der Interessensstandpunkt ist vor allem ausschlaggebend für die Identifikation von Kosten und Nutzen. Je nach Erkenntnisinteresse können nämlich Kosten- und Nutzenstellen variieren. Was aus einem Blickwinkel einen Nutzen darstellt (bspw. könnten durch eine Evaluationsstudie Ineffizienzen in der Verwaltung eines Programms entdeckt werden, woraufhin eine Arbeitskraft entlassen und das Programm dadurch effizienter wird), verursacht aus einem anderen Blickwinkel Kosten (aus gesamtgesellschaftlicher Betrachtungsweise wäre die Entlassung mit Kosten für die Gesellschaft verbunden (zahlt keine Steuern mehr, Arbeitslosengeld…)). Campbell & Brown (2005: 24ff.) unterscheiden vier verschiedene Standpunkte, die bei einer Kosten-Nutzen Analyse hinsichtlich der Effizienz eingenommen werden können:
1) Ist ein Projekt aus der Marktperspektive profitabel?
2) Ist ein Projekt profitabel aus der Sicht des Geldgebers?
3) Ist die ökonomische Effizienz eines Projekts, von einem globalen Standpunkt aus betrachtet, gegeben?
[...]
[1] Konzepte wie das der „cost-feasability analysis“ (vgl. Levin & McEwan: 2001), die sich ausschließlich mit der Kostenseite beschäftigen, werden in dieser Arbeit nicht behandelt.
Häufig gestellte Fragen
Was ist das Hauptthema des Textes "Inhaltsverzeichnis"?
Der Text befasst sich mit der Kosten-Nutzen-Analyse im Kontext von Evaluationen, insbesondere im Bildungssektor und anderen Bereichen, in denen Ressourcen knapp sind. Er untersucht, wie die Kostenwirksamkeit von Evaluationen bewertet werden kann, um sicherzustellen, dass sie einen Mehrwert bieten und keine Ressourcen verschwenden.
Welche ökonomischen Evaluationsmethoden werden im Text verglichen?
Der Text vergleicht die Kosten-Nutzen-Analyse (CBA) mit der Kosten-Effektivitäts-Analyse (CEA) und der Kosten-Nutzwert-Analyse (CUA). Er betont, dass die CBA besonders relevant für die Meta-Evaluation ist, da sie Kosten und Nutzen innerhalb eines einzelnen Projekts vergleicht, anstatt Projekte untereinander zu vergleichen.
Warum ist die Kosten-Nutzen-Analyse (CBA) für die Bewertung von Evaluationen (Meta-Evaluation) besonders wichtig?
Die CBA ist wichtig, weil sie den Fokus auf das Verhältnis zwischen Kosten und Nutzen einer einzelnen Evaluation legt. Sie hilft festzustellen, ob eine Evaluation tatsächlich einen Mehrwert schafft und ob die eingesetzten Ressourcen gerechtfertigt sind. Dies ist entscheidend, da Programme oft nur einmal mit denselben Zielen evaluiert werden, was einen direkten Vergleich erschwert.
Was ist das größte Problem bei der Durchführung einer Kosten-Nutzen-Analyse?
Das größte Problem ist die Monetarisierung von oft nicht-monetären Gegenständen. Es ist schwierig, den Wert von immateriellen Vorteilen oder Kosten in Geldeinheiten auszudrücken. Der Text behandelt dieses Problem im weiteren Verlauf.
Welche verschiedenen Perspektiven können bei einer Kosten-Nutzen-Analyse (CBA) berücksichtigt werden?
Der Text verweist auf Campbell & Brown (2005) und nennt verschiedene Standpunkte, die bei einer Kosten-Nutzen-Analyse hinsichtlich der Effizienz eingenommen werden können, z.B. aus der Marktperspektive, aus der Sicht des Geldgebers oder aus einem globalen Standpunkt.
Was bedeutet "Kostenwirksamkeitsanalyse" im Kontext des Textes?
Der Begriff "Kostenwirksamkeitsanalyse" wird synonym zur Kosten-Nutzen-Analyse verwendet. Eine Evaluation ist dann kostenwirksam, wenn ihr Nutzen mindestens so groß ist wie ihre Kosten.
Welche Ergebnisse liefert eine Kosten-Nutzen-Analyse?
Das Ergebnis einer Kosten-Nutzen-Analyse ist die Berechnung einer Relation zwischen Kosten und Nutzen, entweder durch Bildung eines Koeffizienten oder durch die Berechnung der Differenz (Nettonutzen). Auch die "Internal Rate of Return" kann berechnet werden.
Wozu dienen die verschiedenen Berechnungsmethoden der Kosten-Nutzen-Analyse?
Der Kosten-Nutzen-Koeffizient eignet sich gut zum Vergleich verschiedener Evaluationsstudien, während der Nettonutzen besonders geeignet ist, um den absoluten Nutzen einer einzelnen Evaluationsstudie zu bestimmen.
- Quote paper
- Christoph Emanuel Müller (Author), 2008, Kostenwirksamkeitsanalyse von Evaluationen, Munich, GRIN Verlag, https://www.grin.com/document/89712
