Gliederung

1.  Einleitung  

2.  Typen der Evaluierung und ihre Zielsetzung  

3.  Konzeptionelle Überlegungen zur Evaluierung  

3.1  Wirkungen von Projekten in der Entwicklungszusammenarbeit  

3.2  Der Begriff der Nachhaltigkeit  

3.3  Lebenszyklusmodell  

4.  Die Bedeutung der konzeptionellen Überlegungen für die Evaluierung  

4.1  Methodik  

4.2  Schwierigkeiten in der Evaluationspraxis  

5.  Signifikanz der Erfolgskontrolle in der deutschen EZ  

5.1  Allgemeine Entwicklung der Evaluierungskonzepte und -praxis  

5.2  Der Zusammenhang von langfristigen Wirkungen und Breitenwirksamkeit - ein  

  Paradigmawechsel?  

6.  Schlußbetrachtung  

7.  Literaturverzeichnis  

8.  Verzeichnis de r Abkürzungen  

  Verzeichnis der Schaubilder  

  Schaubild 3.1.1: Wirkungsmodell für den Zusammenhang von Projekt, Trägerorganisation,  

  und Umwelt  

  Schaubild 3.2.1: Dimensionen der Nachhaltigkeit  

  Schaubild 3.2.2: Ein mehrdimensionaler Nachhaltigkeitsbegriff  

  Schaubild 3.3.1: Lebenszyklusmodell für Entwicklungshilfeprojekte  

2

1. Einleitung

Für die Entwicklungszusammenarbeit ¹ sind klare Prüfungskriterien und Erfolgsindikatoren unabdingbar, um sicherzustellen, daß staatliche und nic htstaatliche Interventionen die Förderziele effizient erreichen und nicht durch unerwünschte Nebeneffekte konterkarieren. Mit der sukzessiven Einführung neuer Planungs- (ZOPP) und Managementinstrumente im entwicklungspolitischen Entscheidungsprozeß sowie der wachsenden Aufmerksamkeit für Fragen der Projektwirkungen hat sich seit Anfang der 80er Jahre in der deutschen EZ ein breites und umfassendes System der Erfolgskontrolle etabliert. Strukturen, Bedingungen und Veränderungen von Projekten während und nach der Geberförderung sollen durch die Evaluierung systematisch ermittelt werden.

Die Grundfrage zu welchem Zweck Evaluierungen durchgeführt werden, stellt sich für die NROs gleichermaßen wie für staatliche EZ-Organisationen. Demnach sind die Hauptgründe für die Erfolgskontrolle

• Überprüfung der Effizienz, Effektivität und Wirkungen der EZ;

• eine managementrelevante Entscheidungsgrundlage für die Aufnahme oder Weiterführung von Projekten darzustellen;

• sie sind Bestandteil der Berichterstattung und Rechenschaftslegung;

• sie sind Basis für institutionelles Lernen und allgemein für die Verbesserung der Entwicklungspolitik sowie der Qualitätssicherung;

• ihre Ergebnisse dienen der Legitimation der Entwicklungspolitik gegenüber der Öffentlichkeit und Außendarstellung.

Auf Grundlage dieser Vorüberlegungen zur Erfolgskontrolle bzw. Evaluierung von Projekten der EZ werden in dieser vorliegenden Arbeit die einzelnen Elemente der diversen Evaluierungsmuster v.a. auf Basis Stockmanns idealtypischen Verlauf von Evaluierungen diskutiert und überprüft.

Projekte der EZ sollen wirksam und nachhaltig sein. Außerdem haben sie Signifikanz für die weitere EZ sowie der Entwicklungspolitik. Aus diesem Grund werden zunächst konzeptionelle Überlegungen bzw. grundlegende Definitionen, die alle relevant für die Evaluierung sind, einander gegenübergestellt. Anschließend wird auf die methodischen Konzepte bei der Analyse von Entwicklungsprojekten eingegangen, um abschließend klären zu können, welche Signifikanz der Erfolgskontrolle zuzuschreiben ist bzw. auf welchem aktuellen Stand sich die Wissenschaft im Moment befindet.

2. Typen der Evaluierung und ihre Zielsetzung

Zunächst soll der Begriff der Evaluierung näher definiert werden.

3

Wie eingangs erwähnt wurde, sind Evaluierungen systematische Untersuchungen laufender oder abgeschlossener Projekte durch die verantwortliche Organisationseinheit und in der Regel unter Einschaltung externer Gutachter, die aus Gründen der Objektivität nicht mit der Planung und Durchführung des Vorhabens befaßt sind (vgl. Nohlen, 2000:250; GTZ, 1998a:6).

Dabei spielen insbesondere Fragen nach Effektivität (Waren die Methoden, Arbeitsweisen und Techniken der Projektdurchführung wirksam?), Effizienz (Ist das Verhältnis von Aufwand und Ertrag zu rechtfertigen?) und Signifikanz (Hat das Projekt einen nachhaltigen Effekt für die wirtschaftliche und soziale Lage des Landes, der Projektregion, der Zielgruppe? Bzw. ist das Projekt breitenwirksam geworden?) bei der Ergebnisbeurteilung eine wichtige Rolle (BMZ, 2000:17; GTZ, 1998a:6; Vahlhaus & Kuby, 2000:23ff).

Diese Kriterien der Effektivität, Effizienz, Nachhaltigkeit, Relevanz und Signifikanz beruhen auf einer Vereinbarung der OECD (DAC) Mitgliedstaaten und sind von den EZ Durchführungsorganisationen anerkannt (Ojha, 1998:11)

Evaluierung wird also als integraler Bestandteil von Planung, Programmierung und Budgetprozeß begriffen.

Bei der Typisierung wird Evaluation überwiegend im zeitlichen Ablauf von Projekten der EZ unterschieden. Sowohl in der Planungsphase eines Vorhabens (Ex-Ante-Evaluation), der Durchführungsphase (Operational Evaluation und Built-In-Evaluation) als auch in der Ergebnisphase (Impact Evaluation bzw. Ex-Post-Evaluation) lassen sich Ergebniskontrollen durchführen.

Die Ex-Ante-Evaluation in der Planungsphase bezieht sich hierbei auf die Auswahl und Vorprüfung eines Vorhabens aus einer Reihe von Alternativen von bestimmten Kriterien. Projektfindung, -auswahl, und -vorprüfung sind Stichworte, die in diesem Zusammenhang fallen (Nohlen, 2000:250). Ein Anwendungsbeispiel für die Ex-Ante-Evaluation ist u.a. das ZOPP-Verfahren der GTZ. Das ZOPP-Verfahren, das 1987 als verbindliche Planungsmethode eingeführt wurde, bildet ein auf die Bedürfnisse der Partner und Zielgruppen ausgerichtetes Grundgerüst eines ,,partizipativen" (GTZ, 1997:22) Planungsprozesses. Es basiert auf dem Verständnis von Planung und Projekt als ein andauernder Prozeß in dem die Schlüsselelemente von den betroffenen Akteuren ausgearbeitet werden und schließlich in einer Matrix (PPÜ) dargestellt werden (GTZ, 1997:24ff).

Während der Durchführungsphase beschäftigt sich die Evaluation hingegen überwiegend mit der Wirtschaftlichkeitsrechnung (Operational Evaluation) und einer Kosten-Nutzen-Analyse (Built-In-Evaluation). Um die Effizienz der Vorhaben zu analysieren, werden dabei die Aufwendungen zu den erzielten Resultaten miteinander in Beziehung gesetzt. Erstmals werden erste Aussagen getroffen über die Projektkonzeption, -organisation, die Zusammenarbeit mit den Zielgruppen sowie die Beziehungen zum Projektumfeld analysiert (GTZ, 1998a:6ff). Diese Art der Evaluierung dient somit der Projektsteuerung und ist in diesem Zusammenhang die wichtigste Form der Erfolgskontrolle. Von der GTZ wird diese auch ,,Monitoring" (GTZ, 1998a:3f) genannt. Sie räumt ihm einen besonderen Stellenwert ein, um frühstmöglich einander konträre Interessen, Ziele und Vorgehensweisen der am Projekt beteiligten Akteure zu erkennen und letzlich die Steuerung des Projektes verbessern zu können.

4

In der Impact Evaluation bzw. Ex-Post-Evaluation (Ergebnisphase), dem wichtigsten Evaluationstypus nach der Durchführungsphase, wird schließlich festgestellt, ob die vorgegebenen Zielsetzungen tatsächlich erfüllt wurden, und versucht, den Wert der erzielten Resultate für die wirtschaftliche und soziale Entwicklung des betreffenden Bereichs zu beurteilen (Ojha, 1998:14).

Nachdem mit zunehmender Evaluationspraxis die idealtypische Gegenüberstellung von interner ² und externer ³ Evaluation mehr und mehr miteinander verknüpft wird, da die Prüfaktivitäten Externer immer öfter von der Verwaltung gesteuert und kontrolliert werden, sei an dieser Stelle, der Vollständigkeit wegen, nur deren mögliche formale Unterscheidung in interne und externe Evaluation erwähnt.

Im folgenden werden diverse theoriegeleitete Konzeptionen behandelt, die zum einen auf die Analyse von Wirkungen, die sich im und durch das Projekt entfalten, beziehen. Zum anderen wird Nachhaltigkeit behandelt und schließlich folgt die Betrachtung von Projekten der EZ in seiner Verlaufsgeschichte.

Einerseits stellen diese Faktoren die Basis für die methodische Vorgehensweise in der Evaluation dar. Andererseits bilden diese Konzeptionen die Grundlage für die angehende und fortlaufende Diskussion sowohl im Rahmen dieser Arbeit, insbesondere jedoch in der Wissenschaft.

3. Konzeptionelle Überlegungen zur Evaluierung

3.1 Wirkungen von Projekten in der Entwicklungszusammenarbeit

,,Vorhaben sind wirksam, wenn die Zielgruppen die Projektleistungen brauchen, sie nutzen und sich dadurch in der von ihnen angestrebten Richtung weiterentwickelt." (GTZ, 1998a: 21)

- so wird von der GTZ die Wirksamkeit von Projekten in der Technischen Zusammenarbeit (TZ) definiert. Entsprechend dieser Definition können Proj ekte als organisatorische Einheiten mit spezifischen Zielsetzungen betrachtet werden, die einen Zusammenhang zwischen dem Projekt und seiner Umwelt herstellen.

So können organisationstheoretische Ansätze die Wirkungsweise von Entwicklungsprojekten erklären. Stockmann (1992) versteht dabei den angestrebten sozialen Wandel ⁴ v.a. als ein über Organisationen laufender Transferprozeß.

Nach Stockmann entfalten Projekte in einem gesamtgesellschaftlichen Rahmen in und durch Organisationen Wirkungen. Gleichzeitig sind sie Einflüssen durch die sie umgebenden Systeme ausgesetzt und treten mit politischen, ökonomischen, sozialen und kulturellen Determinanten in Wechselwirkung.

Dieses vernetzte System von Wechselwirkungen nimmt einen erheblichen Einfluß auf den Erfolg oder Mißerfolg von den intendierten Innovationen eines Projektes. Die Projektinputs und externen Einflußfaktoren stellen dabei die Rahmenbedingungen dar. Stockmann, der als einer der maßgeblichen Akteure in der Entwicklung und fortlaufenden Diskussion der Evaluierungspraxis gilt, faßt diese Wirkungsmöglichkeiten von Projekten der EZ in einem umfassenden Modell zusammen:

5

Wie aus dem Schaubild ersichtlich wird, steht das Projekt im Zentrum des Modells und ist als organisatorische Teileinheit in die Trägerorganisation eingebettet. Im Rahmen der Projekt-Zielsetzungen sollen Innovationen innerhalb und außerhalb der Trägerorganisation eingeleitet werden. (Im Schaubild kennzeichnen Pfeile die Innovationen und Wechselwirkungen) Dabei werden die Wirkungsmöglichkeiten des Projektes einerseits durch die Trägerorganisation (interne Umwelt) und andererseits durch Systeme, die die Trägerorganisation und damit das Projekt umgeben (externe Umwelt), beeinflußt. Nach Stockmann (1992) können diese externen Rahmenbedingungen das Ziel unterstützen oder als Gegenkräfte die Zielerreichung negativ beeinflussen.

Ein Projekt versucht also bewußt bestimmte Bereiche innerhalb oder außerhalb des Trägers zu beeinflussen. Allerdings können auch zielkonforme und dem Ziel entgegengesetzte sowie intendierte und nicht-intendierte Wirkungen entstehen.

Dies soll nicht heißen, daß beispielsweise die nicht-intendierten Wirkungen, nicht zu einem positiven Abschluß beitragen können. Alle einflußnehmenden Faktoren müssen daher in ihrer Gesamtheit bei der Projektplanung, Durchführung und schließlich der Evaluation berücksichtigt werden.

6

Dieses von Stockmann entwickelte Modell spiegelt sich zum größten Teil auch im GTZ-Verständnis von Wirkungen wieder. Die GTZ spricht von drei Wirkungsebenen, die sich beziehen auf

• Nutzung beschreibt, ob und wie die Projektleistungen durch die Zielgruppen genutzt werden

• Direkter Nutzen beschreibt den aus der Nutzung direkt erzielten Nutzen für die Zielgruppen

• Weitergehende indirekte Wirkungen und höchst aggregierte Entwicklungsfortschritte beschreiben die Veränderungen, die unsere Arbeit über den direkten Nutzen hinaus im Umfeld bewirken oder auch längerfristige Wirkungen, die sich erst nach dem Ende des Projektes einstellen. (Vahlhaus & Kuby, 2000:23) Nachdem jedoch die Verwirklichung der beabsichtigten Wirkungen, wie aus Schaubild 3.1.1 ersichtlich wurde, die Verantwortung und Mitwirkung aller an einem Vorhaben Beteiligter erfordert, verschleiert das GTZ-Verständnis von einem umfassenden Wirkungsmodell meiner Meinung nach, die Projektrealität. Die GTZ sieht nämlich bei der Vorbereitung und Durchführung von TZ-Vorhaben vor, die Interessen dreier Kunden auszubalancieren: dem BMZ als Auftraggeber, der Partnerseite als direkter Nachfrager bzw. Antragsteller und den Zielgruppen letztlich als Nutznießer der Projektergebnisse. Dabei muß die GTZ großen Wert auf Kundenzufriedenheit legen (vgl. GTZ, 1998b:9).

Die Schwäche des Kundenbegriffes der GTZ als staatliche Durchführungsorganisation liegt nun in strukturellen Nachteilen im Vergleich zu NROs. Der Begriff des Kundenverständnis separiert die unterschiedlichen Akteure voneinander und reduziert sie auf ein Dienstleister-Klienten-Verhältnis.

Dadurch wird den sehr unterschiedlichen Stärken der einzelnen Akteure im GTZ-Kundendreieck (GTZ, 1998b:9) mit den gleichgewichtigen Einflußmöglichkeiten, wie das Wirkungsmodell (vgl. Kapitel 3.1) gezeigt hat, nicht genügend Rechnung getragen. Dies zeigt ein enormes Konfliktpotential der Wirkungsmöglichkeiten eines Projektes. Nach Stockmann (1992) kommt es zu Konflikten, wenn die Ziele eines Projektes nicht mit den traditionellen Zielen der Trägerorganisation übereinstimmen (interne Konflikte) und zum anderen, wenn sie nicht mit den Zielen anderer sozialer Systeme übereinstimmen (externe Konflikte).

Insbesondere das Beispiel der GTZ macht deutlich, wie begrenzt die Wirkungsmöglichkeiten eines Projektes sein können. Es bestehen vielfältige Zusammenhänge zwischen Projekt, Träger und Umwelt, d.h. der Input ist vielen internen und externen Einflußfaktoren ausgesetzt. Aus diesem Grund ist es eine besondere Schwierigkeit für die Evaluierung von Wirkungen, diese Einflußfaktoren zu erfassen.

Oftmals wird im Zusammenhang von der Wirkungsevaluierung von der Analyse langfristiger Wirkungen gesprochen. Aus diesem Grund beschäftigt sich der folgende Abschnitt eingehend damit, was unter Nachhaltigkeit verstanden wird und wie sie idealtypisch erfaßt werden kann.

7

3.2 Der Begriff der Nachhaltigkeit

Es ist zu beobachten, daß die Begriffe ,,nachhaltige Entwicklung" und ,,Nachhaltigkeit" in den letzten Jahren im Brennpunkt der Diskussion standen. In seiner ursprünglichen Bedeutung bezieht sich der Nachhaltigkeitsbegriff auf eine Art und Weise der Nutzung natürlicher Ressourcen, die deren langfristige Reproduktionsfähigkeit nicht beeinträchtigt. Für die internationale Politik wurde der Begriff seit Beginn der 80er Jahre relevant und ist seit dem 1987 veröffentlichten ,,Brundlandt-Bericht" ⁵ und dem Rio-Gipfel 1992 in aller Munde (vgl. Nohlen, 2000:709ff und GTZ, 1998b:55ff).

Seither existiert allerdings sowohl im internationalen Vergleich wie auch innerhalb von Organisationen keine Übereinstimmung in der Frage, was unter Nachhaltigkeit überhaupt verstanden werden soll. Bei einem Versuch der Systematisierung der verschiedenen Konzepte von Nachhaltigkeit im Bereich der EZ wurden vielerlei Definitionen sichtbar, deren unterschiedliche Typen im nachfolgenden Schaubild dargestellt werden:

Schaubild 3.2.1: Dimensionen der Nachhaltigkeit

Quelle: GTZ, 1998b:57

Nach den Typen I bis III der Darstellung in Schaubild 3.2.1 ist Nachhaltigkeit also bei Fortdauer von Projekten und Programmen erreicht, wenn die Unterstützung durch einen externen Geber beendet und von Nutzen für die Zielgruppe ist, oder ökonomischer Fortschritt erreicht wurde, wie die Definition der Weltbank zeigt.

Stockmann (1992) sieht in den o.g. Definitionen die Bedingungen des ,,Brundlandt-Berichts" nicht hinreichend erfüllt, da beispielsweise Systemänderungen (GTZ, BMZ) außer acht gelassen werden oder auf veränderte Umweltbedingungen (OECD, Weltbank etc.) nicht flexibel genug reagiert werden kann. Daher bezieht er weitere Aspekte ein und gibt eine innovationsorientierte Definition der Nachhaltigkeit von Projekten in der EZ, die sich sowohl auf eine zeitliche als auch inhaltliche Begriffsbestimmung beziehen.

8

Zum einen sieht er die durch ein Projekt ausgelösten Wirkungen, wie er schon umfassend in seinem Modell der Wirkungsmöglichkeiten dargestellt hat, als kontinuierliche Prozesse (Stockmann, 1992: 21f). Dies bedeutet für die Nachhaltigkeit von Projekten, daß deren Wirkungen nicht zeitlich befristet werden können, auch wenn sie nur zeitlich meßbar sind. Zudem erweitert Stockmann den Nachhaltigkeitsbegriff auch inhaltlich (Stockmann, 1992: 22ff). Nachhaltigkeit soll demgemäß nicht nur anhand eines SOLL-IST-Vergleichs gemessen werden, wie es die Forschungstradition bis Anfang der 90er Jahre praktizierte (Ojha, 1998:23). Vielmehr müssen die verursachten positiven und negativen Effekte bzw. Wirkungen, als auch die durch ein Vorhaben neu geschaffenen Strukturen und institutionellen Regelungen, die zu einer weiterhin zielkonformen Wirkung des Projektes führen soll, einbezogen werden. Grundsätzlich sieht Stockmann Nachhaltigkeit nur dann erfüllt, wenn ,, (..) in den geschaffenen Strukturen schon gleichzeitig der Keim ihrer Veränderung mitimplementiert wurde (...)" (Stockmann, 1992:24).

Nach dieser Vorstellung bestimmt Stockmann Nachhaltigkeit auf drei Dimensionen: Die 1. Dimension bezieht sich dabei auf die Struktur versus Funktion, da innerhalb und durch eines Projektes Strukturen geschaffen werden, die Funktionen erfüllen und Wirkungen ausüben.

Zweitens können diese Strukturen und Funktionen das Ergebnis von intendierten oder nichtintendierten Aktivitäten sein. Diese 2. Dimension betrachtet also geplante versus ungeplante Aktivitäten.

Nachdem die geplanten bzw. ungeplanten Strukturen und Funktionen die Projektziele unterstützen oder ihnen entgegenwirken können, bezieht sich die 3. Dimension auf zielkonforme versus zieldiskonforme Projektwirkungen. (Stockmann, 1992:25) Aus dieser analytischen Darstellung entwickelt Stockmann schließlich folgendes Schema, nach dem ein Projekt um so nachhaltiger wirksam geworden ist, je höher die Plus- bzw. Minusbilanz eines Projektes ausfällt.

Schaubild 3.2.2: Ein mehrdimensionaler Nachhaltigkeitsbegriff

Legende: + = Zielkonformes Ergebnis - = Zieldiskonformes Ergebnis Quelle: Stockmann, 1992: 25

Die bis hierhin aufgezeigten unterschiedlichsten Begriffsbestimmungen und schließlich Stockmanns ausführlichste Hervorhebung von Faktoren, die als maßgeblich für die Erreichung von Nachhaltigkeit angesehen werden können, zeigen die enorme Schwierigkeit den Begriff greifbar zu machen und daher auch in den Projekten der EZ umzusetzen. Grundsätzlich sollten Projekte der EZ jedoch eine Problemlösungskapazität, Multiplikatorwirkung sowie Modellwirkung aufweisen, um sie als nachhaltig wirksam einstufen zu können.

9

3.3 Lebenszyklusmodell

Bevor Projekte Wirkungen entfalten, müssen sie geplant und implementiert werden. Dabei durchlaufen sie verschiedene Entwicklungsphasen. Als heuristischer Erklärungsrahmen für die Analyse eines solchen Entwicklungsverlaufs eignen sich nach Stockmann (1992) Konzepte der Lebensverlaufsforschung, da anhand dieser Konzepte ein direkter Kausalzusammenhang zwischen den einzelnen Phasen im Projekt und letztlich in der Evaluation Nachhaltigkeit und Wirkung festgestellt werden kann. Schaubild 3.3.1 zeigt ein Lebenszyklusmodell für Entwicklungshilfeprojekte.

Schaubild 3.3.1: Lebenszyklusmodell für Entwicklungshilfeprojekte

Quelle. Stockmann, 1992:29

Aus dieser Perspektive wird ersichtlich, daß der Lebensverlauf eines Projektes in zwei zentrale Abschnitte zerlegt werden kann, nämlich in die geberunterstützende Projektlaufzeit (t 1 - t F ) und in die Zeit nach Abschluß der Geberförderung

Der Beginn des Lebensverlaufs eines Projektes wird bei diesem Modell mit der Projektidee und dem Förderantrag (t 1 ) markiert. Schwieriger ist es hingegen das Ende des Projektes: zu definieren, da nach Abzug der Experten und dem Auslaufen der Geberhilfe (t F ), die etablierten Strukturen weiterhin ihre Wirkung entfalten sollen und erst in der Bewährungsphase klar wird, ob Nachhaltigkeit erzielt wurde (Stockmann, 1992). Die Phasen nach dem Ende der Geberförderung (t NF ) sind die natürlichen Folgephasen und sollen auf die vorher aufgebauten Ressourcen aufbauen. Dies bedeutet Planung und Durchführung steuern den angestrebten dauerhaften Wandel, bauen aufeinander auf, so daß der Partner später selbständig Steuerungskompetenz, Mittelaufwendung und schließlich das Projekt übernimmt.

10

Die in dieser Phase vorgefundenen Strukturen und Wirkungen, die für die Beurteilung der Nachhaltigkeit maßgeblich sind, können im wesentlichen aus den Handlungsbedingungen und Projektinterventionen während der Planungs- und Implementierungsphase erklärt werden (vgl. u.a. Ojha, 1998:24). Aus diesem Grund kann der Erfolg eines Entwicklungsprojekts oder die Nachhaltigkeit erst nach der Geberunterstützung evaluiert werden. Insbesondere die Darstellung des Lebenszyklusmodells auf Basis von Stockmanns Analysen macht wiederum deutlich, welche Vielzahl von Faktoren Einfluß auf die Nachhaltigkeit eines Projektes nehmen, wie z.B. die Projektauswahl und die während der Laufzeit geschaffenen materiellen bzw. immateriellen Strukturen als Fundament für langfristige Projektwirkungen. Außerdem stellt die Nachförderphase Auswahl, Planung und Durchführung eines Projektes in den Vordergrund, so daß Nachhaltigkeit, Kontrolle und Eval uierung über das Förderende des Gebers hinausreichen.

4. Die Bedeutung der konzeptionellen Überlegungen für die Evaluierung

4.1 Methodik

Die Analyse von Entwicklungsprojekten und deren Nachhaltigkeit knüpft bei allen dieser Arbeit vorliegenden Dokumente an die in Kapitel 3 diskutierten theoretischen Modelle an. Insbesondere für die Analyse der Nachhaltigkeit bedeutet dies, wie aus Kapitel 3 deutlich wurde, daß der gesamte Lebenszyklus eines Projektes untersucht werden muß, um die Entwicklung während der Förderlaufzeit mit der des

Nachförderzeitraums in der Evaluation vergleichen zu können. Entsprechend des Lebenszyklusmodells werden die relevanten Parameter identifiziert. Die Einbindung der vorgefundenen Strukturen, Bedingungen während Projektfindung, Planung und Durchführung spielen hierbei eine ebenso wichtige Rolle wie die Dokumentation der geschaffenen personellen und materiellen Ressourcen.

Außerdem werden die erzielten Veränderungen inklusive der aufgetretenen Probleme und attribuierten Ursachen für den geplant und ungeplant bewirkten Wandel dargestellt und bewertet, sowie die Entwicklung in der Nachförderphase nachvollzogen (vgl. Stockmann, 1992; Ojha, 1998; Vahlhaus, 2000).

Das Wirkungsmodell spie lt eine ebenso wichtige Rolle, da die unterschiedlichsten Dimensionen, wie Projektdemographie, Projektdesign (während Förderlaufzeit; Förderende und Form der Partnerbeteiligung), Nachbetreuung und Nachkontakte, Organisationsstruktur des Projektträgers, Finanzstruktur des Projektträgers, Ausstattung und Produktion, die Zielgruppe als zentraler Aspekt der Analyse, da sie in die einzelnen Sub-Bereiche eingreifen, Personal, Ausbildung und Entwicklungssektor, sowie sektorspezifische Fragen mittels quantitativer und qualitativer Datenerhebungsmethoden operationalisierbar sind (Ojha, 1998:27; Stockmann, 1992: 32ff).

Bei Stockmann (1992) werden diese Parameter mit Hilfe eines ,,Erhebungsrasters" auf die Strukturen, Bedingungen und Veränderungen während und nach der Geberförderung in diesen ausgewählten Analysebereichen untersucht und in einem sogenannten Projektprofil wiedergegeben (Stockmann, 1992; BMZ: http://www.bmz.de/themen/kontrolle/evalraster.pdf).

11

Dieses Projektprofil gibt auf einen Blick die Situation des Projektes zu drei Erhebungszeitpunkten (Projektbeginn, Förderende, Evaluierungszeitpunkt) wieder (Stockmann, 1992; BMZ, 2000), so daß die gesamte Veränderung im Umfeld des Projektes sowie die Richtung der Veränderungen auf einen Blick veranschaulicht werden. Ausgangspunkt für die Analyse ist dabei, wenn auch bei den einzelnen EZ-Organisationen in abgewandelter Form und teilweise unterschiedlichen Schwerpunktsetzungen, immer das Lebenszyklusmodell, Wirkungsmodell und der mehrdimensionale Nachhaltigkeitsbegriff (vgl. BMZ, 2000; Vahlhaus & Kuby, 2000).

Um ein umfassendes Ergebnis zu erhalten erscheint nach Stockmann (1992) folgende idealtypische systematische Vorgehensweise sinnvoll:

1. Analyseleitfaden zur Erschließung der Projektsituation in jedem Bereich und Skalen zur Einschätzung der Situationsbeschreibung. 2. Externe Rahmenbedingungen (während und danach): potentielle äußere Einflußfaktoren werden untersucht auf Projektinterventionen als unabhängige Variable und Projektwirkungen als abhängige Variable. 3. Vergleich von Aktenanalyse mit Ex-post Analyse, um herauszufinden ob aufgetretene Veränderungen (ungeplant / geplant) aufeinander aufbauen, und ob diese Veränderungen auf interne oder externe Rahmenbedingungen zurückzuführen sind (vgl. Wirkungsmodell 3.1.1).

Die Datenerhebungsmethoden werden aus dem Lebenszyklusmodell (siehe Schaubild 3.3.1) ersichtlich. Sie entsprechen den allgemein bekannten sozialwissenschaftlichen Verfahren wie z.B. Inhaltsanalysen, Interviews, standardisierte Fragebogen, Beobachtung etc. Bei dieser Art der Evaluierung kann herausgefunden werden, was die Nachhaltigkeit eines Projektes ausmacht. Vielmehr geht es darum, darzustellen, welche Faktoren zu dem Resultat geführt haben, um diese in der Zukunft schon in der Planung und Durchführung berücksichtigen zu können. Angesichts der Existenz einer Vielzahl von unterschiedlichen Entwicklungshilfeprojekten und -programmen ist allerdings ein Streben nach einer standardisierten Form des Monitorings bzw. der Evaluation von Nachhaltigkeit, Wirkungen und Signifikanz nicht zu empfehlen, da jedes Projekt anderen Einflußfaktoren ausgesetzt ist (Ojha, 1998:26).

Insbesondere Stockmanns methodische Grundlage der Felduntersuchung findet seine Anwendung in der Evaluationspraxis. Nicht zuletzt Stockmanns eigene Feststellungen, die seinen entwickelten Analyseleitfaden und zur Erhebung der Daten verwendete Verfahren als methodisch brauchbare und technisch handbare Evaluierungsinstrumente begutachten (Stockmann, 1992:38), sondern auch die Anwendung in der kürzlich veröffentlichten Studie des BMZ zeigen die Akzeptanz. Die GTZ ebenfalls hat seither seiner Evaluationspraxis einen neuen Stellenwert eingeräumt und ist dabei, diese den neuen Bedingungen anzupassen. Auf der anderen Seite hat Stockmanns Beitrag zur Evaluierungspraxis eine weitreichende Diskussion entfacht und Kritik ausgelöst. An dieser Stelle soll zunächst festgehalten werden, daß seine Datenerhebungsmethoden auf der einen Seite zwar reliabel sind. Doch auf der anderen Seite setzen sie einen einseitigen Schwerpunkt auf die Wirkungsanalyse, setzen diese oftmals gleich mit Nachhaltigkeit und beachten nicht die zeitlichen Beschränkungen, denen ein Evaluator häufig unterliegt.

12

Die Ansprüche, die dieses Verfahren stellt, scheinen nicht der Realität zu entsprechen. Auf die andauernde Diskussion wird jedoch erst in Kapitel 5 eingegangen. Im folgenden soll zunächst die Bedeutung von Wirkungs-, Nachhaltigkeits- und Signifikanzevaluierung eingegangen werden bzw. die Schwierigkeiten bei der Datenerhebung, um einerseits ihre enge Verbindung deutlich zu machen und andererseits den Stellenwert in der Praxis hervorzuheben.

4.2 Schwierigkeiten in der Evaluierungspraxis

Wie aus den vorangegangenen Kapiteln insbesondere bei der Klärung der Bedeutung von Wirkung und Nachhaltigkeit (Kapitel 3) sowie der methodischen Vorgehensweise (Kapitel 4.1) deutlich wurde, steht der Evaluator einer anspruchsvollen Aufgabe gegenüber. Vor den unterschiedlichen kulturellen Hintergründen scheint mir nach eingehendem Literaturstudium z.B. die Schwierigkeit zu bestehen, die in jedes Entwicklungsprojekt eingehenden Grundannahmen zu formulieren, da ihre Gültigkeit meist nur in unserer eigenen Gesellschaft nachgewiesen ist (Nohlen, 2000) und nicht auf eine andere Kultur übertragen werden kann.

Außerdem muß die Evaluation im Hinblick auf die Modifizierung der Planung, die wichtigsten Faktoren kennen, die das Ergebnis einer Maßnahme beeinflussen. Insbesondere die Voraussetzungen, auf die eine Maßnahme zu Beginn und im Prozeßverlauf trifft, und die Mittel, der sich die Maßnahme bedient, um ein bestimmtes Ereignis der entwicklungspolitischen Maßnahme zuzuschreiben oder einen bestimmten Mißerfolg erklären zu können, spielen dabei eine wichtige Rolle. Dies ist jedoch aus zeitlichen Gründen in der Regel nur in Grenzen möglich. Daraus folgt weiterhin die Schwierigkeit für eine statistisch umfassende Analyse der Ausgangssituation und eine kontinuierliche Überprüfung von Projekt- und Umwelteinflüssen (GTZ, 1998a).

Die Erfolgskontrolle mißt sich vor allem an den Zielsetzungen einer Entwicklungsmaßnahme, die einerseits in logischer Übereinstimmung zu den Erfolgskriterien stehen müssen (vgl. GTZ, 1998a und Stockmann, 1992), und andererseits empirisch verifizierbar sein müssen (Stockmann, 1992), wie es die wissenschaftliche Vorgehensweise vorschreibt. Während die Operationalisierung bei wirtschaftlichen, technischen und ökologischen Variablen relativ leicht möglich ist, ergeben sich bei soziologischen und psychologischen Variablen erhebliche Schwierigke iten bei der Messung und Zuordnung zu einer bestimmten Zielsetzung (Vahlhaus & Kuby, 2000).

Diese methodischen Schwierigkeiten sind u.a. dafür verantwortlich, daß die Praxis der Evaluierung dahin tendiert, schwer objektivierbare soziologische und psychologische Auswirkungen von Entwicklungsprojekten und nichtwirtschaftlichen Auswirkungen zu vernachlässigen.

Dieses Phänomen wird z.B. in der BMZ-Studie (2000) sichtbar, wenn auch die Chancen für eine Neuorientierung in der bilateralen EZ, insbesondere auf der Analyseebene von langfristigen Wirkungen, durchaus gesehen werden

13

Die Kriterien der Nachhaltigkeit oder auch Überlebensfähigkeit und Signifikanz (Breitenwirksamkeit) stehen schon seit Ende der 80er Jahre im Zentrum der Evaluationsdiskussion.

Vor allem aber das Signifikanzkriterium war lange Zeit vernachlässigt worden. Vermutlich aus den Gründen, daß das Ziel, mit einem Projekt einen spürbaren Problemlösungsbeitrag zu leisten, besonders hohe Anforderungen an den Prozeß der Projektfindung, -planung unddurchführung stellt. Die Auswertungen der Literatur legen den Schluß nahe, daß Nachhaltigkeit und Signifikanz häufig in einem Spannungsverhältnis stehen. Auf der einen Seite ist Nachhaltigkeit die Voraussetzung für signifikante Projektwirkungen. Ein Projekt, das scheitert, kann nicht signifikant sein. Auf der anderen Seite ist Nachhaltigkeit offenbar in wenig komplexen Projekten leichter zu erreichen, als in solchen, die auf Signifikanz abzielen (Vahlhaus & Kuby, 2000). Dies legt die Schlußfolgerung nahe, daß beide Kriterien sich auf unterschiedliche Dimensionen der entwicklungspolitischen Wirksamkeit von Projekten beziehen und entsprechend jeweils explizit im Projektzyklus berücksichtigt werden müssen.

Ähnlich verhält es sich beim Zusammenhang von Wirkungs- und Nachhaltigkeitsevaluierung. Projekte können zielkonforme sowie zieldiskonforme als auch intendierte wie nichtintendierte Wirkungen entfalten, wie Kapitel 3.1 bzw. 3.2 aufzeigten. In der Evaluierungspraxis wird Nachhaltigkeit und damit Erfolg eines Projektes oftmals nur daran gemessen, wenn sich die intendierten Wirkungen eines Projektes zielkonform entwickelt haben (GTZ, 1998b). Dabei können jedoch die intendierten Wirkungen sich in der Praxis ebenso als zieldiskonform erweisen. Nachhaltigkeit ist also nicht erfüllt. Gleichzeitig können Projekte durchaus auch nicht-intendierte Wirkungen entwickeln, die letztlich zielkonform sind. In dem Fall hat sich Nachhaltigkeit eingestellt. Dieser letzte Aspekt des Zusammenhangs von intendierten bzw. nicht-intendierten Wirkungen und der Zielkonformität hat bislang wenig Aufmerksamkeit gefunden. Lediglich der Hinweis auf zukünftig stärkere Beachtung in der Evaluation wird vermerkt (vgl. BMZ, 2000 oder Vahlhaus & Kuby, 2000).

Diese Komplexität der Anforderungen sollen im folgenden Kapitel eingehender behandelt werden. Nicht nur die Veröffentlichungen der GTZ zum Wirkungsmonitoring (2000), die BMZ-Studie (2000), sondern auch ein von Stockmann veröffentlichter Artikel in der Zeitschrift ,,Entwicklung und Zusammenarbeit" (2000) scheinen ein Paradigmawechsel eingeläutet zu haben.

5. Signifikanz der Erfolgskontrolle in der deutschen EZ

5.1 Allgemeine Entwicklung der Evaluierungskonzepte und -praxis

Weltweit durchgeführte Querschnittsevaluationen von Projekten multilateraler Organisationen (Weltbank) und bilateraler Organisationen (GTZ) haben gezeigt, daß die geplanten Zielvorstellungen in den Projektdurchführungen oftmals nicht durchgesetzt werden konnten. Nahezu ein fünftel aller untersuchten Projekte wurden entweder als ,,nicht zufriedenstellend" oder mit ,,bedeutenden Problemen" eingeschätzt (Ojha, 1998:14). Die Gründe hierfür reichen von mangelhaften Design bis hin zur Implementierung der Projekte.

14

Auf der Weltbank Konferenz zu Evaluation und Entwicklung 1994 wird hierzu bemerkt: ,,The monitoring dissatisfaction with effectiveness of development assistance programs underlies a growing demand for monitoring and evaluation focussed on critical performance indicators, as well as pressure for quicker feedback of evaluation results and dissemination of ,best practices` ... most of the authors and discussants squarely challenge the evaluation profession to develop and use more credible, robust, and rigorous approaches to evaluation - or risk irrelevance" (Worldbank, 1995).

Offensichtlich ist ein wichtiger Grund für die Unfähigkeit, die Projekte Richtung Zielerreichung zu steuern, ein Mangel an effektiver und rechtzeitiger Wirkungsanalyse. Seither ist ein Trend zu einer substantiell verbesserten Konzeption und Bewußtsein der Wichtigkeit von Wirkungsanalysen und der Bedarf ihrer Operationalisierung zu verzeichnen. Sowohl die GTZ stellte in ihrem Handbuch zum Wirkungsmonitoring (2000) eine neue Annäherung an die Evaluierung vor, als auch das BMZ mit seinem Diskussionspapier zu langfristigen Wirkungen (2000).

Traditionell standen, wie gesagt, bei der Projektplanung und der Evaluation die Analyse ökonomischer Effizienz (Kosten-Nutzen-Analyse) im Vordergrund. Trotz einiger Defizite war diese adäquat, wenn Wirtschaftswachstum als das führende Entwicklungsziel galt (Ojha, 1998:15).

Heute stehen Gleichberechtigung und Armutsreduzierung im Zentrum, die damit den sozialen Aspekt von Projekten durch Prozessorientierung, Flexibilität und Einbindung der Zielgruppen ebenso in den Mittelpunkt stellen.

Diesen neuen Ansprüchen muß auch die Evaluation gerecht werden. In diesem Zusammenhang wurde in jüngster Zeit insbesondere der Ex-Post-Analyse einen größeren Stellenwert in der deutschen EZ eingeräumt, um den Fragen nach der Bilanz der Nachhaltigkeit und den Ursachen von Wirkungen nachzugehen (vgl. BMZ, 2000:3 und Anhang 5).

Angesichts dieser steigenden Komplexität von EZ bedeutet Wirkungserfassung eine Datenerhebung insbesondere auf Zielgruppenebene. Nur die Zielgruppen können selbst beurteilen, inwieweit positive bzw. negative Wirkungen für sie eingetreten sind, was auch für die indirekten Wirkungen gilt. Aus diesem Grund müssen Wirkungsanalysen nach Meinung von Misereor (1998, In: GTZ: 1998,110) der jeweiligen Projektrealität angepaßt werden. Während die staatlichen EZ-Organisationen nun de facto eigenverantwortlich ihre Projekte durchführen, läßt die bei NROs übliche Politik, wie Misereor es oben auch für die staatliche EZ fordert, die generelle Verantwortung bei den Partnern (Venro, 2000). So liegt auch die Steuerung des Evaluierungsprozesses weitgehend beim Partner. Dies liegt v.a. daran, daß der Arbeitsansatz von NROs aufgrund der direkten Zusammenarbeit mit der Zielgruppe und der Basisorganisation vor Ort jeweils maßgeschneidert und am Bedarf orientiert ist. Die Ex-Ante-Evaluierung als Entscheidungsgrundlage spielt dabei eine große Rolle, weil, wie erwähnt, die Projektverantwortung danach beim Partner liegt.

15

Auch Ex-Post-Wirkungsanalysen, die in der staatlichen EZ seit 1998 ein Novum sind, ergeben sich bei vielen NROs von selbst, als diese durch Langzeitpartnerschaften Wirkungen und Veränderungen kontinuierlich über längere Zeiträume verfolgen können (Mutter, 2000:353).

Der zentrale Nutzen von Evaluierungen wird weniger in Kontrolle gesehen als vielmehr den Partnern beratend zur Seite zu stehen (Mutter, 2000:352). Während sich die öffentlichen Evaluierungen im wesentlichen an den Ziel - und Planungsvorgaben orientieren, zeichnet sich der Ansatz von NROs schon immer durch eine offene Wirkungsanalyse aus, d.h. es wird ohne einschränkende Leitfragen allgemein nach den Wirkungen eines Projektes geforscht, den beabsichtigten, wie den unbeabsichtigten (Dolzer, 1998). Der Blickwinkel von Evaluierungen bei NROs ist im Vergleich zu staatlichen EZ-Organisationen also stärker auf die gesellschaftlichen Veränderungen gerichtet und weniger projektfixiert.

5.2 Der Zusammenhang von langfristigen Wirkungen und Breitenwirksamkeit - ein

Paradigmawechsel?

Im Oktober-Heft der Zeitschrift ,,Entwicklung und Zusammenarbeit" (2000) erschien nun ein Artikel von Stockmann, Caspari und Kevenhörster unter dem Titel ,,Langfristige Wirkungen der staatlichen EZ". Der Artikel stützte sich, wie schon in Kapitel 4.2 beschrieben wurde, auf eine Untersuchung des BMZ (2000) über diese langfristigen Wirkungen, an der die Autoren beteiligt waren. Er berichtete zunächst, daß die Ergebnisse insgesamt positiv waren ⁶ , und kam dann zu dem Schluß, daß nur bei einem Teil der Projekte dauerhaft die organisatorische Leistungsfähigkeit der Partner gestärkt wurde (Stockmann, Caspari & Kevenhörster, 2000:286).

In seinem Hauptteil widmete er sich der Analyse von den Ursachen für diese Wirkungen. Die Rahmenbedingungen, Akzeptanz der Projektziele und die Übereinstimmung zwischen deutscher und einheimischer Seite in der Zielrichtung und Ausgestaltung des Vorhabens seien nach Meinung der Autoren dafür verantwortlich.

Dieser Artikel löste eine Debatte über die Evaluierung langfristiger Wirkungen und Breitenwirksamkeit aus, die ein erstes Zeichen für einen erneuten Paradigmawechsel seit Ende der 80er Jahre in der EZ andeutet.

Insbesondere Messner (2001) kritisiert an Stockmann, daß Nachhaltigkeit eines Proje ktes, das also das Ende der externen Förderungen überlebt habe und immer noch funktioniere, besage noch nicht, daß es auch breitenwirksam sei, also einen Einfluß auf die Entwicklung seines Umfeldes gehabt habe (Messner, 2001:14ff).

Damit spielt er auf die Thematik an, daß Stockmann im Kern nur Nachhaltigkeit analysiert und den kausalen Zusammenhang zwischen nachhaltigen Projekten und Entwicklung im Umfeld ausklammert (vgl. hierzu auch Kapitel 3.2, 3.3 und 4.1). Zwar können nur nachhaltige Projekte überhaupt langfristige Wirkungen auslösen (vgl. Kapitel 3), doch über die Qualität der Wirkungen, die Reichweite der EZ-Vorhaben, die das Förderende erfolgreich meistern, ist damit noch nichts ausgesagt.

16

Nachdem jedoch nicht mehr das Einzelprojekt, sondern aufeinander bezogene Maßnahmen sowie Interaktion von Projekten mit ihrem Umfeld im Zentrum stehen und sich die Schwerpunktsetzung der EZ in Richtung Strukturbildung, signifikante Ausstrahlungskraft des Projektes oder Modellcharakter für andere Projekte (mit einem Wort Breitenwirkung) geändert hat (vgl. BMZ, 2000 und Messner, 2001), kann Nachhaltigkeit nicht mehr einseitig auf die reine Überlebensfähigkeit eines Projektes und dessen Wirksamkeit bezogen werden. Demgemäß fordert Messner, daß ,,Nachhaltigkeit und Breitenwirksamkeit (...) daher in der EZ (und Evaluationspraxis) gleichgewichtige Kriterien sein _sollen_" (Messner, 2001:15). Ähnlich kritisiert Fischer (2001) die als wichtige Schlußfolgerungen (,,lessons learnt") präsentierten Erkenntnisse über die Erfolgsbedingungen erfolgreicher Förderungen in der BMZ-Studie als wenig aufschlußreich für die EZ und somit der Evaluierungspraxis. In seiner Kritik knüpft er v.a. an Messners Aufforderung an, Projekte stärker anhand von Breitenwirksamkeit und die strukturellen Veränderungen im Projektumfeld zu messen. Um eine systematische Betrachtung entsprechend dieses Anspruchs an die Evaluierung zu gewährleisten, dürfte nicht ,,das Projekt" mit Träger und Zielgruppe, wie es bisher der Fall ist, im Mittelpunkt der Analyse stehen. Stattdessen argumentiert Fischer (2001:126) mit einer notwendigen Schaffung eines neuen Analyserasters, bei dem der jeweilige (Sub-) Sektor und die denkbaren Wirkungsebenen (vgl. Kapitel 3.1) mit ihren Akteuren und deren Interaktionen auf persönlic her, lokaler, nationaler sowie internationaler Ebene eindeutig lokalisierbar sind. Nur, wenn im Zentrum also die Frage, welchen Beitrag ein Vorhaben zur Strukturbildung in einem wichtigen Bereich leisten kann, steht, lassen sich die Wirkungen auf den Gesamtsektor und andere Sektoren bewerten und schließlich der Erfolg bzw. Mißerfolg eines Projektes feststellen.

Grundsätzlich wird nachgefragt, welchen Stellenwert Evaluierungen im Hinblick auf die Intensivierung des Partnerdialoges und auf institutionelles Lernen haben (vgl. Fischer, 2001; Kranz-Plote & Meyer, 2001) - zwei der Hauptfunktionen von Evaluierungen sowohl bei der GTZ (Vahlhaus & Kuby, 2000) als auch dem BMZ (2000).

Projekterfolg kann sich nach diesen Grundsätzen nur einstellen, wenn Übereinstimmung auf der konzeptionellen und der Zielebene besteht. D.h. die Partnerbeteiligung beschränkt sich nicht nur auf logistische Unterstützung und die Bereitstellung von Information, sondern geht bei diesem Verständnis von Partnerbeteiligung hin bis zur Erstellung des Analyserasters und der Auswertung der Evaluierungsergebnisse, so wie es die NROs schon lange praktizieren (vgl. Kapitel 5.1).

6. Schlußbetrachtung

Nachhaltige, entwicklungsfördernde Wirkungen von Projekten und Programmen sind ein entscheidendes Kriterium zur Beurteilung der EZ. Diese macht entwicklungspolitisch jedoch nur Sinn und läßt sich nur dann legitimieren, wenn sie dauerhafte Wirkungen zeigt. Wirkungs-, Nachhaltigkeits- und Signifikanzevaluierung setzen an diesem politischen Kernproblem an. Sie geben Aufschluß über die Wirksamkeit der EZ, machen Reformbedarfe ausfindig und können Lernprozesse auslösen. Dadurch eröffnen diese Untersuchungen Möglichkeiten, die Zusammenarbeit zu verbessern und die Legitimationsbasis der Entwicklungshilfe zu erhöhen.

17

Wirkungs-, Nachhaltigkeits- und Signifikanzuntersuchungen als eine Einheit im Prozeß der Evaluierung stellen deshalb einen unverzichtbaren Bestandteil einer auf langfristige Wirkungen ausgerichteten Entwicklungspolitik dar. Dies wurde im Verlauf dieser Arbeit deutlich.

Gleichzeitig hat sich gezeigt, welchen enormen Schwierigkeiten, die Evaluierung von EZ-Vorhaben unterliegen. Zunächst erfordert die Evaluierung hohe Ansprüche an die methodische Vorbereitung und Durchführung, um abgesicherte Ergebnisse zu erhalten. Dabei ist die Betrachtung der intendierten versus nicht-intendierten Innovationen und Aktivitäten in ihrem Wechselspiel zu geplanten und ungeplanten Projektwirkungen ebenso von eminenter Bedeutung wie die Frage nach den strukturellen Veränderungen (Breitenwirksamkeit). Der Blick auf Zielkonformität ist dabei nicht aus dem Auge zu verlieren. Projektwirkungen entfalten sich in einem gesamtgesellschaftlichen Rahmen und treten mit politischen, ökonomischen, sozialen und kulturellen Determinanten in Wechselwirkung, beeinflussen sich gegenseitig und bilden ein vernetztes System.

Langfristige Wirkungen über das Projektende hinaus können sich nämlich, wie die Diskussion in dieser Arbeit gezeigt hat, nur entfalten, wenn das entsprechende Umfeld oder strukturbildende Effekte (z.B. eine insgesamt positive wirtschaftliche Entwicklung oder eine entsprechende Priorität des Sektors) dies begünstigt oder gar erst ermöglicht. Die Betrachtung von Ergebnissen in Bezug auf Wirkung, Nachhaltigkeit und Signifikanz über die Zeitschiene mit verschiedenen Meßpunkten (z.B. Projektbeginn - Projektende -Evaluierungszeitpunkt) gemäß dem Lebenszyklusmodell (vgl. Kapitel 3.3) erlaubt zuverlässigere Aussagen zu Wirkungen als die Momentaufnahme bei einer klassischen Evaluierung mit nur einem Meßpunkt. Es ist offensichtlich, daß sich Nachhaltigkeit und Signifikanz von Projekten erst nach Ende der Geberförderung einstellen können. Daher ist ein Vergleich zu mehreren Zeitpunkten unabdingbar, um eine Veränderung im Projekt feststellen zu können. Bei einer einfachen Wirkungsanalyse wäre dies nicht möglich. Um den Kreis zu schließen, jedes Projekt greift in ein kompliziertes Bedingungsgefüge aus politischen, ökonomischen, sozialen und kulturellen Determinanten ein. Daher bedarf die Konzeption, Durchführung und Auswertung eines jeden Projektes eines multidisziplinären Sachverstandes. Es wurde deutlich, insbesondere bei der Diskussion des aktuellen Forschungsstandes und dessen Weiterentwicklung, wie eng die verschiedenen Faktoren miteinander verknüpft sind, und daß selten unabhängige Variablen zu isolieren sind. Um die EZ positiv zu fördern, können Wirkungen, Nachhaltigkeit und Signifikanz nicht getrennt voneinander betrachtet werden. Die Entwicklungen der jüngsten Zeit zeigen dies deutlich. Handlungsbedarf besteht vor allem bei der Einbindung von Signifikanzevaluierungen und der stärkeren Beachtung von nicht-intendierten Wirkungen auf das Projektresultat. Sicherlich entspricht die Darstellung in dieser Arbeit einer Idealvorstellung von der Evaluation, deren umfassende Umsetzung der angesprochenen Faktoren zeitlichen, finanziellen und momentan auch methodischen Beschränkungen unterlie gen.

Grundsätzlich ist die entfachte Diskussion um eine substantielle Verbesserung der Evaluation als positiv zu werten, da es letztlich bei der Durchführung von EZ-Vorhaben darum geht die Lebensbedingungen der Menschen in den Partnerländern zu verbessern und die Evaluationsforschung und -praxis einen nicht unerheblichen Beitrag dazu leistet.

18

7. Literaturverzeichnis

BMZ (Hg.). (2000). Langfristige Wirkungen deutscher Entwicklungszusammenarbeit und ihre Erfolgsbedingungen. In: BMZ Spezial Nr. 19. Bonn: BMZ. Dolzer, H. (1998). Wirkungen und Nebenwirkungen - ein Beitrag von Misereor zur Diskussion über Wirkungsverständnis und Wirkungszusammenhang in der EZ. Achen. Fischer, W. E. (2001). Keine neuen Erkenntnisse. In: Entwicklung und Zusammenarbeit.42. Jg. 2001:4. S. 126-127.

GTZ. (Hg.). (1997). Ziel Orientierte Projekt Planung - ZOPP. Eschborn: GTZ. GTZ. (Hg.). (1998a). Monitoring im Projekt. Eschborn: GTZ. GTZ. (Hg.). (1998b). Nachhaltige Wirkungen durch Qualitätsmanagement - eine Herausforderung für die Technische Zusammenarbeit. Eschborn: GTZ. Kranz-Plote, J. & Meyer, L. (2001). Langfristige Wirkungen der EZ. In: Entwicklung und Zusammenarbeit. 42. Jg. 2001:1. S. 11-12.

Messner, D. (2001). Zum Verhältnis von Nachhaltigkeit und Breitenwirkung. In: Entwicklung und Zusammenarbeit. 42. Jg. 2001:1. S. 13-16.

Mutter, T. (2000). Evaluieren NROs anders? In: Entwicklung und Zusammenarbeit. 41. Jg. 2000:12. S. 351-353.

Nohlen, D. (Hg.). (2000). Lexikon Dritte Welt. Reinbeck bei Hamburg: Rowohlt. Ojha, D. P. (1998). Impact Monitoring - Approaches and Indicators. Eschborn: GTZ. Stockmann, R. (1992). Die Nachhaltigkeit von Entwicklungsprojekten. Opladen: Westdeutscher Verlag.

Stockmann, R., Caspari, A. & Kevenhörster, P. (2001). Langfristige Wirkungen in der staatlichen EZ. In: Entwicklung und Zusammenarbeit. 41. Jg. 2000:10. S. 285-287. Vahlhaus, M. & Kuby, T. (2000). Orientierungsrahmen für das Wirkungsmonitoring in Projekten der Wirtschafts- und Beschäftigungsförderung unter besonderer Berücksichtigung armutsmindernder Wirkungen. Teil 1. Wozu Wirkungsmonitoring? - Eine Orientierungshilfe. Eschborn: GTZ.

Vahlhaus, M. (2000). Orientierungsrahmen für das Wirkungsmonitoring in Projekten der Wirtschafts- und Beschäftigungsförderung unter besonderer Berücksichtigung armutsmindernder Wirkungen. Teil 2. Ein- und Durchführung eines Wirkungsmonitorings. -Hinweise, Methoden und Instrumente. Eschborn: GTZ. VENRO. (2000). Prüfen und lernen - Praxisorientierte Handreichung zur Wirkungsbeobachtung und Evaluation. Bonn: Venro.

19

Worldbank. (1995). Evaluation and Development - Proceedings of the 1994 Worldbank Conference. OECD. Washington D.C. http://www.bmz.de/themen/kontrolle/evalraster.pdf

8. Verzeichnis der Abkürzungen

BMZ - Bundesministerium für Wirtschaftliche Zusammenarbeit DAC - Development Assistance Commite EZ - Entwicklungszusammenarbeit GTZ - Gesellschaft für Technische Zusammenarbeit NRO - Nichtregierungsorganisation PPÜ - Projektplanungsübersicht TZ - Technische Zusammenarbeit ZOPP - Zielorientierte Projektplanung

1 Aus Gründen der Einfachheit wird ,,Entwicklungszusammenarbeit" im folgenden mit EZ abgekürzt.

2 Interne Evaluation: Selbstkontrolle derjenigen Institution, die für die Planung und Entscheidung der durchzuführenden Maßnahmen verantwortlich ist.

3 Externe Evaluation wird durch Stellen durchgeführt, die nicht an der Planung, Entscheidung oder am Management der zu prüfenden Maßnahmen beteiligt sind.

4 ,,Ziel der deutschen Entwicklungspolitik ist es, die Lebensbedingungen der Menschen, vor allem der armen Bevölkerungsschichten, in unseren Partnerländern zu verbessern." (BMZ, 1998:25; In: BMZ, 2000:34)

5 ,,Unter dauerhafter Entwicklung verstehen wir eine Entwicklung, die den Bedürfnissen der heutigen Generation entspricht, ohne die Möglichkeiten künftiger Generationen zu gefährden, ihre eigenen Bedürfnisse zu befriedigen und ihren Lebensstil zu wählen. (...) Die Möglichkeit kommender Generationen, ihre eigenen Bedürfnisse zu befriedigen, ist durch Umweltzerstörung in den Industrieländern ebenso gefährdet, wie durch Umweltvernichtung durch Unterentwicklung in der Dritten Welt. (...) Eine dauerhafte Entwicklung bedeutet ein Wachstum, das die Grenzen der Umweltressourcen respektiert, das also die Luft, die Gewässer, die Wälder und Böden lebendig erhält, ein Wachstum, das die genetische Vielfalt erhält und das Energie und Rohmaterialien optimal nutzt." (In: GTZ, 1998b:55) 6 ,,Drei viertel aller untersuchten Projekte konnten ihre Ziele bis zum Förderende überwiegend erreichen..." (Stockmann, Caspari & Kevenhörster, 2000:285)

20