Evaluationsbericht zum Evaluationsprojekt "Jugendkulturzentrum FORUM“

Inhaltsverzeichnis

Zusammenfassung (von Jan Weicker)

1. Einleitung (von Jan Weicker)
1.1 Entstehungsgeschichte
1.2 Ziele der Evaluation

2. Methoden
2.1 Was ist Evaluation (von Jan Weicker)
2.1.1 Ziele der Methoden im Kontext dieser Evaluation
2.2 Problemzentriertes Interview (von Annette Bauer)
2.2.1 Allgemeine methodische Eigenschaften
2.2.2 Ziele der Methode im Kontext dieser Evaluation
2.3 Gruppendiskussion (von Annette Bauer)
2.3.1 Allgemeine methodische Eigenschaften
2.3.2 Ziele der Methode im Kontext dieser Evaluation

3. Durchführung
3.1 Die Problemzentrierten Interviews (von Bartosch Mielcarek)
3.1.1 Die Stichprobe
3.1.2 Der Ablauf
3.2 Die Gruppendiskussion (von Johanna Sieveking)
3.2.1 Die Stichprobe
3.2.2 Ablauf

4. Ergebnisse
4.1 Das Image des FORUMs
4.1.1 Die Innensicht: sehr positives Image (von Johanna Sieveking)
4.1.2 Die Außensicht: Unklare Identität (von Bartosch Mielcarek)
4.2 Werbemaßnahmen des FORUMs
4.2.1 Innensicht: Ausreichende Werbemaßnahmen (von Johanna Sieveking)
4.2.2 Die Außensicht: Schwierigkeiten bei der Rezeption (von Bartosch Mielcarek)

5. Fazit (von Annette Bauer, Bartosch Mielcarek, Jan Weicker und Johanna Sieveking)

6. Anhang
6.1 Leitfaden für die Gruppendiskussion
6.2 Leitfaden für das Problemzentrierte Interview
6.3 Anschreiben an die Besucherinnen und Besucher des FORUMs
6.4 Aushang zur Erinnerung an den Gruppendiskussionstermin

Zusammenfassung

Gegenstand der diesem Bericht zugrunde liegenden Evaluation war das Jugendkulturzentrum FORUM in der Mannheimer Neckarstadt. Zur Einschätzung der Innen- und der Außensicht wurden bei dieser Evaluation sowohl problemzentrierte Interviews als auch eine teilstrukturierte Gruppendiskussion durchgeführt. Die Ergebnisse dieser qualitativen Methoden implizieren, dass die Identität des FORUMs nach außen hin unklar ist, und dass es, unter anderem dadurch bedingt, zu Problemen bei der Rezeption kommt.

1. Einleitung

1.1 Entstehungsgeschichte

Die im Folgenden beschriebene Evaluation des Mannheimer Jugendkulturzentrums FORUM fand im Rahmen eines Service Learning Seminars an der Universität Mannheim statt. Die Aufgabe der Evaluatoren sollte darin bestehen Information über das Image sowie das Marketingkonzepts des FORUMs zu erheben.

Im Rahmen eines Service Learning Seminars an der Universität Mannheim konnten sich soziale Einrichtungen, bei denen Bedarf bestand, von Studierenden der Universität evaluieren lassen. Die Philosophie des Service Learnings ist dabei ein Nutzen für beide Seiten; zum einen können die Studenten ihr erworbenes, theoretisches Wissen in der Praxis anwenden, zum anderen haben die sozialen Einrichtungen die Möglichkeit sich evaluieren zu lassen und dadurch eventuell wichtige Informationen über ihre Arbeit zu gewinnen. Auch das vom Mannheimer Jugendring getragene Jugendkulturzentrum FORUM signalisierte sein Interesse an einer solchen Evaluation.

In einem ersten Gespräch zwischen Repräsentanten des FORUMs in Person von Karin Heinelt, Leiterin des FORUMs, und Karlheinz Paskuda sowie der Gruppe der Evaluatoren und Evaluatorinnen wurde zunächst einmal erörtert, welche Erkenntnisse sich das FORUM von der durchzuführenden Evaluation erhoffte. Dabei wurde deutlich, dass sich die Problemstellung primär auf das Image des FORUMs und dessen Marketing-Konzept bezog.

Das FORUM bietet eine Vielzahl an kulturellen Veranstaltungen für Jugendliche und junge Erwachsene an. Diese werden mit Flyern sowie Anzeigen und Artikeln in diversen Zeitungen beworben. Das Angebot wird zwar gut angenommen, dennoch würde man wünschen, dass das FORUM und das dort gebotene Programm von noch mehr Jugendlichen und jungen Erwachsene wahrgenommen und angenommen wird.

1.2 Ziele der Evaluation

Ziel der Evaluation sollte sein, sowohl die Außensicht als auch die Innensicht auf das FORUM zu erheben. Dafür sollten problemzentrierte Interviews außerhalb des FORUMs und eine teilstrukturierte Gruppendiskussion innerhalb des FORUMs durchgeführt werden.

Um herauszufinden, wie das FORUM von Außenstehenden sowie von Leuten, die es regelmäßig besuchen, wahrgenommen wird, verständigte man sich darauf, dass sowohl die (1) Außen- als auch die (2) Innensicht auf das FORUM erhoben werden sollte.

Auf Basis dieser im Gespräch gewonnen Erkenntnisse wurde dann von der Evaluatorengruppe ein Konzept für die durchzuführende Evaluation entwickelt und eine Zielvereinbarung (siehe Anhang) verfasst, die anschließend von beiden Seiten, den Auftraggebern und der Gruppe der Evaluatoren und Evaluatorinnen, beschlossen wurde.

Ziel der extern durchgeführten problemzentrierten Interviews war es herauszufinden:

- wie das Image und der Bekanntheitsgrad des FORUMs im allgemeinen ist,
- ob und wie Leute von Veranstaltungen im FORUM erfahren,
- welche Vorurteile gegenüber dem FORUM und Jugendzentren im allgemeinen bestehen,
- warum Leute das FORUM (nicht) besuchen,
- welche Zielgruppe das FORUM nach Meinung Außenstehender hat,
- und welche Änderungen das FORUM nach außen hin attraktiver wirken lassen würden.

Bei der intern durchgeführten Gruppendiskussion sollte erarbeitet werden:

- wie das FORUM und dessen Image von innen wahrgenommen wird,
- welche Wünsche, Anregungen und Verbesserungsvorschläge bestehen,
- wie man vom FORUM erfahren hat und was die Gründe für den Besuch sind
- wie die eigene Einstellung vor dem ersten Besuch des FORUMs war und ob sich diese geändert hat,
- wie der Bekanntheitsgrad des FORUMs allgemein eingeschätzt wird,
- wie die Einstellung von Bekannten, die das FORUM nicht besuchen, gegenüber dem FORUM ist,
- ob man schon mal Vorurteilen gegenüber dem FORUM begegnet ist
- welche Zielgruppe das FORUM nach Meinung Innenstehender hat
- ob es Ideen und Anregungen gibt, wie man das FORUM bekannter machen könnte.

Die jeweils korrespondierenden Punkte der problemzentrierten Interviews und der Gruppendiskussion sollen in dem vorliegenden abschließenden Evaluationsbericht gegenübergestellt und interpretiert werden.

Bezüglich des Zeitrahmens wurde vereinbart, dass die Evaluation und die Präsentation der Ergebnisse in Form dieses Evaluationsberichts bis Ende Juli 2006 abgeschlossen sein sollten.

2. Methoden

2.1 Was ist Evaluation

Der Begriff der Evaluation beschreibt zielorientiertes Informationsmanagement.

Dies kann sowohl mit dem, auf dem kritischen Rationalismus basierenden, quantitativen als auch mit dem, auf dem symbolischen Interaktionismus basierenden, qualitativen Methoden geschehen.

Beywl (1987) definierte Evaluation als Verbesserung der gesellschaftlichen Praxis durch systematische Beschreibung und Bewertung von Programmen und Maßnahmen. Nach Rossi, Freeman und Lipsey (1999) lässt sich Evaluation als Anwendung sozialwissenschaftlicher Methoden zur Untersuchung der Effektivität sozialer Programme definieren. Diese beiden Definitionen zeigen also, dass es sich bei Evaluation um ein zielorientiertes Informationsmanagement handelt.

Dabei unterscheidet man zwischen formativer und summativer Evaluation. Von formativer Evaluation spricht man, wenn es sich um eine begleitende Analyse handelt, also dann, wenn der Input einer Maßnahme (z.B. Ressourcen, Humankapital, Qualifikationen, etc.) oder der Prozess per se (z.B. die angewandten Methoden, die Übereinstimmung zwischen geplanten und tatsächlichen Aktivitäten, etc.) evaluiert werden. Wichtig sind hierfür eine kontinuierliche Rückmeldungen der Zwischenergebnisse um den Prozess stetig zu verbessern. Von summativer Evaluation spricht man, wenn es sich um eine abschließende Analyse der Wirkung eines Programms handelt. Entsprechend findet eine summative Evaluation immer am Ende einer Maßnahme statt. Dabei können sowohl der Output, also kurzfristig beobachtbare Resultate (z.B. Klausurergebnisse), als auch langfristige Folgen evaluiert werden.

Die Erhebung von Daten für eine solche Evaluation kann entweder mit quantitativen oder mit qualitativen Methoden erfolgen. Die quantitative Methodik basiert dabei auf dem von Popper begründeten Kritischen Rationalismus. Ziele der quantitativen Methodik ist es Erklärungen zu finden. Die Vorgehensweise ist dabei deduktiv, d.h. es werden Hypothesen aufgestellt, die dann überprüft werden. Die entsprechende Methodik besteht dabei entweder aus standardisierten Fragebögen, experimentellen oder quasi-experimentellen Settings. Diese sollen es ermöglichen die erhoben Daten zu übersetzten und zu standardisieren, um allgemeingültige Aussagen formulieren zu können.

Die qualitative Methodik lässt hingegen auf den Symbolischen Interaktionismus zurückführen. Hier ist das Ziel subjektives Empfinden zu erfassen und zu verstehen. Die Welt soll demnach aus den Augen des Beobachteten gesehen werden, um verstehen zu können, warum Personen so denken, wie sie denken oder warum sie so handeln, wie sie handeln. Dementsprechend werden auch keine Hypothesen, sondern lediglich eine offene Fragestellung formuliert. Es handelt sich also um eine induktive Vorgehensweise. Entsprechend ist die verwendete Methodik offen und unstandardisiert (z.B. Beobachtungen, Interviews, etc.), wobei das Ziel ist den Inhalt der erhobenen Originaldaten zu konservieren. Allgemeingültige Aussagen im Sinne der quantitativen Methodik können bei der Verwendung qualitativer Methoden nicht getroffen werden. Nicht zuletzt wegen der wesentlich kleineren Stichproben, die durch den höheren Aufwand bei Durchführung bedingt werden, sind die getroffenen Aussagen primär subjektiver Natur. Allerdings liegt der Vorteil der qualitativen Vorgehensweise darin, dass man einen ungleich detaillierteren Eindruck der Problematik erhält.

2.1.1 Ziele der Methoden im Kontext dieser Evaluation

Zum Erreichen der für diese Evaluation gesetzten Ziele erwies sich die qualitative Methodik aufgrund ihres theoretischen Hintergrundes als am geeignetsten. Hinzu kommt, dass die qualitative Methodik es den Evaluatoren ermöglichte Information zu erheben, ohne a priori Hypothesen aufstellen zu müssen.

Der symbolische Interaktionismus basiert auf drei Prämissen:

1. Menschen handeln gegenüber Dingen auf Basis der Bedeutung, die diese Dinge für sie haben. Im Umkehrschluss bedeutet das, dass man um Handeln zu verstehen können, die Bedeutung, die Dinge für Personen haben, erfragen und verstehen muss.
2. Es ist potentiell möglich, dass sich die Bedeutung von Dingen für Menschen verändern. Dabei muss vor allem die Zeitperspektive beachtet werden.
3. Bedeutungen entstehen durch soziale Interaktionen. Diese findet vor allem über die Sprache statt. Um Menschen verstehen zu können, muss man sich also ihrer Sprache bedienen.

Zieht man die Ziele dieser Evaluation in Betracht, nämlich herauszufinden, wie sowohl die Innensicht als auch die Außensicht auf das FORUM sind, so wird deutlich, dass für diese Fragestellung die qualitative Methodik das Mittel der Wahl ist.

Ein zusätzlicher wichtiger Punkt, der für die Verwendung qualitativer Methoden bei dieser Evaluation gesprochen hat, ist der Aspekt der Unwissenheit seitens der Evaluatoren. So standen diese zunächst einmal außerhalb des FORUMs und hatten lediglich beim ersten Gespräch mit der Leitung des FORUMs einen groben Überblick über die Situation bekommen. Es wäre also nicht zulässig gewesen a priori Hypothesen über die Wahrnehmung und die Arbeit des FORUM zu postulieren.

Folgende qualitativen Methoden wurden bei der Evaluation verwendet: (1) Die problemzentrierten Interviews zur Erfassung der Außensicht auf das Forum und (2) eine teilstrukturierte Gruppendiskussion zur Erfassung der Innensicht. Diese beiden Methoden sollen im anschließenden Teil näher erläutert werden.

2.2 Problemzentriertes Interview

2.2.1 Allgemeine methodische Eigenschaften

Zur Ermittlung der Außensicht auf das FORUM wurde das Problemzentrierte Interview verwendet. Dieses eignet sich für diese Thematik besonders gut, da es sich auf eine bestimmte Fragestellung beschränkt, aber offen genug ist, um während des Interviews neue Aspekte in das Interview aufzunehmen.

Beim problemzentrierten Interview handelt es sich um eine Interviewmethode, bei der ein bestimmtes Problem bzw. eine bestimmte Fragestellung im Vordergrund stehen. Das gesamte Interview orientiert sich also an der untersuchten Problematik. Dies spiegelt sich im Leitfaden (siehe Anhang) wieder, der als Grundlage für die Interviews dient. Der Leitfaden stellt aber keine zwingende Struktur für das Interview dar, so dass der Befragte einen größeren Einfluss auf Themen im Interview, Reihenfolge der Fragen sowie Ausführlichkeit der Beantwortung der Fragen hat als bei standardisierten Verfahren. Aus diesen Gründen gehört das problemzentrierte Interview zu den teilstrukturierten Methoden.

[...]