Evaluation durch Zielvereinbarungen: Indikatoren-Entwicklung im OloV-Prozess in Kassel

Ulrike Beutnagel (AGiL gGmbH), Udo Wendel (Stadt Kassel), Andrea Nispel (Projektberatung - Qualitätssicherung - Weiterbildung)

Die OloV-Steuerungsgruppe in Stadt und Landkreis Kassel steuert bereits seit fünf Jahren den regionalen Entwicklungsprozess durch Ergebnis- und Wirkungsindikatoren. Fazit: Ein pragmatischer Ansatz, der zu einer nicht allzu zeitaufwändigen Form der Selbstevaluation passt.

"Woran werden wir sehen, ob wir unsere Ziele erreicht haben?" Diese Frage beschäftigte die Steuerungsgruppe OloV von Anfang an, genau genommen schon bevor sie sich konstituierte. Bereits 2006 und 2007 wurden in einer Arbeitsgruppe Empfehlungen zum "Schnittstellenmanagement im Übergang Schule – Beruf" entwickelt, die unter anderem auch die Evaluationsfrage thematisierten. In der damaligen Arbeitsgruppe waren bereits alle wichtigen Akteure vereint, und zwar überwiegend mit Vertreter/innen aus der Leitungsebene:

• Die Jugendberufshilfe der Stadt und des Landkreises Kassel

• Das Staatliche Schulamt

• Eine allgemeinbildende und eine berufliche Schule

• Die Agentur für Arbeit

• Die Kreishandwerkerschaft

sowie die externe wissenschaftliche Beraterin und Moderatorin, im Auftrag der bei INBAS angesiedelten OloV-Koordinierungsstelle.

Das im Februar 2008 vorgelegte vierseitige Empfehlungspapier war Ergebnis von acht Beratungstreffen der Gesamtgruppe und einer Zusammenfassung und Ordnung von Zwischenergebnissen durch die externe Beratung und die Vertreter/innen der Jugendämter. (Das Papier wurde schon damals als Praxisbeispiel "Schnittstellenmanagement in Kassel" auf der OloV-Website vorgestellt.) Evaluation tauchte hier auf als eine Empfehlung an Schulen, ihre Aktivitäten in der Berufsorientierung zeitnah zu dokumentieren, regelmäßig zu reflektieren und auszuwerten. Auf der Grundlage dieser Auswertungen sollten die Schulen ihre Berufsorientierungs-Konzepte ggf. verbessern oder an neue Anforderungen anpassen.

Gute Erfahrungen mit Evaluation durch Zielvereinbarungen

Ein zweiter Impuls für die Diskussion von Evaluationsfragen und der Definition von Indikatoren für die Zielerreichung entstand im Kontext eines durch die Robert Bosch Stiftung geförderten Projektes im Programm LISA – Lokale Initiativen zur Integration junger Migranten in Ausbildung und Beruf, das von Ulrike Beutnagel und Anke Schäfer von der Jugendberufshilfe im Landkreis Kassel umgesetzt wurde. Udo Wendel vom Übergangsmanagement der Stadt Kassel war als Kooperationspartner involviert.

In dem LISA-Programm der Robert Bosch Stiftung wurde von der Sozialforschungsstelle Dortmund eine Evaluation mit Zielvereinbarungen durchgeführt. Andrea Nispel kannte dieses Vorgehen aus der Rolle der Projektberaterin für die Robert Bosch Stiftung. Eine Kurzbeschreibung dieser Evaluationsmethode und das Beispielraster für die Erstellung von Zielvereinbarungen findet sich unter www.bosch-stiftung.de.

Ergebnisse und Wirkungen unterscheiden

Grundmerkmal dieser LISA-Zielvereinbarungen war die Definition von Ergebnissen entlang der einzelnen geplanten Aktivitäten bzw. Maßnahmen im Projektverlauf einerseits und der Beschreibung intendierter Wirkungen andererseits.

Ergebnisse sind z.B. 

• die Zahl der gewonnenen Ehrenamtlichen für ein Patenprojekt,

• die Zahl der Teilnehmenden bei Qualifizierungsmaßnahmen,

• die Altersstruktur u/o die Zusammensetzung der Zielgruppe nach einzelnen Merkmalen.

Auf der Ebene der Kooperation regionaler Partner kann es die Anzahl der Steuerungsgruppensitzungen und auch hier die Teilnehmenden-Struktur (welche Partner sind involviert?) sein. Diese Ergebnisse lassen sich vergleichsweise einfach mittels quantifizierbarer Indikatoren messen.

Die Wirkungen wurden im LISA-Programm differenziert nach:

• Wirkungen für die Zielgruppe und

• Wirkungen für die strukturellen Rahmenbedingungen vor Ort.

Für die Zielgruppe kann es sich darstellen in einem verbesserten Zugang zum Ausbildungsmarkt. Bezogen auf die strukturellen Rahmenbedingungen kann eine steigende Verbindlichkeit und größere Transparenz unter den relevanten Akteuren im lokalen Netzwerk intendiert sein.

Im Vergleich zu Ergebnissen lassen sich Wirkungen deutlich schwieriger messen. Beispielsweise ist der verbesserte Zugang zum Ausbildungsmarkt multifaktoriell bedingt und nur ein kleiner Teil dieser Faktoren wird von dem Projekt, dessen Aktivitäten beobachtet werden, beeinflusst.

Vor dem Hintergrund dieser gemeinsamen Erfahrungen entwarfen der Regionale Koordinator der Stadt Kassel – Udo Wendel – und die Regionalkoordinatorin des Landkreises Kassel – Ulrike Beutnagel – sowie Andrea Nispel in ihrer Beraterinnen-Funktion Indikatoren für die Zielvereinbarungen in OloV3. Damit kamen sie auch dem Wunsch der seit 2008 tätigen OloV-Steuerungsgruppe nach, der im Wesentlichen die Mitglieder der oben genannten Arbeitsgruppe Schnittstellenmanagement, erweitert um Vertreter/innen der Handwerkskammer, der IHK, der Jobcenter und ab 2010 der Förderschulen angehören.

Mehrwert durch die Indikatoren-Entwicklung? In welcher Form und für wen?

Am Anfang der Indikatoren-Entwicklung stand die Frage, wofür und für wen diese hilfreich werden könnten. Da im OloV-Kontext schon mehreren Berichtspflichten nachzukommen ist, wollten die beiden Regionalen Koordinator/innen nur dann neue Energie investieren, wenn ihnen ein erkennbarer Mehrwert einleuchtet.

Wir reflektierten die Erfahrungen mit der Evaluation durch Zielvereinbarungen in dem LISA-Projekt, die weit weniger aufwändig und kritisch erinnert wurden, als dies anfangs befürchtet worden war. Im Gegenteil: Es machte zufrieden, mit relativ übersichtlichem Aufwand überprüfen zu können, was dabei herauskommt, wenn Zeit, Geld und nicht zuletzt auch 'Herzblut' investiert wird.

Ein weiterer Vorteil der Indikatoren-Entwicklung kann sein, dass mit ihrer Hilfe im Verlauf des Prozesses geprüft werden kann, ob man sich auf dem richtigen Weg befindet. Wenn nicht, können die Aktivitäten zeitnah verändert bzw. umgesteuert werden, so dass nicht erst Pannen auftreten und anschließend behoben werden müssen.

Beim Beginn der Indikatoren-Entwicklung stellten wir außerdem fest, dass die in OloV genutzten Formblätter zur Beschreibung der Zielvereinbarungen schon überwiegend so ausgefüllt worden waren, dass die Teil-Ergebnisse und Ergebnisse recht konkret und auf überprüfbare Art und Weise formuliert worden waren.

Ergebnisse und Wirkungen zum zweiten: Wie stellen sie sich z.B. bezüglich der Elternbeteiligung in der Berufsorientierung dar?

In der Stadt Kassel wurde eine OloV-Zielvereinbarung getroffen, die den Titel "Entwicklungsprozess zur Elternbeteiligung in der Berufsorientierung" trägt. In einem dreijährigen Prozess werden zunächst in Workshops Inputs von guter Praxis aus der Region und andernorts präsentiert und diskutiert. Es schließt sich eine Phase an, in der die Teilnehmenden der Entwicklungsgruppe eigene Projektideen zur Elternbeteiligung in der BO entwerfen, diese in der Gruppe beraten und schließlich umsetzen. Die Umsetzungsphase wird ebenfalls vom Kolleg/innen-Kreis begleitet. Schließlich sollen die Projekte dokumentiert und in einem Katalog erprobter, guter Praxis so dargestellt werden, dass sie in anderen Institutionen aufgegriffen und ausprobiert werden können.

Als gewünschtes Ergebnis für die Auftaktveranstaltung definierten wir: Es nehmen mindestens 20 Personen teil, die aus mindestens sechs verschiedenen Organisationen kommen. Diese Faktoren sind ganz einfach anhand der Teilnehmenden-Liste zu überprüfen.

Als Wirkungen intendierten wir: Die Veranstaltung weckt Interesse für das Thema und für die Partizipation an dem Entwicklungsprozess. Zu messen ist dies an den erfragten Feedbacks der Teilnehmenden am Ende der Auftaktveranstaltung und daran, dass mindestens 70% die nachfolgenden Workshops besuchen.

Für den ersten Workshop wünschten wir auf der Ergebnisseite, dass mindestens 15 Personen aus mindestens fünf Organisationen teilnehmen. Weiter sollte ein gutes Praxisbeispiel aus Kassel und ein themenrelevanter Input eines externen Referenten oder einer Referentin vorgestellt werden. Die Ergebnisindikatoren würden anhand der Teilnehmenden-Liste und des Programms zu messen sein.

Bei den Wirkungen wurden wir nun anspruchsvoller: Wir intendierten eine höhere Reflexionsbereitschaft bezüglich der eigenen Praxis der Elternbeteiligung sowie die Bereitschaft, neue Blickwinkel – auf die eigene Arbeit und die Aufgabenstellung – auszuprobieren. Das Eintreten – oder Ausbleiben – dieser Wirkungen wollten wir daran messen, ob die Äußerungen in den Veranstaltungen auf ein Umdenken schließen lassen und ob einige Vertreter/innen der Organisationen bereit sind, Anregungen aus den Inputs und Praxisbeispielen in ihren eigenen Handlungsfeldern auszuprobieren.

Konnten die Ergebnisse erreicht und die Wirkungen überprüft werden?

Zehn Monate nach der Auftaktveranstaltung und nach vier durchgeführten Workshops konnten wir zufrieden feststellen, dass die Ergebnisse erreicht wurden. Lediglich in einer Veranstaltung kurz vor den Sommerferien war die Teilnehmenden-Zahl unterhalb unserer Zielmarke geblieben. In jeder Veranstaltung konnte ein gutes Beispiel aus der Region und eine Expertise aus anderen Orten in der Bundesrepublik vorgestellt werden.

Auch hinsichtlich der Wirkungen waren wir zufrieden: So hörten wir im ersten Workshop einen Input über Grundsätze von Eltern(bildungs)arbeit in der Migrationsgesellschaft. Zwei Veranstaltungen später reflektierten mehrere Teilnehmende in einem neuen Kontext, dass sie verstanden hätten, dass interkulturelle Sensibilität etwas ist, das bei ihnen selber beginnt und nicht zuerst von den Eltern eingefordert werden kann. Und vier Teilnehmende präsentierten im vierten Workshop Projektideen, die sie mit den Kolleg/innen diskutierten und ausprobieren werden.

Wirkungen bei der Ausweitung und Qualitätssicherung eines ehrenamtlichen Mentoring-Ansatzes im Landkreis Kassel

Für den Landkreis Kassel gibt es eine Zielvereinbarung, mit der eine schon bestehende Gruppe von Mentorinnen und Mentoren, die ausbildungsplatzsuchende Jugendliche unterstützten, für ihre ehrenamtliche Arbeit noch besser qualifiziert werden sollen. Es werden ihnen regelmäßige moderierte Treffen angeboten, in denen sie sich untereinander vernetzen und evtl. auftretende Fragen untereinander, aber auch mit Expertinnen besprechen können. Außerdem gibt es Qualifizierungsangebote, wie z.B. ein Interkulturelles Training.

Bezüglich dieser Zielvereinbarung ist geplant, mit einer schriftlichen Befragung zu erheben, ob die Mentor/innen eine Steigerung ihrer Qualifikation für dieses Aufgabenfeld wahrnehmen. Ein jährlicher Feedbackbogen soll erfassen, wie sich die Selbsteinschätzung im Laufe der Zeit verändert. Um regelmäßig und zeitnah eine Feedbackschleife zu institutionalisieren, wird am Ende einer jeden Sitzung die Zufriedenheit mit der Veranstaltung in einem Blitzlicht erfragt und dies dokumentiert. Außerdem wird um eventuelle Verbesserungswünsche für die nächste Sitzung gebeten.

Zu den Veranstaltungen gibt es ausgesprochen positive Feedbacks. Die schriftliche Befragung steht noch aus, so dass noch keine Ergebnisse dazu mitgeteilt werden können.

Rückkopplung der Ergebnisse in die Steuerungsgruppe

Im Rahmen der Steuerungsgruppensitzungen wurde auch schon in OloV2 regelmäßig der Umsetzungsstand der einzelnen Zielvereinbarungen berichtet und bewertet. Mit der Definition der Ergebnis- und Wirkungsindikatoren hat diese Berichterstattung nun eine neue Qualität erreicht. Es kann auf eine nachvollziehbare Weise resümiert werden, in welchem Umfang die Ziele erreicht werden konnten. Und auch die Wirkungen der Aktivitäten können anders reflektiert werden, auch wenn sie nicht im streng wissenschaftlichen Sinne nachgewiesen werden können.

Abschließende Reflexion unseres Ansatzes

Wir sind uns bewusst, dass das hier geschilderte Vorgehen ein sehr pragmatischer Ansatz ist, der insbesondere zu einer nicht allzu zeitaufwändigen Form der Selbstevaluation passt. Das beschriebene Vorgehen ist darauf ausgerichtet, möglichst schnell Hinweise auf notwendige Verbesserungen der Prozesse zu bekommen. Genau darin liegt auch die Stärke. Dass insbesondere auf der Ebene der Wirkungsindikatoren nicht das Niveau erreicht werden kann, das wir von einer externen wissenschaftlichen Begleitung erwarten dürften, liegt auf der Hand.