Evaluation, Effizienz/Effektivität, Wirkungsforschung (www.krimlex.de)
In den letzten Jahren wird gesamtgesellschaftlich verstärkt nach der Effizienz, Effektivität oder Wirkung sozialer, politischer und auch wirtschaftlicher Programme gefragt. Dabei stehen nicht nur ökonomische Interessen einer Verteilung knapper Ressourcen, sondern auch die Einsicht im Mittelpunkt, dass z.B. Wirkungen kriminalpräventiver Programme (Prävention, kommunale Kriminalprävention) durch systematische Methoden sehr wohl zu erforschen sind. Das Schlagwort in diesem Zusammenhang ist die Evaluation. Der Begriff stammt aus dem Lateinischen und beinhaltet das Wort 'valor' (Wert) sowie die Vorsilbe 'e' bzw. 'ex' (aus). Daraus ergibt sich die Übersetzung 'Bewertung', bzw. 'einen Wert aus etwas ziehen'. In einem größeren Zusammenhang beschreibt es den Prozess der Beurteilung des Wertes einer Sache (Produkt, Projekt etc). Damit setzt es nicht zwingend wissenschaftliche Verfahren voraus. Der Unterschied von alltäglicher Evaluation und Evaluationsforschung ist daher die systematische Anwendung sozialwissenschaftlicher, empirischer Forschungsmethoden zur Beurteilung der Konzeption, Umsetzung und des Nutzens z.B. sozialer Interventionsprogramme.
Die sozialwissenschaftliche Evaluationsforschung kann in drei Phasen bei der Bewertung zum Einsatz kommen. Dem entsprechend haben sich im Laufe der Zeit unzählige Begriffe entwickelt, die es gilt den einzelnen Phasen zuzuordnen:
1. Vor der Intervention, also in der Phase der Programmentwicklung. Die Erstellung eines Programmdesigns wird unterstützt und auf negative Effekte hingewiesen. Begriffe: ex-ante-, input-, performative- oder proaktive Evaluation.
2. Während der Implementationsphase als Kontroll- und Beratungsfunktion. Ziel ist eine zeitnahe Beratung und die Möglichkeit einer frühzeitigen Korrektur eventueller Probleme. Begriffe: on going-, formative-, klärende-, interaktive Evaluation, Monitoring oder Begleitforschung.
3. Nach Abschluss einer Intervention um die mittelbaren und unmittelbaren Effekte und damit das Erreichen der Ziele zu überprüfen. Begriffe: summative- oder Wirkungsevaluation.
Die Evaluationsforschung kann demnach entweder darauf gerichtet sein, Programme, ihren Prozess und/oder die Wirkungen zu erforschen. Gleichzeitig ist die Evaluation von außen (extern) als auch innen (intern) denkbar. In den letzten Jahren spielen auch so genannte Meta-Analysen oder Meta-Evaluationen eine große Rolle, die bestehende Forschungen miteinander vergleichen und auf einer Meta-Ebene neue Erkenntnisse generieren.
Evaluationen besitzen dem folgend zu aller erst eine Erkenntnisfunktion. Sie liefern Erkenntnisse über Programme, die sich in einem Spektrum sozialer Probleme bewegen. Daneben ist ihnen eine Kontrollfunktion inhärent. Die Durchführung der Programme obliegt Menschen, die ebenfalls Bestandteil der Evaluation werden. Kontrolliert werden aber auch die eingesetzten Methoden. Zuletzt dienen Evaluationen auch der Legitimation: Einrichtungen, Projekte, Mittelgeber und letztendlich die durchführenden Institutionen der Evaluation können zeigen, wie effektiv sie arbeiten und welche Wirkungen erzielt werden. Diese Funktionen - Erkenntnis, Kontrolle und Legitimation - rufen oftmals Kritik hervor. Aus der Sicht von Mitarbeitern in sozialen Projekten mutet externe Evaluationsforschung einen Eingriff in die eigene Arbeit an, der geleitet ist von Sparmaßnahmen der Politik, um kontrollierend die Legitimation der Arbeit in Frage zu stellen.
Eine der ersten und folgenreichsten Wirkungsevaluationen der Sozialprävention war die in den USA durchgeführte Cambridge-Somerville Youth Study, welche die Wirkungen von freundschaftlicher Betreuung, sozialer Unterstützung, Einbindung in normgerechte Aktivitäten und medizinische Unterstützung von gefährdeten Jugendlichen bzw. deren Familien untersuchte. Zwischen 1939 und 1945 wurden 506 Jungen aus Multiproblemmilieus der Städte Cambridge und Somerville im US Bundesstaat Massachusetts im Alterschnitt von 10,5 Jahren in 253 Paare eingeteilt. Die Jungen jedes Paares glichen sich in ihren sozialen Merkmalen und wurden per Zufall Teil der Untersuchungs- oder Kontrollgruppe (UG und KG). In den kommenden sechs Jahren erhielt lediglich die UG einen persönlichen Sozialarbeiter, schulische Nachhilfe, medizinische und psychische Unterstützung oder wurde in sozialpädagogische Sommercamps sowie in Sportaktivitäten oder Vereine eingebunden. Die KG musste mit den lokal vorhandenen Hilfsangeboten und -strukturen vorlieb nehmen. In den 1970er Jahren, als die Jungen im Schnitt 47 Jahre alt waren, fand die hauptsächliche Nachuntersuchung statt. Anhand von Befragungen der Probanden, Ärzte, Sozialarbeiter, Polizei und durch die Auswertung weiterer statistischer Quellen konnten die Forscher zeigen, dass lediglich in 15% der Fälle die Jungen der UG gegenüber der KG keine unerwünschten Ereignisse in ihrem Lebenslauf aufwiesen. Demgegenüber wurde dem Programm in einem Viertel aller Fälle Misserfolg attestiert. Diesen und anderen Studienergebnissen aus den USA folgte die berühmte 'nothing works!' Attitüde, welche dem Zweifel an der Wirkung von gut geglaubten Präventionsstrategien Ausdruck verlieh. Gerade die Einsicht, dass soziale Programme auch negative Folgen für Kinder und Jugendliche nach sich ziehen können, verunsicherte. In den USA sollte diese Skepsis und Diskussion dazu führen, dass die 1970er Jahre das Jahrzehnt der Evaluation wurden und maßgeblich zu einer Institutionalisierung der Evaluation beitrugen. Bereits 1976 flossen etwa 600 Millionen Dollar in die Evaluation sozialer Dienstleistungsprogramme. So genannte Sunset Gesetze wurden eingeführt, welche den Nachweis einer Wirksamkeit forderten, wenn Programme öffentliche Gelder beanspruchten. Mit dem Government Performance and Result Act von 1993, der auf föderaler Ebene von Behörden die Erbringung von Leistungsnachweisen ihrer Arbeit verlangte, wurde die Evaluation auch zwingend für den Verwaltungsapparat vorgeschrieben. Im Jahr 1996 forderte der Kongress den Justizminister auf, einen unabhängigen Evaluationsbericht über die Effektivität der vom Justizministerium geförderten örtlichen und bundesstaatlichen Kriminalitätspräventionsprogramme vorzulegen. Besonderes Augenmerk sollte dabei auf die Jugendkriminalität und die Jugendgewalt gelegt werden. Den Zuschlag erhielt eine Forschergruppe der Universität Maryland unter der Leitung von Lawrence W. Sherman. Der 1998 vorgelegte so genannte Sherman-Report beurteilt anhand der relevanten wissenschaftlichen Literatur mehr als 500 Evaluationsstudien auf ihre (nachhaltige) Effektivität und fragt: "what works, what doesn't, what's promising?" (http://www.cjcentral.com/sherman/sherman.htm). Die Idee einer umfassenden Meta-Evaluation zur Gewinnung tief greifender Erkenntnisse zur Wirkung von Kriminalprävention auf einer Meta-Ebene sollte auch im Düsseldorfer Gutachten und damit in Deutschland zwei Jahre später genutzt werden (www.duesseldorf.de/download/dg.pdf). Seit 1996 entwickelt das Center for the Study and Prevention of Violence der Universität Boulder in Colorado (http://www.colorado.edu/cspv/index.html) die blueprints for violence prevention, elf nationale Präventionsprojekte, die als best practice "Blaupausen-Modelle" eingestuft wurden und seither als Gesamtinitiative in den USA durchgeführt werden. Bis heute untersucht das Center über 600 evaluierte Gewaltpräventionsprojekte, von denen in den letzten zehn Jahren lediglich elf aufgenommen worden sind und sich 18 als erfolgversprechend in der Warteschleife befinden. Dabei geht es weniger um die Frage nach deren grundsätzlicher Wirksamkeit, da diese in Längsschnitt- und Querschnittsstudien schon mehrfach erforscht wurde, als vielmehr um die Übertragbarkeit der Projekte an andere Orte. Die im Jahre 2000 gegründete Campbell Collaboration (http://www.campbellcollaboration.org), eine internationale, gemeinnützige Organisation, erstellt, aktualisiert und veröffentlicht systematische und kritische Übersichtsarbeiten zu Studien über Maßnahmen im Sozial-, Verhaltens- und Erziehungsbereich. Wesentlicher Bestandteil ihrer Arbeit sind die systematic reviews: Erarbeitung von Synthesen der Forschung zur Wirksamkeit von sozialen und politischen Maßnahmen zur Förderung einer empirisch gestützten (evidence-based) Politik und Praxis.
Die Perspektive in Deutschland ist vergleichsweise unterentwickelt. Erst seit den 1990er Jahren findet eine Sensibilisierung in diesem Bereich statt. Das Düsseldorfer Gutachten kann als erste deutschlandweite und umfassende Metaevaluation beschrieben werden und sollte dazu beitragen, dass dem Diskurs und letztendlich der Evaluationsforschung in Deutschland neuer Auftrieb beschert wurde. So spielen Ansätze zur Qualitätssicherung in der Kriminalprävention heute eine große Rolle. Das Beccaria-Programm kann als Vermittler von Basiskompetenzen für die Präventionsarbeit und Entwickler von Modulen für ein Trainingsprogramm sowie eines Masterstudiengang Crime Prevention genannt werden (http://www.beccaria.de).
Literatur:
- McCord, J.: The Cambridge-Somerville Study: A pioneering longitudinal experimental study of delinquency prevention. In: McCord, J./Tremblay, R.E. (Hrsg.): Preventing antisocial behaviour. Interventions from birth through adolescence. New York/London 1992. S.196-206.
- Rössner, D./Bannenberg, B./Coester, M. (Hrsg.): Düsseldorfer Gutachten: Empirisch gesicherte Erkenntnisse über kriminalpräventive Wirkungen. Internetpublikation Düsseldorf 2002.
- Sherman, L.W.: Preventing crime: What works, what doesn't, what's promising. College Park 1997.
- Stockmann, R. (Hrsg.): Evaluationsforschung. Grundlagen und ausgewählte Forschungsfelder. Opladen 2000.
Marc Coester