Warum Wirkungsorientierung?

Eine wachsende Anzahl von Fördergebern wie z.B. der Deutsche Akademische Austauschdienst, die Alexander von Humboldt-Stiftung oder die VolkswagenStiftung, aber auch Ministerien, insbesondere das deutsche Wirtschaftsministerium im Rahmen der EXIST-Förderung, richteten in den letzten Jahren ihre Berichtsstrukturen auf eine stärkere Wirkungsorientierung aus. Im Gegensatz zum klassischen Reporting von Aktivitäten und unmittelbaren Ergebnissen der Förderung werden durch eine Wirkungsorientierung, d.h. das Ausrichten der Förderung auf mittel- und langfristige Ziele, auch intendierte Wirkungen nach Ende der eigenen Fördertätigkeit mitgedacht. Die tatsächliche Erfassung (ggf. Messung) von Wirkungen kann allerdings erst nach einigen Jahren nach Etablierung des Monitorings stattfinden.

Mit einem wirkungsorientierten Monitoring können Fördergeber unterschiedliche Zielsetzungen verfolgen. Diese Zielsetzungen werden je nach Förderorganisation und Förderportfolio unterschiedlich sein. Primär geht es darum, sich als fördernde Organisation darüber klar zu werden, welche Funktion(en) das wirkungsorientierte Monitoring zu erfüllen hat. Die häufigsten Funktionen eines wirkungsorientierten Monitorings sind:

• Transparenz über die Wirkungen des eigenen Förderhandelns nach innen/  außen herzustellen und Sprechfähigkeit über die Beiträge zu übergeordneten Zielsetzungen zu erlangen (Rechenschaft);
• Langfristige Steuerung der Förderaktivitäten durch ein verbessertes Verständnis der Effekte der Förderaktivitäten ermöglichen bzw. verbessern (Strategische Steuerung);
• Weiterentwicklung der Förderaktivitäten (einzelne Programme oder ein Programmportfolio) ermöglichen (Programmsteuerung);
• Impulse für Reflexionsprozesse zu potentiellen Wirkungen bei den Geförderten (Erhöhung der impact literacy) geben (Internes Lernen);
• Eine gute Datengrundlage für vertiefende Analysen, insbesondere für Evaluationen schaffen (Wissensmanagement).

Sein Förderhandeln stärker auf Wirkungen auszurichten, bedeutet nicht nur, sprechfähig über eingetretene Effekte zu werden. Darüber hinaus sollte Wirkungsorientierung als Reflektionsprozess in der Förderorganisation verstanden werden, in denen insbesondere über Programmziele und Wirkmechanismen sowie über die bestehenden Datenerhebungsstrukturen (sind Verschlankungen möglich?) diskutiert werden sollte.

Was sind Wirkungen? Die gängigsten und primären Wirkungskategorien in der Forschungsförderung sind: 

Outputs (unmittelbare Ergebnisse)	Outcomes (mittelfristige Wirkungen)	Impacts (langfristige Wirkungen)
Publikationen, die aus der Förderung entstehen	Einfluss auf wissenschaftliche Diskurse	Wissenschaftsstandort Deutschland gestärkt Stärkung bestimmter wissenschaftlicher Disziplinen Veränderung von Forschungspraktiken
Neue wissenschaftliche Kollaborationen	Neue Austauschformate inkl. neuer Journals
Neue Kompetenzen der Geförderten	Karriereentwicklung der Geförderten

Was ist wirkungsorientiertes Monitoring?

Die Grundlage eines wirkungsorientierten Monitorings ist, ein Verständnis über mögliche (gewünschte) langfristige Wirkungen (Outcomes und Impacts) zu erlangen. Der Fördergeber muss sich darüber klar werden, welche Beiträge die Förderaktivitäten zur Erreichung der übergeordneten Zielsetzungen leisten sollen, bevor erfasst werden kann, ob diese Beiträge erreicht werden. Dies kann mit Hilfe von sogenannten Wirkungsgefügen erreicht werden, die den Zusammenhang zwischen Förderimpuls (z.B. Stipendium/ Projektförderung) und den unmittelbaren Projektergebnissen bis hin zu mittel- und längerfristigen Wirkungen erstellen.

Weitere Instrumente, die zur Darstellung von Wirkungsgefügen genutzt werden, sind z.B. logic chart -Modelle, Theory-of-Change-Modelle oder Impact-Pathways.

 

Statt von den Inputs und durchgeführten Aktivitäten her zu denken, wird beim wirkungsorientierten Monitoring von den zu erzielenden Wirkungen her gedacht. Dieser Perspektivwechsel ist das Charakteristikum des wirkungsorientierten Monitorings.

Darüber hinaus kann das wirkungsorientierte Monitoring nicht nur für die Betrachtung der Wirkungen einzelner Förderaktivitäten genutzt werden; es ermöglicht darüber hinaus auch, das Zusammenspiel verschiedener Förderaktivitäten zu betrachten.

Das wirkungsorientierte Monitoring besteht aus zwei zentralen Bausteinen:

• Einem Wirkungsgefüge (klassischerweise in einer Input-(Activitity)-Output-Outcome-Impact-Logik), welches die zentralen Wirkerwartungen in komplexitätsreduzierender Weise zusammenfasst und in einen logischen Zusammenhang mit den jeweiligen Förderaktivitäten bringt.
• Einer Indikatorik, die einzelne Elemente des Wirkungsgefüges mit konkreten Indikatoren hinterlegt. Je nach Zielsetzung und Datenverfügbarkeit können dabei sowohl quantitative als auch qualitative Indikatoren zum Einsatz kommen.

Einsichten aus der Praxis

Aus unserer praktischen Arbeit in der Begleitung von Forschungsförderern im Aufbau ihrer wirkungsorientierten Monitoringsysteme ziehen wir folgende Schlussfolgerungen für die praktische Ausgestaltung eines wirkungsorientierten Monitorings:

Übergeordnete Zielsetzungen können bei der Priorisierung der Monitoringfunktionen und des Analysefokus helfen

Im Rahmen des Aufbau eines Systems für ein wirkungsorientiertes Monitoring sollte geklärt werden, welche Funktion(en) das wirkungsorientierte Monitoring erfüllen sollen und wo die Prioritäten liegen. Je nach Zuschnitt ergeben sich daraus verschiedene Implikationen für die Ausgestaltung und Schwerpunktsetzung.

In der Regel wird ein wirkungsorientiertes Monitoring die Betrachtung von Einzelprogrammen und des gesamten Förderportfolios kombinieren. Hierbei ist eine enge Verschränkung der verschiedenen Organisationsebenen anzustreben, ohne die Spezifität der einzelnen Förderprogramme zu ignorieren. Für die Umsetzung hat sich dabei ein iterativer Prozess bewährt, der von den übergeordneten Zielsetzungen ausgeht und diese auf Basis der einzelnen Förderprogramme kritisch reflektiert und modifiziert. Eine grundsätzliche Vereinheitlichung (Sprache, Kernziele, Begrifflichkeiten) sollte dabei angestrebt werden. Ein solches modulares Vorgehen erleichtert auch Anpassungen, wenn sich das Förderportfolio ändert.

Die Einführung eines wirkungsorientierten Monitoringsystems ist daher auch und vor allem ein Lern- und Verständigungsprozess für die an der Förderung beteiligten Akteure.

Zielgerichtete Indikatorik erarbeiten

Auch wenn die Indikatorik fassbarer erscheint, sollte hinreichend Zeit für die Diskussion der Wirkungserwartungen und Wirkungszusammenhänge und die Darstellung dieser in Wirkungsgefügen eingeplant werden. Sind die Wirkungszusammenhänge der Förderung erst einmal klar spezifiziert, ergibt sich daraus oftmals direkt die Indikatorik.

Um eine datensparsame und einfache Erhebung zu gewährleisten, sollten über verschiedene Programme hinweg einheitliche Wirkungspfade genutzt werden. Auch wenn Förderprogramme oftmals unterschiedliche Zielsetzungen, -gruppen oder Förderinstrumente bedienen, teilen sie oft gemeinsame Elemente, die es bei Wirklogiken und Indikatorik herauszuarbeiten gilt. Oftmals unterscheidet sich am Ende weniger die Indikatorik zwischen Programmen, sondern vielmehr deren Gewichtung und Interpretation.

Während quantitative Indikatoren oftmals als die offensichtliche Option erscheinen, sollten die Art der zugrundeliegenden Daten und angestrebten Berichtsformate immer mitbedacht werden. Dies hängt u.a. von der Art der Geförderten (z.B. angehende vs. etablierte Wissenschaftler:innen), dem Umfang der jeweiligen Förderung (Anzahl von Geförderten), der Förderphilosophie und auch der Homogenität der erwarteten Effekte (Erfassung mit einem Indikator vs. Multiple Indikatoren notwendig) ab.

Verhältnis von wirkungsorientiertem Monitoring zur Evaluation

Wirkungsorientiertes Monitoring kann keine Evaluation ersetzen, beide Ansätze haben spezifische Zielsetzungen und unterschiedliche Zeitpunkte. Sie ergänzen sich allerdings. 

	Monitoring	Evaluation
Zentrale Akteure	Intern	Extern
Zeitdimension	Fortlaufend	Zu ausgewählten Zeitpunkten
Umsetzung	Einbettung in Umsetzungsprozess	Eigenständig, mit seperatem Budget
Leitfrage	»Was passiert?«	»Wie gut und warum passiert etwas? Welche Konsequenzen hat das?«
Fokus	Programmumsetzung und -fortschritt	Fortschritte und Ergebnisse erfassen und bewerten, Schlussfolgerungen/ Empfehlungen für Weiterentwicklung
Position Wirkungsmodell	Fokus auf Inputs/Outputs, leicht messbare Outcomes	Fokus auf Wirkungen (Outcomes, Impacts)
Datenerhebung	(Eher) quantitativ	Multi-methods Ansatz (Triangulation)
Berichtsformen	Regelmäßig, überblicksorientiert	Spezifische Zeitpunkte, tiefergehende Darstellung

 

Wirkungsorientierung als (kontinuierlicher) Veränderungsprozess

Für ein funktionierendes wirkungsorientiertes Monitoring sollte die Konzeptentwicklung von Anfang an eng mit der Klärung der Rollen der beteiligten Stakeholder mitgedacht werden: Wer erhebt Daten? Wer wertet dieses wie aus? Wie werden diese anderen Akteuren zur Verfügung gestellt? Auch die technische Umsetzung muss mitberücksichtigt werden: Wo werden Daten erhoben? Werden Monitoring-Daten zentral zusammengeführt? Wie können diese übergreifend ausgewertet werden?

Der Wechsel hin zu einem wirkungsorientierten Monitoring ist ein längerer (~ein Jahr) und die gesamte Organisation umfassender ko-kreativer Prozess, der Reflektion und Capacity-Building bei verschiedenen Stakeholdern der Organisation (Förderbetreuung, Presseabteilung, etc.) erfordert. Dies ermöglicht es Fördergebern die bisherige Fördertätigkeit kritisch zu hinterfragen, interne Lernprozesse anzustoßen und nach innen/außen auskunftsfähiger über die Ergebnisse der Förderung zu sein.

Das Fraunhofer ISI verfügt über umfangreiche Erfahrungen, diesen ko-kreativen Entwicklungsprozess kompetent zu begleiten und Fördergeber bei der Entwicklung eines wirkungsorientierten Monitoringsystems zu unterstützen.

• Grafik (Abbildung 1) basierend auf: Belcher, B. M.; Davel, R.; Claus, R. (2020): A refined method for theory-based evaluation of the societal impacts of research. In: MethodsX, 7, S. 100788; Griniece, E.; Angelis, J.; Reid, A.; Vignetti, S.; Catalano, J.; Helman, A.; Barberis Rami, M.; Kroll, H. (2020): Guidebook for Socio-Economic Impact Assessment of Research Infrastructures.