Konkrete Leistungen erbringen, Vorhaben umsetzen, sich dabei aber immer an den erwarteten und erhofften Wirkungen orientieren. Wirkungsorientiertes Arbeiten ist somit ein Denk- und Verhaltensansatz. Gleichzeitig steht wirkungsorientiertes Arbeiten für konkrete Instrumente, um das eigene Projekt von der Initiierung bis zu seiner Evaluation und Verstetigung fortlaufend zu steuern und zu reflektieren. Es vereinfacht die Kommunikation der Ergebnisse und Erkenntnisse aus dem Projekt und legitimiert das Vorhaben gegenüber Politik und Geldgebern.
Programmebene
Seit 2016 sind Bund und Kantone verpflichtet, in der NRP mit Wirkungsmodellen zu arbeiten. Die Erfahrungen in der Anwendung und Umsetzung aus vorherigen Förderperioden wurden genutzt, um das wirkungsorientierte Arbeiten in der aktuellen Periode (2024-2031) zu stärken und deren Anwendung zu vereinfachen.
Projektebene
Auf NRP-Projektebene wird das wirkungsorientierte Arbeiten empfohlen, mitunter die Erstellung eines Wirkungsmodells mit entsprechenden Indikatoren und Messgrössen, da alle Kantone entsprechende Wirkungsziele bei einem NRP-Projektantrag abfragen.
Seit 2012 führte regiosuisse über 50 Wirkungsmessungen von NRP- und Interreg-Projekten durch. Die einzelnen Berichte sowie eine thematische Zusammenfassung der Ergebnisse in Form von «Stories» sind auf der Seite zu Wirkungsmessung verfügbar.
Folgende fünf Schritte werden zur Anwendung durch Programmverantwortliche, Projektträgerinnen und Projektträger und weitere Akteurinnen und Akteure empfohlen:
-
Schritt 1: Programm- und Projektziele definieren
Dieser Schritt wird idealerweise in der Planungsphase eines Programms oder Projekts durchgeführt. Wirkungsorientiertes Arbeiten ist nur möglich, wenn bekannt ist, was das Projekt oder Programm bewirken soll. Dazu müssen die übergeordneten (politischen) Ziele, die meist schon vorgegeben sind, bekannt sein und explizit gemacht werden und darauf basierend spezifische (operationalisierbare) Programm- und Projektziele festgelegt werden. Konkret bedeutet dies, dass Projektziele von Programmzielen abgeleitet werden bzw. die Projektziele zu den Programmzielen beitragen müssen und dass Programmziele von den übergeordneten politischen Zielen der NRP und Wirtschaftsentwicklungsstrategien abgeleitet werden. Bei NRP-Programmen werden im Idealfall maximal 3–4 Programmziele aus den
übergeordneten politischen Zielen abgeleitet und pro Ziel ein Wirkungsmodell erstellt. -
Schritt 2: Wirkungsmodell erstellen
Auch dieser Schritt wird idealerweise in der Planungsphase eines Programms oder Projekts durchgeführt. In Realität erfolgt er leider vielfach erst in der Durchführungs- oder Evaluationsphase, wenn eine Evaluation unmittelbar bevorsteht. Die Erstellung des Wirkungsmodells sollte nach Möglichkeit unter Einbindung aller beteiligten Akteurinnen und Akteure geschehen
-
Schritt 3 Evaluation planen
Bei der Planung der Evaluation müssen Gegenstand und Zeitpunkt der Evaluation, sowie Vergleichsebenen, Erhebungsmethoden und Organisatorisches bestimmt werden. Dabei ist zu klären, ob für übergeordnete Ebenen Fragestellungen zu integrieren sind.
Ziele
- Welches Ziel verfolgt die Evaluation und für wen wird sie durchgeführt?
- Zu welchem Zweck werden die Resultate der Evaluation verwendet?
Messgegenstand
Was soll gemessen werden? Das gesamte NRP-Projekt oder nur ein Teilprojekt?
- Welcher Zeitraum soll berücksichtigt werden? Die gesamte Periode von Beginn weg oder nur
eine bestimmte Zeitspanne? - Welche Ebene des Wirkungsmodells soll gemessen werden? (diese Frage muss sich am Ziel der Evaluation orientieren)
Zeitpunkt
Wann soll die Evaluation durchgeführt werden? (Zeitpunkt orientiert sich am Messgegenstand)
- Konzeptevaluation: Überprüfung der Planung (Konzept) und Folgeabschätzung (oft ex ante)
- Vollzugsevaluation: Überprüfung der Umsetzung (Input/Vollzug) sowie Suche nach Optimierungsmöglichkeiten (begleitend)
- Leistungsevaluation: Ermittlung der Qualität und Menge der erbrachten Leistungen (Output)sowie der Wirkungen (Outcome) (oft ex post)
- Wie oft soll die Evaluation stattfinden?
Vergleichsebene
Welche Ebenen sollen verglichen werden?
- Soll-Ist-Vergleich (Beurteilung an den Zielen)
- Quervergleich (Beurteilung an Ähnlichem oder Gleichem, z.B. für überregionale Vergleiche)
- Längsschnittvergleich (Beurteilung Vorher-Nachher)
Erhebungsmethode
Welche Erhebungsmethode(n) eignen sich?
- zur Erfassung qualitativer Daten z.B. Interviews, Inhaltsanalysen
- zur Erfassung quantitativer Daten z.B. statistische Analysen, Umfragen
Organisatorisches
- In welcher Form werden die Resultate der Evaluation bereitgestellt und wie für die Optimierung von Projekten und Programmen verwendet?
- Wer führt die Evaluation durch?
-
Schritt 4 Daten erheben
In diesem Schritt werden die Fragestellungen für die Evaluation formuliert und die nötigen Daten erhoben.
Zum Beispiel:
- Sind die Ziele klar und deutlich formuliert?
- Ist die Ziel-Mittel-Relation angemessen?
- Sind die Strukturen sinnvoll und klar?
- Sind Führungsinstrumente vorhanden?
- Kosten des Outputs (Effizienz)?
- Werden die Zielgruppen erreicht?
- Wie ist die Akzeptanz und Zufriedenheit der Zielgruppe?
- Wie ist die Wirkung? Treten Wirkungen ein (Effektivität)?
- Sind Wirkungen bei den Betroffen zu beobachten?
- etc.
Erhebungsmethoden: Die Datenerhebung für die Evaluation von Programmen sollte via Projektevaluationen erfolgen. So stellen zum Beispiel die aggregierten Resultate der Projekte auf Outcome-Ebene die Ergebnisse des Programms auf Outcome-Ebene dar. Ein solches Vorgehen muss mit allen Beteiligten vorgängig geregelt werden und entsprechende Aufträge sind zu erteilen
-
Schritt 5: Daten auswerten und Erkenntnisse nutzen
Nach der Datenerhebung geht es darum, die erhobenen Daten zusammenzuführen, auszuwerten und in geeigneter Form zu kommunizieren. Die Auswertung kann in Form eines Berichts festgehalten werden. Je nach Zweck der Evaluation kann auch eine Präsentation oder eine Gruppendiskussion angemessen sein. Bei Wirkungsevaluationen stehen bei der Auswertung Fragen zu den anfallenden oder ausbleibenden Wirkungen bei Zielgruppen und Betroffenen im Vordergrund sowie die Gründe einer Wirkung und die Zuordnung zum Programm oder Projekt. Die Ergebnisse der Evaluation werden genutzt, um Wissen innerhalb der Organisation oder der Region aufzubauen, um laufende oder zukünftige Programme und Projekte zu optimieren oder um sie gegenüber Geldgebern und Zielgruppen zu legitimeren.
Folgendes ist dabei zu beachten:
- Qualität der Daten: Die vorliegenden Daten sind kritisch zu hinterfragen. Basieren sie auf Messungen oder Prognosen? Sind es realistische Schätzungen oder nur Potenzialgrössen? Durch wen und wie wurden sie erhoben?
- Zuordnung der Auswirkungen: Die beobachteten Wirkungen müssen vorsichtig beurteilt werden. Was ist dem Programm bzw. dem NRP-Projekt zuzurechnen, was anderen externen Faktoren? Gleichermassen müssen fehlende Kausalitätsnachweise oder Zuordnungslücken (besonders auf der Impact-Ebene) akzeptiert werden.
