- Die von regiosuisse durchgeführten Wirkungsmessungen laufen immer nach derselben, einheitlichen mit dem SECO abgestimmten Methodik ab. So können, mit gewissen Einschränkungen, Aussagen über Einzelprojekte hinaus für das NRP-Portfolio generiert werden. Von 2012 bis 2023 hat regiosuisse 49 Wirkungsmessungen im Auftrag des SECO durchgeführt.
- Mit beschränktem Aufwand ist es möglich, qualitative Aussagen zur Wirkung zu erzielen; die Wirkungsmessungen sind aber nicht mit vertieften Evaluationen vergleichbar.
- Das Vorgehen umfasst die Projektauswahl, die Vorbereitung und Durchführung der Wirkungsmessungen, die Erstellung eines Kurzberichts, sowie verschiedene Qualitätskontrollen und das Vornehmen einer Bewertung. Alle Berichte werden publiziert und die wichtigsten Erkenntnisse auf dieser Website zusammengefasst.
- Die Wirkungsmessungen orientieren sich an den verschiedenen Ebenen eines Wirkungsmodells. Die Projekte werden entlang der Ebenen Input, Output, Outcome und Impact diskutiert. Auf Ebene Outcome und Impact stehen qualitative Aussagen im Vordergrund. Zudem werden die Projekte noch nach internationalen Evaluationskriterien (Relevanz, Zielerreichung, Effizienz und Beständigkeit) bewertet.
Standardisiertes Vorgehen im Überblick
regiosuisse führte erste Wirkungsmessungen im Jahr 2012 durch. Ab 2017 wurden regelmässig jedes Jahr eine bestimmte Anzahl Wirkungsmessungen durchgeführt und eine Würdigung entlang von Bewertungskriterien vorgenommen. Bis Ende 2023 hat regiosuisse 49 Wirkungsmessungen durchgeführt.
Die Wirkungsmessungen laufen bei regiosuisse nach einem standardisierten Vorgehen ab:
Quelle: regiosuisse
Die Projektauswahl
Auswahlkriterien
Jedes Jahr werden in Absprache mit dem SECO Projekte für die Wirkungsmessung ausgewählt. Die Auswahl erfolgt basierend auf den folgenden Kriterien:
Tendenz zu «guten» Projekten
Die oben beschriebenen Kriterien bergen das Risiko, dass in der Tendenz erfolgreiche Projekte betrachtet werden und es so zu einer möglichen Verzerrung der Ergebnisse kommt. Regiosuisse ist sich dessen bewusst, und spricht auch bei diesen vermeintlich positiven Projekten in allen Gesprächen Herausforderungen, Verbesserungspotenziale und Lessons-Learned an.
Dies bedeutet gleichzeitig auch, dass die Wirkungsmessungen anhand ausgewählter Projekte keinen repräsentativen Überblick zur Gesamtwirkung der NRP geben. Sie können aber qualitative Wirkungen und Erfolgsfaktoren aufzeigen. Sie können darstellen, welche Vielfalt an Angeboten dank der NRP entstand, von wem diese genutzt werden und was die Projekte in den Regionen auslösen. Mit jeder zusätzlichen Wirkungsmessung verfestigen und vervollständigen sich die Erkenntnisse und die Aussagekraft wird erhöht.
Die Vorbereitung und Durchführung
Unterlagen studieren
Die Wirkungsmessungen stützen sich einerseits auf zur Verfügung stehende Unterlagen und andererseits auf Gespräche mit dem Projektträger und der zuständigen kantonalen NRP- oder Interreg-Fachstelle.
Bei den Unterlagen ist vor allem der Projektantrag zentral. Aus diesem wird ersichtlich, welche Ziele mit dem Projekt erreicht werden sollen und über welche Angebote oder Dienstleistungen der Projektträger diese realisieren möchte.
Weiter werden je nach Verfügbarkeit folgende Unterlagen mitberücksichtigt.
- Abschlussberichte zum NRP-Projekt
- Business-Pläne
- Organigramme
- Allfällige Jahresberichte
- Von den Projektträgern selbst erhobenen Kennzahlen zu den Angeboten oder den Wirkungen.
- Verschiedene weitere Unterlagen wie Massnahmenbeschriebe, Medienberichte, Revisionsberichte, Nachhaltigkeitsbeurteilungen, etc.
Gespräche mit Projektträgern und kantonalen NRP- oder Interreg Fachstellen vorbereiten und durchführen
- Im Zentrum der Wirkungsmessungen stehen die Gespräche mit den Projektträgern und den kantonalen NRP-Fachstellen. Dazu wird ein generischer Gesprächsleitfaden auf das spezifische Projekt angepasst und mit Fragen, die sich aus dem Dokumentenstudium ergeben haben, ergänzt.
- Es hat sich bewährt, sowohl die Sichtweise des Projektträgers als auch jene der kantonalen NRP- oder Interreg Fachstelle einzubeziehen. Bei den Fachstellen stehen übergeordnete Fragen zur Einbettung des Projekts in kantonale oder regionale Strategien, die übergeordnete Bedeutung des Projekts sowie Überlegungen zur Finanzierung, zum Projektablauf oder zur Projektträgerschaft im Vordergrund.
- Mit den Projektträgern diskutiert regiosuisse die Wirkungskette von den eingesetzten personellen und finanziellen Ressourcen, der Projektorganisation, über die erstellten Angebote bis hin zur Wirkung auf die Zielgruppen und weitere Effekte auf die Regionen. Die Erkenntnisse der Projektträger haben einen wichtigen Stellenwert.
Das Erstellen des Kurzberichts
Auf Basis sämtlicher erhobener Informationen redigiert regiosuisse einen rund 5-10-seitigen Kurzbericht. Die Kurzberichte sind immer gleich strukturiert und folgend der Logik der Wirkungskette.
Quelle: regiosuisse
Im Folgenden sind einige Hauptfragestellungen aufgelistet, auf die die Kurzberichte Antwort geben:
Die Qualitätskontrolle und Bewertung
Nach der Redaktion des Kurzberichts erfolgen verschieden Qualitätskontrollen, bei denen sowohl die Projektträger, die kantonalen NRP- oder Interreg Fachstellen, das SECO als auch regiosuisse beteiligt sind.
- Gegenlesen durch die Gesprächspartner: Die Gesprächspartner – die Projektträger und die zuständige Fachstelle – erhalten den Bericht zum Gegenlesen. Allfällige faktische Ungenauigkeiten können so noch geklärt werden. Die Beurteilung ist jedoch Sache von regiosuisse.
- Berichtsdurchsicht und Bewertung durch das SECO: Das SECO erhält den Bericht zur Konsultation und erstellt auf dessen Basis eine Bewertungsfiche. Die Bewertung erfolgt seit 2018 standardmässig anhand der vier internationalen Evaluationskriterien Relevanz, Effektivität, Effizienz und Beständigkeit.
- Plausibilisierung durch regiosuisse: Regiosuisse prüft die Bewertungsfiche des SECO im Sinne eines Vier-Augen-Prinzips. Allenfalls abweichende Einschätzungen werden diskutiert und die Bewertungsfichen anschliessend finalisiert.
Quelle: regiosuisse
Die Publikation und Synthese
Sämtliche Kurzberichte werden auf der Website von regiosuisse publiziert (siehe unten). regiosuisse arbeitet themenspezifisch die wichtigsten Erkenntnisse in Form von digitalen Stories auf. Es sind bereits Stories zu den Themen Arbeitsplatzeffekte, Risiken und Nachhaltige Entwicklung sowie zu den Förderschwerpunkten Tourismus und Industrie erschienen. Die Erkenntnisse zu den vier Bewertungsdimensionen wurden über alle Projekte aggregiert und in der Story Projekteinschätzungen publiziert.
Kurzberichte der regiosuisse Wirkungsmessungen