Die Plattform für Regionalentwicklung in der Schweiz

Das Wichtigste in Kürze
  • Die von regiosuisse durchgeführten Wirkungsmessungen laufen immer nach derselben, einheitlichen mit dem SECO abgestimmten Methodik ab. So können, mit gewissen Einschränkungen, Aussagen über Einzelprojekte hinaus für das NRP-Portfolio generiert werden. Von 2012 bis 2023 hat regiosuisse 49 Wirkungsmessungen im Auftrag des SECO durchgeführt.
  • Mit beschränktem Aufwand ist es möglich, qualitative Aussagen zur Wirkung zu erzielen; die Wirkungsmessungen sind aber nicht mit vertieften Evaluationen vergleichbar.  
  • Das Vorgehen umfasst die Projektauswahl, die Vorbereitung und Durchführung der Wirkungsmessungen, die Erstellung eines Kurzberichts, sowie verschiedene Qualitätskontrollen und das Vornehmen einer Bewertung. Alle Berichte werden publiziert und die wichtigsten Erkenntnisse auf dieser Website zusammengefasst. 
  • Die Wirkungsmessungen orientieren sich an den verschiedenen Ebenen eines Wirkungsmodells. Die Projekte werden entlang der Ebenen Input, Output, Outcome und Impact diskutiert. Auf Ebene Outcome und Impact stehen qualitative Aussagen im Vordergrund. Zudem werden die Projekte noch nach internationalen Evaluationskriterien (Relevanz, Zielerreichung, Effizienz und Beständigkeit) bewertet. 

Standardisiertes Vorgehen im Überblick

regiosuisse führte erste Wirkungsmessungen im Jahr 2012 durch. Ab 2017 wurden regelmässig jedes Jahr eine bestimmte Anzahl Wirkungsmessungen durchgeführt und eine Würdigung entlang von Bewertungskriterien vorgenommen. Bis Ende 2023 hat regiosuisse 49 Wirkungsmessungen durchgeführt.

Die Wirkungsmessungen laufen bei regiosuisse nach einem standardisierten Vorgehen ab:

Quelle: regiosuisse
 

Die Projektauswahl

Auswahlkriterien

Jedes Jahr werden in Absprache mit dem SECO Projekte für die Wirkungsmessung ausgewählt. Die Auswahl erfolgt basierend auf den folgenden Kriterien:

Mittelgrosses Projektvolumen
Das Projektvolumen der NRP-Projekte ist sehr unterschiedlich und variiert von einigen Tausend Franken bis hin zu grossen Projekten im Millionenbereich. Regiosuisse konzentriert sich bei den Wirkungsmessungen auf mittelgrosse Projekte mit einem NRP-Beitrag – Bund und Kantone zusammen – von rund 100’000-500'000 Franken. Für die grossen Projekte sind die mit verhältnismässig wenig Aufwand durchgeführten Wirkungsmessungen zu wenig umfassend. Zudem müssen grosse insbesondere Infrastrukturprojekte verschiedene Prüfungen durchlaufen oder werden bereits in anderen Rahmen evaluiert. Für kleine Projekte wäre der Aufwand hingegen unverhältnismässig gross. 
Abgeschlossene Projekte
Vor dem Hintergrund, dass die Wirkung meist erst einige Zeit nach Projektabschluss eintritt, hat es sich als wichtig herausgestellt, abgeschlossene Projekte auszuwählen. Selbst bei abgeschlossenen Projekten ist es oft schwierig Wirkungsaussagen zu machen, da Wirkung erst langfristig eintritt.
Fortbestehende Projekte mit Kontaktpersonen
Es werden Projekte betrachtet, die in irgendeiner Form nach der NRP-Förderperiode weiterbestehen und zu denen Personen verfügbar sind, die befragt werden können. Dabei muss die Projektträgerschaft nicht mehr dieselbe sein. Es hat sich in diesem Zusammenhang als wertvoll erwiesen, wenn die befragten Personen bereits von Anfang an am Projekt beteiligt waren. 
Konkrete Umsetzungsvorhaben und ausreichend Substanz
Zur Durchführung der Wirkungsmessungen benötigt es konkrete Projektresultate, die potenziell Wirkung entfalten können. Es wird somit auf Vorhaben fokussiert, die über das Konzeptstadium hinaus gehen und bei welchen konkrete Massnahmen im Terrain umgesetzt werden. Machbarkeitsstudien oder Grundlagenarbeiten, die erst in einem weiteren Konkretisierungsschritt Wirkung erzielen, stehen somit nicht im Fokus.
Abdeckung der verschiedenen Förderschwerpunkte und Förderinhalte
Bei der Projektauswahl wird darauf geachtet, dass die Projekte die beiden Förderschwerkpunkte «Tourismus» und «Industrie» respektive Regionale Innovationssysteme (RIS) abdecken. Zu den RIS fanden bereits separate, grössere Evaluationen und Audits statt, weshalb die Wirkungsmessungen auf die Bereiche Tourismus und Industrie fokussieren. Auch werden die «NRP-Pilotmassnahmen für die Berggebiete», die seit 2020 bestehen, nicht im Rahmen der Wirkungsmessungen betrachtet. Bei den Förderinhalten wird darauf geachtet, dass den verschiedenen förderwürdigen Tätigkeiten und Prozessen Rechnung getragen wird. 
Abdeckung der Landesteile
Es werden immer sowohl Projekte aus der Deutsch- wie auch aus der lateinischen Schweiz ausgewählt. Zudem wird darauf geachtet, dass die Projekte aus unterschiedlichen Kantonen stammen. Dabei liegt es in der Natur der Sache, dass häufiger Projekte aus den grossen Gebirgskantonen wie Graubünden, Wallis oder Bern berücksichtigt werden.
Einverständnis der Kantone
Das SECO geht mit den Projektvorschlägen auf die Kantone zu und holt deren Einverständnis ein. Es kann vorkommen, dass die Kantone von einem Projekt abraten, da es zum Beispiel zu Verzögerungen in der Projektumsetzung kam. In diesem Fall wird zusammen mit dem Kanton nach einer Projektalternative gesu


Tendenz zu «guten» Projekten

Die oben beschriebenen Kriterien bergen das Risiko, dass in der Tendenz erfolgreiche Projekte betrachtet werden und es so zu einer möglichen Verzerrung der Ergebnisse kommt. Regiosuisse ist sich dessen bewusst, und spricht auch bei diesen vermeintlich positiven Projekten in allen Gesprächen Herausforderungen, Verbesserungspotenziale und Lessons-Learned an. 

Dies bedeutet gleichzeitig auch, dass die Wirkungsmessungen anhand ausgewählter Projekte keinen repräsentativen Überblick zur Gesamtwirkung der NRP geben. Sie können aber qualitative Wirkungen und Erfolgsfaktoren aufzeigen. Sie können darstellen, welche Vielfalt an Angeboten dank der NRP entstand, von wem diese genutzt werden und was die Projekte in den Regionen auslösen. Mit jeder zusätzlichen Wirkungsmessung verfestigen und vervollständigen sich die Erkenntnisse und die Aussagekraft wird erhöht. 
 

Die Vorbereitung und Durchführung

Unterlagen studieren 

Die Wirkungsmessungen stützen sich einerseits auf zur Verfügung stehende Unterlagen und andererseits auf Gespräche mit dem Projektträger und der zuständigen kantonalen NRP- oder Interreg-Fachstelle. 
Bei den Unterlagen ist vor allem der Projektantrag zentral. Aus diesem wird ersichtlich, welche Ziele mit dem Projekt erreicht werden sollen und über welche Angebote oder Dienstleistungen der Projektträger diese realisieren möchte.

Weiter werden je nach Verfügbarkeit folgende Unterlagen mitberücksichtigt.

  • Abschlussberichte zum NRP-Projekt
  • Business-Pläne
  • Organigramme
  • Allfällige Jahresberichte
  • Von den Projektträgern selbst erhobenen Kennzahlen zu den Angeboten oder den Wirkungen. 
  • Verschiedene weitere Unterlagen wie Massnahmenbeschriebe, Medienberichte, Revisionsberichte, Nachhaltigkeitsbeurteilungen, etc. 


Gespräche mit Projektträgern und kantonalen NRP- oder Interreg Fachstellen vorbereiten und durchführen

  • Im Zentrum der Wirkungsmessungen stehen die Gespräche mit den Projektträgern und den kantonalen NRP-Fachstellen. Dazu wird ein generischer Gesprächsleitfaden auf das spezifische Projekt angepasst und mit Fragen, die sich aus dem Dokumentenstudium ergeben haben, ergänzt. 
  • Es hat sich bewährt, sowohl die Sichtweise des Projektträgers als auch jene der kantonalen NRP- oder Interreg Fachstelle einzubeziehen. Bei den Fachstellen stehen übergeordnete Fragen zur Einbettung des Projekts in kantonale oder regionale Strategien, die übergeordnete Bedeutung des Projekts sowie Überlegungen zur Finanzierung, zum Projektablauf oder zur Projektträgerschaft im Vordergrund. 
  • Mit den Projektträgern diskutiert regiosuisse die Wirkungskette von den eingesetzten personellen und finanziellen Ressourcen, der Projektorganisation, über die erstellten Angebote bis hin zur Wirkung auf die Zielgruppen und weitere Effekte auf die Regionen. Die Erkenntnisse der Projektträger haben einen wichtigen Stellenwert. 
     

Das Erstellen des Kurzberichts

Auf Basis sämtlicher erhobener Informationen redigiert regiosuisse einen rund 5-10-seitigen Kurzbericht. Die Kurzberichte sind immer gleich strukturiert und folgend der Logik der Wirkungskette. 

Quelle: regiosuisse


Im Folgenden sind einige Hauptfragestellungen aufgelistet, auf die die Kurzberichte Antwort geben:

Konzept/Input
Wie war die Projektträgerschaft zusammengesetzt? Welche Akteure wurden einbezogen? Wie erfolgte die Projektsteuerung? Welche personellen und finanziellen Mittel standen zur Verfügung? Welche Rolle spielten die NRP respektive Interreg-Mittel für das Zustandekommen des Projekts. 
Output
Welche Angebote oder Dienstleistungen wurden erstellt? Welche Zielgruppen wurden damit angesprochen? Haben die Zielgruppen die Leistungen effektiv genutzt?  Mussten im Projektverlauf Anpassungen bei den Angeboten oder Dienstleistungen vorgenommen werden? Konnte das Projekt zeitgerecht umgesetzt werden? Wurden die Angebote nach der Förderperiode weitergeführt?
Outcome
Welche Wirkung wurde bei den Zielgruppen erreicht? Kam es zu unerwarteten oder auch negativen Wirkungen? Konnten angestrebte Ziele nicht erreicht werden? Weshalb nicht?
Impact
Welche Effekte sind auf regionaler Ebene feststellbar? Konnten durch das Projekt Investitionen ausgelöst werden? Arbeitsplätze geschaffen oder erhalten, Umsätze stabilisiert oder ausgebaut werden? Konnte die regionale Wirtschaft vom Projekt profitieren?


Die Qualitätskontrolle und Bewertung

Nach der Redaktion des Kurzberichts erfolgen verschieden Qualitätskontrollen, bei denen sowohl die Projektträger, die kantonalen NRP- oder Interreg Fachstellen, das SECO als auch regiosuisse beteiligt sind.  

  • Gegenlesen durch die Gesprächspartner: Die Gesprächspartner – die Projektträger und die zuständige Fachstelle – erhalten den Bericht zum Gegenlesen. Allfällige faktische Ungenauigkeiten können so noch geklärt werden. Die Beurteilung ist jedoch Sache von regiosuisse.
  • Berichtsdurchsicht und Bewertung durch das SECO: Das SECO erhält den Bericht zur Konsultation und erstellt auf dessen Basis eine Bewertungsfiche. Die Bewertung erfolgt seit 2018 standardmässig anhand der vier internationalen Evaluationskriterien Relevanz, Effektivität, Effizienz und Beständigkeit.
  • Plausibilisierung durch regiosuisse: Regiosuisse prüft die Bewertungsfiche des SECO im Sinne eines Vier-Augen-Prinzips. Allenfalls abweichende Einschätzungen werden diskutiert und die Bewertungsfichen anschliessend finalisiert.

Quelle: regiosuisse
 

Die Publikation und Synthese

Sämtliche Kurzberichte werden auf der Website von regiosuisse publiziert (siehe unten). regiosuisse arbeitet themenspezifisch die wichtigsten Erkenntnisse in Form von digitalen Stories auf. Es sind bereits Stories zu den Themen ArbeitsplatzeffekteRisiken und Nachhaltige Entwicklung sowie zu den Förderschwerpunkten Tourismus und Industrie erschienen. Die Erkenntnisse zu den vier Bewertungsdimensionen wurden über alle Projekte aggregiert und in der Story Projekteinschätzungen publiziert. 



Kurzberichte der regiosuisse Wirkungsmessungen

 

Artikel teilen