Die Plattform für Regionalentwicklung in der Schweiz

Das Wichtigste in Kürze
  • Das SECO erstellt auf Basis der regiosuisse Wirkungsmessungen eine Einschätzung entlang der vier Evaluationsdimensionen Relevanz, Effektivität, Effizienz und Beständigkeit. Diese erfolgt nach einer einheitlichen Methode über einen längeren Zeitraum. So entsteht über die Zeit ein Bild davon, was NRP Projekte bewirken können.
  • Das Gesamtbild fällt sehr positiv aus. Die Gesamteinschätzung ist für 88% der Projekte «sehr befriedigend» oder «befriedigend». Besonders die Relevanz der Projekte, also die Frage, ob das Richtige getan wird, schneidet sehr gut ab.  
  • Angesichts von insgesamt ca. 2600 NRP-Projekten decken die 40 betrachteten Projekte nur einen kleinen Teil der NRP-Aktivitäten ab und sind daher nicht repräsentativ. Auch ist mit gewissen Verzerrungen zu rechnen, da für die Wirkungsmessungen tendenziell «gute» Projekte ausgewählt werden.
  • Trotz dieser Einschränkungen zur Aussagekraft bringen die Einschätzungen einen Mehrwert zur qualitativen Beurteilung. Sie liefern unter anderem Hinweise, in welchen Dimensionen noch Optimierungspotenzial besteht.

Projekteinschätzungen anhand von 4 Evaluationsdimensionen

Wirkungsmessungen als Grundlage

Die Projekte werden nach einer einheitlichen Methode über einen längeren Zeitraum hinsichtlich der vier Evaluationsdimensionen Relevanz, Effektivität, Effizienz und Beständigkeit eingeschätzt. So entsteht über die Zeit ein Bild davon, was NRP Projekte bewirken können. Die Grundlage dazu bilden die von regiosuisse durchgeführten Wirkungsmessungen. Zu jedem Projekt wird anhand eines einheitlichen Vorgehens die Wirkung erhoben und eine identisch strukturierte Zusammenfassung erstellt. Diese Standardisierung ist eine wichtige Grundlage für die anschliessende Einschätzung.
 

Einheitliche Skala

Die eigentliche Einschätzung erfolgt durch das SECO auf Basis der Wirkungsmessungen. Das SECO nimmt die betreffenden Textstellen aus den Kurzberichten und ordnet die Projekte auf einer einheitlichen Vierer-Skala mit den Kategorein «sehr befriedigend», «befriedigend», «unbefriedigend», «sehr unbefriedigend» ein. Dadurch entsteht eine einheitliche Einschätzung über sämtliche untersuchten Projekte, die am Schluss zu einem Gesamtbild aggregiert werden kann.
 

Die vier Evaluationsdimensionen

Die Einschätzung wird anhand der vier Dimensionen: Relevanz, Effektivität, Effizienz und Beständigkeit vorgenommen. Für jede Dimension werden standardisierte Leitfragen festgelegt. Bei der Definition der Leittragen sind die Wirkungsmodelle aus dem Evaluationsprogramm für das Mehrjahresprogramm 2016-2023 zur Umsetzung der NRP berücksichtigt worden.

Quelle: regiosuisse
 

 

Positiver Erfolgsausweis

Das Gesamtbild

Insgesamt fällt das Gesamtbild zu den NRP- und Interreg-Projekten sehr positiv aus. Die Gesamteinschätzung ist für 88% der Projekte «sehr befriedigend» oder «befriedigend». Nur gerade 5 Projekte (13%) wurden als insgesamt «unbefriedigend» eingestuft. Nie vergeben wurde die Note «sehr unbefriedigend». Die Auswertung basiert auf 40 Projekten, für die in den Jahren 2012 und 2017-2022 Wirkungsmessungen durchgeführt wurden. Insgesamt wurden 45 Wirkungsmessungen durchgeführt, wovon fünf Projekte zweimal (in den Jahren 2012 und 2017) beurteilt wurden. Für diese Projekte wurde nur die aktuellere Version einbezogen. Die Fallzahl von 40 Projekten ist tief und daher hat eine einzelne Studie einen grossen Einfluss auf die ausgewiesenen Prozentzahlen. Diese sind daher als Grössenordnungen zu verstehen. 

 

Anzahl Projekte N = 40
Quelle: regiosuisse 

 

Das Bild bei den einzelnen Evaluationsdimensionen

Zwischen den vier Dimensionen zeigen sich Unterschiede in der Einschätzung:

Relevanz
Über die Hälfte der Projekte erhält bei der Relevanz Bestnoten. Dies bedeutet, dass die NRP-Projekte die Bedürfnisse der Regionen sehr gut abdecken, eine Koordination mit den relevanten Akteuren stattfindet und die Projekte konsistent mit den NRP-Zielen sind. Als besonders relevant werden diejenigen Projekte eingeschätzt, die von regionalen Zusammenschlüssen getragen werden und die verschiedenen Stakeholder in die Projektentwicklung miteinbezogen haben. Die Relevanz-Dimension schneidet von allen vier Dimensionen am besten ab.
Effektivität
Etwas schlechter, aber immer noch gut scheiden die übrigen Evaluationsdimensionen ab. Bei der Effektivität werden rund 25% der Projekte als sehr befriedigend beurteilt. 13% der Projekte werden als unbefriedigend eingeschätzt. Ein Grund dafür ist, dass die ursprünglich geplanten Produkte/Dienstleistungen (Output) nicht erstellt werden konnten. Dies liegt zum Teil auch an unzureichenden Vorabklärungen zu den gesetzlichen Rahmenbedingungen, den Raumplanungsvorschriften oder zu den Bedürfnissen der Zielgruppen. Zudem hat sich gezeigt, dass Projekte, die noch während der Laufzeit beurteilt wurden, in dieser Dimension nie Bestnoten erhielten. Dies kann dadurch erklärt werden, dass ein laufendes Projekt kaum bereits alle Projektziele erreicht hat und es unsicher ist, ob dies schlussendlich gelingt. 
Effizienz
Bei der Effizienz sieht die Einschätzung sehr ähnlich aus wie für die Effektivität. Die grosse Mehrheit der Projekte erreicht ein gutes Kosten-Nutzenverhältnis und die Umsetzung der Projekte wurde als effizient eingestuft. Fast alle Projekte mit einer Bestnote bei der Effizienz verdanken diese einem hohen Anteil an Eigenleistungen und Engagement des Projektträgers/der Projektträgerin. Die Eigenleistungen dürften höher sein, wenn die Projektträger direkt von den Wirkungen der Projekte profitieren (etwa durch zusätzlichen Umsatz).  Bei wenigen Projekten kam es zu Verzögerungen. Meistens waren diese auf externe Faktoren zurückzuführen. 
Beständigkeit
Das Weiterbestehend der Projektresultate nach Projektabschluss ist schwer beurteilbar, wenn die Projekte noch nicht abgeschlossen sind. Bei der ersten Serie der Wirkungsmessungen im Jahr 2012 war ein Teil der Projekte noch nicht abgeschlossen und konnte die Beständigkeit nicht beurteilt werden. Positiv auf die Beständigkeit wirkt sich aus, wen der Projektträger gut organsiert ist und direkt von der Pflege und Weiterentwicklung der Produkte profitiert. Weniger beständig wurden Netzwerkarbeiten sowie Projekte des Wissens- und Technologietransfers eingestuft, wenn diese ohne Unterstützung durch die NRP nicht bestehen können. Damit diese Projekte nachhaltig sind, muss die Zielgruppe (Privatwirtschaft) für die Dienstleistungen höhere Beträge bezahlen. Dies ist nur realisierbar, wenn die Zielgruppe einen klaren Nutzen sieht.  


Die Aussagekraft 

Angesichts von insgesamt ca. 2600 NRP-Projekten decken die Wirkungsstudien und darauf basierenden Einschätzungen nur einen kleinen Teil der NRP- und Interreg- Aktivitäten ab. Sie stellen daher kein repräsentatives Bild dar. Dazu wären deutlich mehr Erhebungen und noch systematischere Kriterien zur Projektauswahl notwendig. Mit jeder zusätzlich durchgeführten Wirkungsmessung vervollständigt sich das Bild und gewinnt an Aussagekraft. 

Für die Wirkungsmessungen werden eher «gute» Projekte ausgewählt. Dies führt zu einer Verzerrung, die sich tendenziell in zu positiven Einschätzungen niederschlägt. Das Fazit dürfte aber auch bei einer zufälligeren Projektauswahl immer noch positiv ausfallen, wenn auch weniger stark. 

Trotz diesen Einschränkungen in der Aussagekraft bringen die Einschätzungen einen Mehrwert zur qualitativen Beurteilung. Und sie liefern Hinweise, in welchen Dimensionen noch Optimierungspotenzial besteht und welche Erfolgsfaktoren wichtig sind. Diese Erkenntnisse können wiederum für die Entwicklung neuer wirkungsvoller Projekte genutzt werden.

 

Artikel teilen