Die Plattform für Regionalentwicklung in der Schweiz

Das Wichtigste in Kürze
  • Das SECO erstellt auf Basis der regiosuisse Wirkungsmessungen eine Einschätzung entlang der vier Evaluationsdimensionen Relevanz, Effektivität, Effizienz und Beständigkeit. Diese erfolgt nach einer einheitlichen Methode über einen längeren Zeitraum. So entsteht über die Zeit ein Bild davon, was NRP-Projekte bewirken können.
  • Das Gesamtbild fällt sehr positiv aus. Die Gesamteinschätzung ist für 87% der Projekte «sehr befriedigend» oder «befriedigend». Besonders die Relevanz der Projekte, also die Frage, ob das Richtige getan wird, schneidet sehr gut ab.  
  • Angesichts von insgesamt 3714 NRP-Projekten decken die 45 betrachteten Projekte nur einen kleinen Teil der NRP-Aktivitäten ab und sind daher nicht repräsentativ. Auch ist mit gewissen Verzerrungen zu rechnen, da für die Wirkungsmessungen tendenziell «gute» Projekte ausgewählt werden.
  • Trotz dieser Einschränkungen zur Aussagekraft bringen die Einschätzungen einen Mehrwert zur qualitativen Beurteilung. Sie liefern unter anderem Hinweise, in welchen Dimensionen noch Optimierungspotenzial besteht.

Projekteinschätzungen anhand von 4 Evaluationsdimensionen

Wirkungsmessungen als Grundlage

Die Projekte werden nach einer einheitlichen Methode über einen längeren Zeitraum hinsichtlich der vier Evaluationsdimensionen Relevanz, Effektivität, Effizienz und Beständigkeit eingeschätzt. So entsteht über die Zeit ein Bild davon, was NRP-Projekte bewirken können. Die Grundlage dazu bilden die von regiosuisse durchgeführten Wirkungsmessungen. Zu jedem Projekt wird anhand eines einheitlichen Vorgehens die Wirkung erhoben und eine identisch strukturierte Zusammenfassung erstellt. Diese Standardisierung ist eine wichtige Grundlage für die anschliessende Einschätzung.
 

Einheitliche Skala

Die eigentliche Einschätzung erfolgt durch das SECO auf Basis der Wirkungsmessungen. Das SECO nimmt die betreffenden Textstellen aus den Kurzberichten und ordnet die Projekte auf einer einheitlichen Vierer-Skala mit den Kategorein «sehr befriedigend», «befriedigend», «unbefriedigend», «sehr unbefriedigend» ein. Dadurch entsteht eine einheitliche Einschätzung über sämtliche untersuchten Projekte, die am Schluss zu einem Gesamtbild aggregiert werden kann.
 

Die vier Evaluationsdimensionen

Die Einschätzung wird anhand der vier Dimensionen: Relevanz, Effektivität, Effizienz und Beständigkeit vorgenommen. Für jede Dimension werden standardisierte Leitfragen festgelegt. Bei der Definition der Leittragen sind die Wirkungsmodelle aus dem Evaluationsprogramm für das Mehrjahresprogramm 2016-2023 zur Umsetzung der NRP berücksichtigt worden.

Quelle: regiosuisse
 

Positiver Erfolgsausweis

Das Gesamtbild

Insgesamt fällt das Gesamtbild zu den NRP- und Interreg-Projekten sehr positiv aus. Die Gesamteinschätzung ist für 87% der Projekte «sehr befriedigend» oder «befriedigend». Nur gerade 6 Projekte (13%) wurden als insgesamt «unbefriedigend» eingestuft. Nie vergeben wurde die Note «sehr unbefriedigend». Die Auswertung basiert auf 45 Projekten, für die in den Jahren 2012 und 2017-2023 Wirkungsmessungen durchgeführt wurden. Insgesamt wurden 50 Wirkungsmessungen durchgeführt, wovon fünf Projekte zweimal (in den Jahren 2012 und 2017) beurteilt wurden. Für diese Projekte wurde nur die aktuellere Version einbezogen. Die Fallzahl von 45 Projekten ist tief und daher hat eine einzelne Studie einen grossen Einfluss auf die ausgewiesenen Prozentzahlen. Diese sind daher als Grössenordnungen zu verstehen. 

Anzahl Projekte N = 45
Quelle: regiosuisse 

 

Das Bild bei den einzelnen Evaluationsdimensionen

Zwischen den vier Dimensionen zeigen sich Unterschiede in der Einschätzung:

Relevanz
Fast zwei Drittel der Projekte erhält bei der Relevanz Bestnoten. Dies bedeutet, dass die NRP-Projekte die Bedürfnisse der Regionen sehr gut abdecken, eine Koordination mit den relevanten Akteuren stattfindet und die Projekte konsistent mit den NRP-Zielen sind. Als besonders relevant werden diejenigen Projekte eingeschätzt, die von regionalen Zusammenschlüssen getragen werden und die verschiedenen Stakeholder in die Projektentwicklung miteinbezogen haben. Die Relevanz-Dimension schneidet von allen vier Dimensionen am besten ab.
Effektivität
Etwas schlechter, aber immer noch gut scheiden die übrigen Evaluationsdimensionen ab. Bei der Effektivität werden rund 24% der Projekte als sehr befriedigend beurteilt. 11% der Projekte werden als unbefriedigend eingeschätzt. Ein Grund dafür ist, dass die ursprünglich geplanten Produkte/Dienstleistungen (Output) nicht erstellt werden konnten. Dies liegt zum Teil auch an unzureichenden Vorabklärungen zu den gesetzlichen Rahmenbedingungen, den Raumplanungsvorschriften oder zu den Bedürfnissen der Zielgruppen. Zudem hat sich gezeigt, dass Projekte, die noch während der Laufzeit beurteilt wurden, in dieser Dimension nie Bestnoten erhielten. Dies kann dadurch erklärt werden, dass ein laufendes Projekt kaum bereits alle Projektziele erreicht hat und es unsicher ist, ob dies schlussendlich gelingt. 
Effizienz
Bei der Effizienz sieht die Einschätzung sehr ähnlich aus wie für die Effektivität. Die grosse Mehrheit der Projekte erreicht ein gutes Kosten-Nutzenverhältnis und die Umsetzung der Projekte wurde als effizient eingestuft. Fast alle Projekte mit einer Bestnote bei der Effizienz verdanken diese einem hohen Anteil an Eigenleistungen und Engagement des Projektträgers/der Projektträgerin. Die Eigenleistungen dürften höher sein, wenn die Projektträger direkt von den Wirkungen der Projekte profitieren (etwa durch zusätzlichen Umsatz).  Bei wenigen Projekten kam es zu, meist auf externe Faktoren zurückzuführende Verzögerungen oder war die Projektorganisation respektive Projektsteuerung nicht optimal.
Beständigkeit
Die Beständigkeit schneidet von den vier betrachteten Grössen am schlechtesten ab. Nicht bei allen Projekten gelingt es, diese nach der NRP-Förderung finanziell selbsttragend weiterzuführen. Vor allem wenn es sich um Projekte zur Netzwerkpflege sowie Projekte des Wissens- und Technologietransfers handelt. Besser funktioniert es, wenn ein klares Produkt oder eine Dienstleistung resultiert, die vermarktet werden kann. Je weniger fassbar der Nutzen für die Zielgruppen ist, desto schwieriger ist es, diese für Projektbeiträge zu motivieren. Insofern ist es fraglich, ob alle NRP-Projekte das Potenzial haben, selbsttragend zu sein. 


Die Aussagekraft 

Angesichts von insgesamt 3714 NRP-Projekten decken die Wirkungsstudien und darauf basierenden Einschätzungen nur einen kleinen Teil der NRP- und Interreg- Aktivitäten ab. Sie stellen daher kein repräsentatives Bild dar. Dazu wären deutlich mehr Erhebungen und noch systematischere Kriterien zur Projektauswahl notwendig. Mit jeder zusätzlich durchgeführten Wirkungsmessung vervollständigt sich das Bild und gewinnt an Aussagekraft. 

Für die Wirkungsmessungen werden eher «gute» Projekte ausgewählt. Dies führt zu einer Verzerrung, die sich tendenziell in zu positiven Einschätzungen niederschlägt. Das Fazit dürfte aber auch bei einer zufälligeren Projektauswahl immer noch positiv ausfallen, wenn auch weniger stark. 

Trotz diesen Einschränkungen in der Aussagekraft bringen die Einschätzungen einen Mehrwert zur qualitativen Beurteilung. Und sie liefern Hinweise, in welchen Dimensionen noch Optimierungspotenzial besteht und welche Erfolgsfaktoren wichtig sind. Diese Erkenntnisse können wiederum für die Entwicklung neuer wirkungsvoller Projekte genutzt werden.

 

Artikel teilen