- Das SECO erstellt auf Basis der regiosuisse Wirkungsmessungen eine Einschätzung entlang der vier Evaluationsdimensionen Relevanz, Effektivität, Effizienz und Beständigkeit. Diese erfolgt nach einer einheitlichen Methode über einen längeren Zeitraum. So entsteht über die Zeit ein Bild davon, was NRP-Projekte bewirken können.
- Das Gesamtbild fällt sehr positiv aus. Die Gesamteinschätzung ist für 87% der Projekte «sehr befriedigend» oder «befriedigend». Besonders die Relevanz der Projekte, also die Frage, ob das Richtige getan wird, schneidet sehr gut ab.
- Angesichts von insgesamt 3714 NRP-Projekten decken die 45 betrachteten Projekte nur einen kleinen Teil der NRP-Aktivitäten ab und sind daher nicht repräsentativ. Auch ist mit gewissen Verzerrungen zu rechnen, da für die Wirkungsmessungen tendenziell «gute» Projekte ausgewählt werden.
- Trotz dieser Einschränkungen zur Aussagekraft bringen die Einschätzungen einen Mehrwert zur qualitativen Beurteilung. Sie liefern unter anderem Hinweise, in welchen Dimensionen noch Optimierungspotenzial besteht.
Projekteinschätzungen anhand von 4 Evaluationsdimensionen
Wirkungsmessungen als Grundlage
Die Projekte werden nach einer einheitlichen Methode über einen längeren Zeitraum hinsichtlich der vier Evaluationsdimensionen Relevanz, Effektivität, Effizienz und Beständigkeit eingeschätzt. So entsteht über die Zeit ein Bild davon, was NRP-Projekte bewirken können. Die Grundlage dazu bilden die von regiosuisse durchgeführten Wirkungsmessungen. Zu jedem Projekt wird anhand eines einheitlichen Vorgehens die Wirkung erhoben und eine identisch strukturierte Zusammenfassung erstellt. Diese Standardisierung ist eine wichtige Grundlage für die anschliessende Einschätzung.
Einheitliche Skala
Die eigentliche Einschätzung erfolgt durch das SECO auf Basis der Wirkungsmessungen. Das SECO nimmt die betreffenden Textstellen aus den Kurzberichten und ordnet die Projekte auf einer einheitlichen Vierer-Skala mit den Kategorein «sehr befriedigend», «befriedigend», «unbefriedigend», «sehr unbefriedigend» ein. Dadurch entsteht eine einheitliche Einschätzung über sämtliche untersuchten Projekte, die am Schluss zu einem Gesamtbild aggregiert werden kann.
Die vier Evaluationsdimensionen
Die Einschätzung wird anhand der vier Dimensionen: Relevanz, Effektivität, Effizienz und Beständigkeit vorgenommen. Für jede Dimension werden standardisierte Leitfragen festgelegt. Bei der Definition der Leittragen sind die Wirkungsmodelle aus dem Evaluationsprogramm für das Mehrjahresprogramm 2016-2023 zur Umsetzung der NRP berücksichtigt worden.
Quelle: regiosuisse
Positiver Erfolgsausweis
Das Gesamtbild
Insgesamt fällt das Gesamtbild zu den NRP- und Interreg-Projekten sehr positiv aus. Die Gesamteinschätzung ist für 87% der Projekte «sehr befriedigend» oder «befriedigend». Nur gerade 6 Projekte (13%) wurden als insgesamt «unbefriedigend» eingestuft. Nie vergeben wurde die Note «sehr unbefriedigend». Die Auswertung basiert auf 45 Projekten, für die in den Jahren 2012 und 2017-2023 Wirkungsmessungen durchgeführt wurden. Insgesamt wurden 50 Wirkungsmessungen durchgeführt, wovon fünf Projekte zweimal (in den Jahren 2012 und 2017) beurteilt wurden. Für diese Projekte wurde nur die aktuellere Version einbezogen. Die Fallzahl von 45 Projekten ist tief und daher hat eine einzelne Studie einen grossen Einfluss auf die ausgewiesenen Prozentzahlen. Diese sind daher als Grössenordnungen zu verstehen.
Anzahl Projekte N = 45
Quelle: regiosuisse
Das Bild bei den einzelnen Evaluationsdimensionen
Zwischen den vier Dimensionen zeigen sich Unterschiede in der Einschätzung:
Die Aussagekraft
Angesichts von insgesamt 3714 NRP-Projekten decken die Wirkungsstudien und darauf basierenden Einschätzungen nur einen kleinen Teil der NRP- und Interreg- Aktivitäten ab. Sie stellen daher kein repräsentatives Bild dar. Dazu wären deutlich mehr Erhebungen und noch systematischere Kriterien zur Projektauswahl notwendig. Mit jeder zusätzlich durchgeführten Wirkungsmessung vervollständigt sich das Bild und gewinnt an Aussagekraft.
Für die Wirkungsmessungen werden eher «gute» Projekte ausgewählt. Dies führt zu einer Verzerrung, die sich tendenziell in zu positiven Einschätzungen niederschlägt. Das Fazit dürfte aber auch bei einer zufälligeren Projektauswahl immer noch positiv ausfallen, wenn auch weniger stark.
Trotz diesen Einschränkungen in der Aussagekraft bringen die Einschätzungen einen Mehrwert zur qualitativen Beurteilung. Und sie liefern Hinweise, in welchen Dimensionen noch Optimierungspotenzial besteht und welche Erfolgsfaktoren wichtig sind. Diese Erkenntnisse können wiederum für die Entwicklung neuer wirkungsvoller Projekte genutzt werden.