Il s’agit de fournir des prestations concrètes, de mettre en œuvre des projets, et ce, toujours en se concentrant sur les effets attendus et espérés. Le travail orienté vers l’efficacité est une approche intellectuelle et comportementale spécifique. Sont en outre subsumés sous ce terme des instruments concrets permettant de piloter et de surveiller régulièrement son propre projet, depuis son lancement jusqu'à son évaluation et sa pérennisation. L’orientation vers l’efficacité simplifie enfin la communication des résultats et des conclusions du projet et légitime ce dernier vis-à-vis des politiciens et des bailleurs de fonds.
Au niveau des programmes
Depuis 2016, la Confédération et les cantons sont tenus d'utiliser des modèles d'efficacité dans la NPR. Les expériences faites lors des périodes de financement précédentes ont été utilisées pour renforcer le travail orienté vers l’efficacité dans la période actuelle (2024-2031) et pour simplifier son application.
Au niveau des projets
Au niveau des projets NPR, il est recommandé de travailler en se concentrant sur l’efficacité, en élaborant le cas échéant un modèle spécifique comportant des mesures et des indicateurs appropriés, car tous les cantons exigent des objectifs d'impact correspondants lors du dépôt d'une demande de projet NPR.
Depuis 2012, regiosuisse a réalisé plus de 50 mesures d'efficacité de projets NPR et Interreg. Les différents rapports ainsi qu'un résumé thématique des résultats sous forme de «stories» sont disponibles sur la page consacrée à la mesure de l’efficacité.
Nous recommandons aux responsables de programmes, aux porteurs de projets et aux autres acteurs concernés de suivre les cinq étapes suivantes:
-
Etape 1: Définir les objectifs du programme et/ou du projet
Cette étape devrait idéalement coïncider avec la phase de planification d'un programme ou d'un projet. Le travail orienté vers l’efficacité n'est possible que si l'on sait ce que le projet ou le programme doit apporter. Il faut pour ce faire connaître les objectifs (politiques) généraux, qui sont généralement déjà fixés, et les expliciter, puis, à partir de là, définir des objectifs spécifiques (opérationnels) pour le programme et le projet. Cela signifie concrètement que les objectifs visés doivent être dérivés des objectifs du programme ou y contribuer, et que ces derniers doivent être dérivés des objectifs politiques généraux de la NPR et des stratégies de développement économique. Les programmes NPR devraient définir idéalement au maximum trois ou quatre objectifs tirés des objectifs politiques généraux; il convient en effet de définir un modèle d’efficacité pour chaque objectif ainsi défini.
-
Etape 2: Elaborer un modèle d’efficacité
Cette étape devrait également s’inscrire dans la phase de planification d'un programme ou d'un projet. Cela étant, dans la réalité, elle n'intervient malheureusement souvent qu'au cours de la phase de mise en œuvre, voire de la phase d'évaluation elle-même. L’élaboration du modèle d’efficacité devrait se faire dans la mesure du possible en collaboration avec tous les acteurs concernés.
-
Etape 3: Planifier l’évaluation
Lors de la planification de l'évaluation, il convient d’en déterminer l'objet et le moment, ainsi que les niveaux de comparaison, les méthodes de collecte des données et les aspects organisationnels. Il faut également clarifier s’il convient d’intégrer des questions qui concernent des niveaux supérieurs.
Objectifs
- Quel objectif l’évaluation poursuit-elle et pour qui est-elle réalisée?
- A quelles fins les résultats de l’évaluation sont-ils utilisés?
Objet de la mesure
Qu’est-ce qui doit être mesuré? Le projet NPR dans sa totalité ou seulement une partie de celui-ci?
- Quelle période doit être prise en compte? Toute la période depuis le début ou seulement une certaine partie?
- Quel niveau du modèle d’efficacité doit être mesuré? (cette question dépend de l’objectif de l’évaluation)
Moment
Quand l’évaluation doit-elle être réalisée? (le moment dépend de l’objet à mesurer)
- Evaluation du concept: vérification de la planification (concept) et estimation des conséquences (souvent ex ante)
- Evaluation de l’exécution: vérification de la mise en oeuvre (input/exécution) ainsi que recherche des possibilités d’optimisation (en parallèle)
- Evaluation de la performance: détermination de la qualité et de la quantité des prestations fournies (output) ainsi que des effets (outcome) (souvent ex post)
- A quelle fréquence faut-il procéder à une évaluation?
Niveaux de comparaison
Quels niveaux doivent être comparés?
- Comparaison état visé/état actuel (évaluation par rapport aux objectifs)
- Comparaison transversale (évaluation par rapport à des éléments similaires ou identiques, p. ex. pour des comparaisons suprarégionales)
- Comparaison longitudinale (évaluation avant/après)
Méthode de collecte
Quelle(s) méthode(s) de collecte sont appropriées?
- Pour des données qualitatives, p. ex. interviews, analyses de contenus
- Pour des données quantitatives, p. ex. analyses statistiques, sondages
Aspects organisationnels
- Sous quelle forme les résultats de l’évaluation sont-ils mis à disposition et comment sont-ils utilisés pour l’optimisation des projets et des programmes?
- Qui réalise l’évaluation?
-
Etape 4: Récolter les données
On formulera au cours de cette étape les questions relatives à l'évaluation et on collectera les données nécessaires.
Par exemple:
- Les objectifs sont-ils formulés clairement et sans ambiguïté?
- Le rapport entre les objectifs et les moyens mis en oeuvre est-il approprié?
- Les structures sont-elles claires et pertinentes?
- Existe-t-il des instruments de gestion?
- Quels sont les coûts de production (efficience)?
- Les groupes cibles sont-ils atteints?
- Quel est le degré d’acceptation et de satisfaction du groupe cible?
- Quel est l’impact? Y a-t-il des effets (efficacité)?
- Les effets sont-ils observables chez les personnes concernées?
- etc.
Méthodes de collecte: la collecte des données destinée à l'évaluation des programmes devrait se faire sur la base des évaluations des projets eux-mêmes (niveau outcome). Les résultats agrégés ainsi obtenus représentent les résultats du programme au niveau des effets finaux. Une telle procédure doit être convenue au préalable avec toutes les parties prenantes et les mandats correspondants attribués en conséquence.
-
Etape 5: Analyser les données et exploiter les résultats
Une fois les données collectées, on les groupera avant de les analyser et de les communiquer sous une forme appropriée. L'analyse peut faire l’objet d’un rapport spécifique. Selon l'objectif de l'évaluation défini au départ, il peut également s’avérer utile d’organiser une présentation ou une discussion de groupe. S’il s’agit d’une évaluation d'impact, l'analyse portera principalement sur les effets observés ou non auprès des groupes cibles et des personnes concernées, ainsi que sur les raisons de ces effets et leur attribution au programme ou au projet. Les résultats de l'évaluation sont utilisés pour étoffer les connaissances au sein de l'organisation ou de la région, pour optimiser les programmes et projets en cours ou futurs ainsi que pour les légitimer auprès des bailleurs de fonds et des groupes cibles.
Il convient ici de tenir compte des points suivants:
- Qualité des données: Les données disponibles doivent être examinées d'un œil critique. Sont-elles basées sur des mesures ou des prévisions? S'agit-il d'estimations réalistes ou simplement de potentiels? Qui les a collectées et comment?
- Classification des effets: Les effets observés doivent être évalués avec prudence. Qu'est-ce qui est imputable au programme ou au projet NPR, qu'est-ce qui est imputable à d'autres facteurs externes? Il convient également d’accepter l'absence de preuves de causalité ou les lacunes dans l'attribution (en particulier au niveau de l'impact).
