Pourquoi le moment de l’évaluation détermine sa portée

Évaluer une politique publique ne consiste pas seulement à mesurer ses résultats une fois le dispositif terminé. Le calendrier choisi influence directement les questions posées, les données disponibles et les décisions susceptibles d’être prises. Une évaluation réalisée avant le lancement aide à arbitrer entre plusieurs options. Une évaluation conduite pendant la mise en œuvre permet de corriger les difficultés observées. Une évaluation menée après le déploiement cherche à déterminer les effets produits et la pertinence des moyens mobilisés.

Ces trois temporalités sont généralement désignées par les expressions évaluation ex ante, évaluation in itinere et évaluation ex post. Elles ne s’excluent pas. Au contraire, une politique publique bien documentée peut être examinée à plusieurs moments, avec des objectifs différents.

Pour les dirigeants, les entrepreneurs, les salariés ou les personnes en recherche d’emploi, cette distinction présente un intérêt concret. Elle permet de mieux comprendre la façon dont sont conçus les dispositifs d’aide, de formation, d’insertion, de soutien à l’activité ou d’accompagnement économique. Elle aide aussi à interpréter avec prudence une annonce de résultats : un indicateur de réalisation n’est pas nécessairement une preuve d’impact.

Les trois temporalités de l’évaluation

Moment	Question principale	Décision éclairée	Limite fréquente
Ex ante	La politique envisagée répond-elle au problème identifié ?	Choisir, modifier ou abandonner une option avant son lancement	Les effets réels restent incertains
In itinere	La mise en œuvre se déroule-t-elle comme prévu ?	Corriger les modalités, les critères ou les moyens	Il est trop tôt pour conclure sur les effets durables
Ex post	Quels résultats et quels effets la politique a-t-elle produits ?	Maintenir, réorienter, étendre ou arrêter le dispositif	Les causes des résultats peuvent être difficiles à isoler

Cette présentation doit être complétée par une distinction essentielle entre suivi et évaluation. Le suivi consiste à observer régulièrement des données de gestion : nombre de bénéficiaires, dépenses engagées, délais de traitement ou taux de participation. L’évaluation va plus loin. Elle examine la logique de l’intervention, sa mise en œuvre, ses résultats, ses effets et, lorsque cela est possible, le lien entre la politique et les changements constatés.

Un tableau de bord peut donc révéler que le nombre de bénéficiaires est inférieur à l’objectif. Il ne permet pas, à lui seul, de savoir si le dispositif est mal ciblé, insuffisamment connu, trop complexe ou inadapté aux besoins.

L’évaluation ex ante pour sécuriser la décision initiale

L’évaluation ex ante intervient avant le lancement d’une politique ou avant une modification importante d’un dispositif existant. Son objectif n’est pas de prédire l’avenir avec certitude. Elle sert à comparer les options disponibles et à vérifier que la décision repose sur un diagnostic suffisamment solide.

Une démarche ex ante peut commencer par cinq questions :

1. Quel problème public est précisément identifié ?
2. Quelles populations ou quels territoires sont concernés ?
3. Quelles causes expliquent le problème, et lesquelles peuvent réellement être traitées ?
4. Quels instruments sont envisagés : aide financière, réglementation, service, formation, information ou accompagnement ?
5. Quels résultats seraient observables à court, moyen et long terme ?

Il faut ensuite formaliser la théorie du changement. Cette méthode décrit la chaîne logique entre les moyens engagés et les effets attendus. Par exemple, une action de formation peut mobiliser un budget et des intervenants, proposer des sessions à un public déterminé, améliorer certaines compétences, faciliter l’accès à l’emploi et produire, à terme, une évolution du parcours professionnel. Chaque étape doit être distinguée : les ressources ne sont pas les activités, les activités ne sont pas les résultats, et les résultats ne sont pas nécessairement les impacts.

L’ex ante peut également comparer plusieurs scénarios. Dans le cas d’un dispositif destiné à faciliter l’accès à l’emploi, il est possible d’examiner séparément une aide directe, un accompagnement renforcé et une action de formation. La comparaison doit intégrer les coûts, les conditions d’accès, les risques d’effets d’aubaine, la capacité opérationnelle des acteurs et les conséquences possibles pour les publics non éligibles.

Cette phase permet aussi de prévoir les indicateurs avant que les premières données ne soient produites. Un bon indicateur doit être relié à une question précise. Le nombre de dossiers déposés mesure une activité administrative. Il ne mesure pas l’amélioration de la situation des bénéficiaires. Pour apprécier celle-ci, il peut être nécessaire de suivre, selon l’objet de la politique, l’accès à un emploi, la pérennité de l’activité, l’évolution d’un revenu ou la réduction d’un obstacle identifié.

Les analyses ex ante peuvent s’appuyer sur des études d’impact, des simulations, des comparaisons avec des politiques similaires et une consultation des parties prenantes. Elles doivent présenter leurs hypothèses et leurs incertitudes. Une estimation n’a pas la même valeur qu’un résultat observé.

L’évaluation in itinere pour corriger la mise en œuvre

L’évaluation in itinere, aussi appelée évaluation à mi-parcours dans certains contextes, intervient pendant la mise en œuvre. Elle est particulièrement utile lorsque le dispositif est nouveau, expérimental, complexe ou déployé progressivement.

Elle ne cherche pas d’abord à répondre à la question : « La politique a-t-elle produit son impact final ? » Elle examine plutôt les conditions concrètes de fonctionnement :

• les publics visés accèdent-ils réellement au dispositif ?
• les critères d’éligibilité sont-ils compris et applicables ?
• les délais de réponse sont-ils compatibles avec les besoins ?
• les moyens humains et budgétaires sont-ils suffisants ?
• les partenaires disposent-ils des informations nécessaires ?
• les bénéficiaires rencontrent-ils des obstacles non prévus ?

Cette approche combine souvent des données quantitatives et qualitatives. Les premières décrivent les volumes, les délais ou les taux d’abandon. Les secondes éclairent les raisons des comportements observés, au moyen d’entretiens, d’observations, d’ateliers ou de l’analyse des réclamations.

Un exemple permet de comprendre la différence. Si une formation destinée à des personnes en recherche d’emploi affiche un faible taux d’inscription, plusieurs explications sont possibles : information insuffisante, horaires incompatibles avec les contraintes de transport, procédure trop longue, prérequis mal adaptés ou manque de confiance des personnes concernées. Le seul indicateur du nombre d’inscrits ne permet pas de choisir la bonne correction.

L’évaluation in itinere doit donc déboucher sur des décisions. Il peut s’agir de simplifier un formulaire, de modifier les horaires, de revoir le ciblage, d’ajuster un budget ou de renforcer l’accompagnement. Pour éviter qu’elle ne reste un exercice descriptif, chaque constat devrait être associé à une recommandation, à un responsable de mise en œuvre et à une échéance de réexamen.

L’évaluation ex post pour apprécier les résultats et les effets

L’évaluation ex post est réalisée après une période suffisante de fonctionnement. Elle vise à porter un jugement argumenté sur la politique, en examinant notamment sa pertinence, sa cohérence, son efficacité, son efficience, son impact et sa pérennité.

La pertinence concerne l’adéquation entre le problème identifié et la réponse apportée. La cohérence interroge les relations entre les objectifs, les moyens et les autres politiques existantes. L’efficacité compare les résultats obtenus aux objectifs fixés. L’efficience met en relation les résultats avec les ressources mobilisées. L’impact s’intéresse aux changements plus larges, y compris aux effets indirects ou non prévus. La pérennité examine la possibilité de maintenir les effets dans le temps.

Le moment de l’ex post doit être choisi en fonction du délai nécessaire pour observer les effets. Une action d’information peut produire des résultats mesurables rapidement. Une politique d’aménagement, de formation ou d’accompagnement entrepreneurial peut nécessiter davantage de recul. Évaluer trop tôt risque de confondre activité et impact. Évaluer trop tard peut rendre les données difficiles à retrouver et retarder une décision nécessaire.

La question de l’attribution est centrale. Une amélioration observée après une politique n’est pas forcément causée par celle-ci. D’autres facteurs peuvent intervenir : évolution économique, changement réglementaire, transformation sectorielle ou action simultanée d’un autre dispositif. Les méthodes contrefactuelles, les groupes de comparaison, les séries temporelles et les analyses qualitatives peuvent aider à distinguer la contribution de la politique de l’évolution générale. Le choix de la méthode dépend des données, du budget, de l’éthique et de la nature de l’intervention.

Une évaluation ex post utile ne se limite pas à une note finale. Elle doit préciser ce qui a été mesuré, sur quelle période, auprès de quels publics, avec quelles données et quelles limites. Cette transparence permet au lecteur de distinguer un résultat établi, une hypothèse plausible et une conclusion impossible à démontrer.

Comment choisir le bon moment selon la décision à prendre

Le calendrier doit être défini à partir de la décision attendue, et non l’inverse. Une organisation qui cherche à savoir s’il faut lancer un dispositif n’a pas les mêmes besoins qu’une organisation qui doit améliorer un dispositif déjà actif.

Une méthode pratique consiste à établir une matrice de décision :

1. Définir la décision. S’agit-il de lancer, poursuivre, modifier, étendre ou arrêter la politique ?
2. Formuler les questions d’évaluation. Éviter les formulations trop générales comme « la politique fonctionne-t-elle ? » et préciser le public, le résultat et la période concernés.
3. Identifier les données disponibles. Distinguer les données administratives, les enquêtes, les entretiens, les données statistiques et les informations produites par les opérateurs.
4. Estimer le délai d’observation. Certains effets sont immédiats, d’autres nécessitent plusieurs périodes de suivi.
5. Prévoir l’utilisation des conclusions. Une recommandation doit pouvoir être examinée par un décideur et traduite en action.

Une politique en préparation appelle prioritairement une évaluation ex ante. Une politique en phase de déploiement appelle une évaluation in itinere. Une politique arrivée à maturité peut faire l’objet d’une évaluation ex post. Toutefois, ces catégories restent souples. Une réforme ancienne peut nécessiter une nouvelle évaluation ex ante si ses objectifs sont profondément modifiés. De même, un dispositif terminé peut faire l’objet d’une analyse ex post centrée sur les effets à long terme.

Construire un calendrier d’évaluation réaliste

Un calendrier pertinent peut être organisé en quatre temps.

Avant la décision : établir le diagnostic, préciser les objectifs, cartographier les bénéficiaires et les acteurs concernés, définir la théorie du changement et choisir les indicateurs de référence.

Au démarrage : vérifier que les procédures, les outils de collecte et les responsabilités sont opérationnels. Cette étape évite de découvrir trop tard que les données indispensables ne sont pas enregistrées.

Pendant le déploiement : suivre les réalisations et analyser les écarts. Les objectifs doivent pouvoir être réexaminés si les hypothèses initiales ne se vérifient pas.

Après une période suffisante : conduire l’évaluation des résultats et des effets, comparer les données à une situation de référence et documenter les effets inattendus.

Il est utile de prévoir plusieurs niveaux d’indicateurs : les moyens mobilisés, les activités réalisées, les résultats immédiats et les effets recherchés. Par exemple, le budget engagé relève des moyens, le nombre d’accompagnements des activités, la finalisation d’un projet des résultats immédiats et la survie de l’activité ou l’accès durable à l’emploi des effets potentiels. Cette hiérarchie empêche de présenter une dépense ou une activité comme un impact.

Les données personnelles doivent être traitées dans le respect du cadre applicable, notamment des règles relatives à la protection des données. La Commission nationale de l’informatique et des libertés peut être consultée pour les obligations relevant de son champ de compétence. Pour les aspects juridiques, statistiques ou financiers, l’évaluation doit être adaptée avec l’avis d’un professionnel lorsque la situation l’exige.

Les erreurs qui affaiblissent une évaluation

Plusieurs erreurs reviennent fréquemment.

• Évaluer uniquement à la fin : cette pratique prive les responsables d’informations utiles pour corriger la mise en œuvre.
• Confondre volume et efficacité : un grand nombre de dossiers traités ne prouve pas que les objectifs sociaux ou économiques sont atteints.
• Changer les indicateurs en cours de route sans le signaler : la comparaison avec les objectifs initiaux devient alors fragile.
• Ignorer les non-bénéficiaires : interroger uniquement les personnes ayant utilisé le dispositif peut conduire à surestimer son accessibilité.
• Attribuer automatiquement toute évolution à la politique : une comparaison avec une situation de référence est souvent nécessaire.
• Produire un rapport sans organiser son utilisation : une évaluation doit être reliée à une décision, un calendrier et un suivi des recommandations.

Les travaux de l’Organisation de coopération et de développement économiques, de la Commission européenne, de France Stratégie et de la Cour des comptes illustrent l’importance de la clarté des objectifs, de la qualité des données et de l’analyse des effets. Ces organismes n’emploient pas toujours les mêmes cadres ou les mêmes méthodes, mais leurs publications convergent sur un point : une évaluation crédible doit expliciter ses questions, ses sources, ses méthodes et ses limites.

FAQ : choisir entre ex ante, in itinere et ex post

Peut-on évaluer une politique publique avant même son lancement ?

Oui. L’évaluation ex ante examine le problème, les objectifs, les options possibles, les coûts prévisionnels, les risques et les indicateurs qui permettront ensuite de suivre les résultats. Elle ne garantit pas la réussite du dispositif, mais elle améliore la qualité de la décision initiale.

Une évaluation in itinere peut-elle conduire à modifier les objectifs ?

Oui, si les données montrent que le problème a été mal défini, que les hypothèses initiales sont invalides ou que le contexte a changé. La modification doit être documentée afin de préserver la lisibilité de l’évaluation et de distinguer les objectifs initiaux des objectifs révisés.

Combien de temps faut-il attendre pour une évaluation ex post ?

Il n’existe pas de délai universel. Il dépend du temps nécessaire pour observer les effets recherchés. Un résultat administratif peut être mesuré rapidement, tandis qu’un effet sur l’emploi, l’activité économique ou les inégalités peut demander davantage de recul.

Le suivi des indicateurs suffit-il à évaluer une politique ?

Non. Le suivi décrit principalement ce qui est réalisé. L’évaluation cherche à comprendre la pertinence, la mise en œuvre, les résultats, les effets et, lorsque la méthode le permet, la contribution de la politique aux changements observés.