Pourquoi les indicateurs publics ne se résument pas à des chiffres
Les indicateurs de performance publique servent à observer les moyens mobilisés, les actions réalisées et les effets produits par une politique, un service ou un dispositif. Ils peuvent éclairer une décision budgétaire, repérer une difficulté d’accès à un service ou mesurer les progrès accomplis pour un objectif donné. Ils ne constituent toutefois ni une vérité automatique ni un jugement complet sur la qualité de l’action publique.
Une donnée chiffrée ne prend son sens qu’en fonction de son périmètre, de sa méthode de calcul, de la période étudiée et du public concerné. Un délai moyen de traitement peut diminuer parce que les dossiers simples sont traités plus vite, tandis que les situations complexes s’accumulent. Un taux de satisfaction peut progresser si les usagers les plus mécontents renoncent à répondre. Un nombre de formations réalisées peut augmenter sans amélioration démontrée de l’insertion professionnelle.
La bonne question n’est donc pas seulement « quel chiffre publier ? », mais plutôt : quelle décision ce chiffre doit-il aider à prendre, pour quel public et avec quelles précautions d’interprétation ?
Distinguer les familles d’indicateurs avant de mesurer
Une sélection cohérente commence par la distinction entre plusieurs niveaux de performance. Cette étape évite de confondre activité, résultat immédiat et impact à long terme.
- Les indicateurs de moyens décrivent les ressources mobilisées : budget exécuté, effectifs, temps de travail, équipements ou crédits consacrés à une action.
- Les indicateurs d’activité comptabilisent ce qui est réalisé : nombre de dossiers instruits, rendez-vous proposés, contrôles effectués, personnes accompagnées ou demandes traitées.
- Les indicateurs de réalisation vérifient si les engagements opérationnels sont respectés : part des démarches accessibles en ligne, proportion de décisions rendues dans le délai annoncé ou taux de couverture d’un territoire.
- Les indicateurs de résultat mesurent une évolution directement liée à l’action : retour à l’emploi, réduction d’un délai, amélioration d’un niveau de qualification ou diminution d’un abandon.
- Les indicateurs d’impact cherchent à observer un changement durable dans la population ou le territoire. Ils sont plus difficiles à attribuer à une seule politique, car de nombreux facteurs extérieurs interviennent.
- Les indicateurs de qualité et d’équité portent sur l’expérience vécue, l’accessibilité, les écarts entre publics et la régularité du service rendu.
Cette classification permet de lire un tableau de bord avec davantage de recul. Une activité élevée ne prouve pas un résultat favorable. Inversement, un résultat décevant sur une courte période ne suffit pas toujours à conclure à l’inefficacité d’un dispositif dont les effets sont différés.
Partir d’un objectif public clairement formulé
Un indicateur utile découle d’un objectif précis. La formulation « améliorer l’accompagnement » est trop vague pour guider le choix d’une mesure. Il faut préciser ce qui doit changer, pour qui, dans quel délai et selon quel niveau d’exigence.
Une méthode pratique consiste à reformuler chaque objectif sous la forme suivante : faire évoluer quoi, pour quel public, de quelle manière et à quelle échéance ? Par exemple, un objectif relatif à l’accès à une démarche peut devenir : réduire les renoncements des personnes rencontrant des difficultés numériques, tout en maintenant une solution d’accompagnement humain.
Cette formulation fait apparaître plusieurs dimensions à mesurer : le taux de démarches abouties, le nombre de demandes d’assistance, les délais, les abandons et les écarts entre les personnes autonomes et celles qui ont besoin d’aide. Un seul pourcentage ne pourrait pas rendre compte de cette réalité.
Il est également utile de différencier la cible, la référence et le seuil d’alerte. La référence décrit la situation initiale ou une période comparable. La cible correspond au niveau recherché. Le seuil d’alerte indique quand une analyse doit être déclenchée. Ces trois repères évitent de transformer un objectif en simple affichage de résultat.
Les critères de sélection d’un bon indicateur
Avant d’intégrer une mesure dans un tableau de bord, il faut vérifier sa pertinence et sa robustesse. Un indicateur peut être facile à calculer mais peu utile pour la décision. À l’inverse, une donnée très intéressante peut être trop coûteuse ou trop fragile pour être produite régulièrement.
| Critère | Question à poser | Risque en cas d’oubli |
|---|---|---|
| Pertinence | La mesure renseigne-t-elle directement l’objectif ? | Suivre une activité sans observer le résultat attendu |
| Définition | Le numérateur, le dénominateur et le périmètre sont-ils explicites ? | Comparer des données qui ne mesurent pas la même chose |
| Fiabilité | Les données sont-elles collectées avec une méthode stable ? | Prendre une variation technique pour une évolution réelle |
| Actualité | La fréquence de production correspond-elle au rythme de décision ? | Réagir trop tard ou surinterpréter des variations courtes |
| Équité | Les écarts entre catégories de population sont-ils visibles ? | Masquer une difficulté concentrée sur certains publics |
| Actionnabilité | Une décision peut-elle être prise à partir du résultat ? | Accumuler des données sans effet sur le pilotage |
La fiche de chaque indicateur devrait préciser son intitulé, sa finalité, sa définition, sa source, la fréquence de mise à jour, le responsable de production, les règles de révision et les limites d’interprétation. Cette documentation réduit les erreurs lorsque les personnes ou les outils changent.
Construire un tableau de bord équilibré
Un tableau de bord public ne doit pas empiler des mesures. Il doit réunir un nombre limité d’indicateurs complémentaires, capables de mettre en évidence les arbitrages. La composition dépend du sujet, mais quatre blocs sont généralement utiles : les ressources, l’activité, les résultats et la qualité perçue ou l’équité.
Pour une politique d’accompagnement vers l’emploi, un ensemble cohérent pourrait associer : le nombre de personnes suivies, la durée moyenne d’accompagnement, la part des parcours achevés, l’accès à une formation ou à un emploi, le maintien dans l’emploi après une période définie et les écarts observés selon l’âge, le niveau de qualification ou le lieu de résidence. Chacun de ces indicateurs répond à une question différente.
Le tableau de bord devrait aussi présenter les séries dans le temps, les objectifs et les intervalles de prudence lorsque cela est possible. Une valeur isolée est rarement suffisante. Il faut examiner la tendance, les ruptures, les effets saisonniers et les changements de méthode.
Les données désagrégées sont essentielles. Une moyenne nationale ou globale peut progresser alors qu’une partie des usagers connaît une dégradation. Les catégories doivent toutefois être choisies avec prudence afin d’éviter la stigmatisation et de respecter les règles applicables à la protection des données personnelles. Le recours à des données sensibles demande une base légale, des garanties de confidentialité et une analyse de proportionnalité.
Comprendre les effets pervers des objectifs chiffrés
Un indicateur devient problématique lorsqu’il est traité comme une fin en soi. Les acteurs peuvent alors optimiser le chiffre plutôt que l’objectif public qu’il était censé représenter. Ce phénomène est souvent rapproché de la loi de Goodhart : lorsqu’une mesure devient une cible, elle cesse parfois d’être une bonne mesure.
Plusieurs effets sont fréquents :
- Sélection des situations faciles : les dossiers simples sont privilégiés pour améliorer un délai ou un taux de réussite, tandis que les cas complexes sont retardés ou orientés ailleurs.
- Déplacement de l’activité : les équipes consacrent davantage de temps à ce qui est comptabilisé qu’à des tâches utiles mais invisibles dans le tableau de bord.
- Dégradation de la qualité : une exigence de volume peut réduire le temps consacré à l’écoute, à la vérification ou à la personnalisation.
- Manipulation involontaire des catégories : une modification de la saisie ou du classement peut améliorer un résultat sans changement réel du service.
- Effet de seuil : lorsque seule l’atteinte d’un objectif compte, les pratiques peuvent se concentrer sur les dossiers proches de la limite, au détriment des autres.
- Découragement interne : des objectifs perçus comme irréalistes peuvent conduire à une saisie minimale, à une perte de sens ou à une présentation défensive des résultats.
Ces dérives ne reposent pas nécessairement sur une volonté de tromper. Elles peuvent résulter de règles de financement, de comparaisons publiques, d’outils mal conçus ou d’une pression excessive sur un indicateur unique.
Associer indicateurs de volume, de qualité et d’équité
La meilleure protection contre les effets pervers consiste à associer plusieurs mesures qui se contrôlent mutuellement. Un indicateur de productivité devrait être rapproché d’un indicateur de qualité. Un taux global devrait être complété par des écarts entre publics. Une cible de délai devrait être lue avec les réclamations, les réexamens et les abandons.
Le principe peut être résumé par un triptyque : faire, bien faire, faire pour les personnes qui en ont besoin. Le premier volet mesure l’activité, le deuxième la qualité, le troisième l’accès effectif et l’équité.
Des données qualitatives peuvent compléter les chiffres : analyse de réclamations, entretiens, observations de parcours, retours des agents, tests d’accessibilité ou examen d’un échantillon de dossiers. Ces sources ne remplacent pas les indicateurs quantitatifs, mais elles peuvent expliquer une évolution inattendue et révéler un problème que la moyenne ne montre pas.
La satisfaction doit également être interprétée avec précaution. Il faut documenter le taux de réponse, le mode de recueil, les questions posées et les publics absents. Une enquête courte réalisée immédiatement après un contact ne mesure pas la même chose qu’une évaluation portant sur l’issue réelle d’une démarche.
Mettre en place une démarche de pilotage en six étapes
Pour passer d’une intention générale à un système utilisable, une démarche en six étapes est recommandée :
- Définir la décision à éclairer. Identifier ce qui doit être ajusté, financé, renforcé ou arrêté grâce à la mesure.
- Décrire la chaîne de résultats. Relier les moyens, les actions, les réalisations, les résultats attendus et les facteurs extérieurs.
- Choisir quelques indicateurs complémentaires. Écarter les données qui ne servent qu’à produire un reporting sans utilité décisionnelle.
- Documenter les règles de calcul. Définir les populations incluses, les exclusions, les périodes, les sources et les changements de méthode.
- Tester les effets indésirables. Demander ce qu’un acteur pourrait faire pour améliorer le chiffre sans améliorer le service, puis ajouter un indicateur de contrôle.
- Organiser une revue régulière. Examiner les écarts, les explications possibles, les conséquences pour les publics et les mesures correctives.
Un test en petit périmètre permet de vérifier la compréhension des définitions et la charge de collecte. Il est préférable de corriger un indicateur avant sa généralisation plutôt que de construire une longue série historique sur une base mal définie.
S’appuyer sur des références publiques et vérifier la comparabilité
Les indicateurs doivent être replacés dans les cadres méthodologiques disponibles. En France, la Direction interministérielle de la transformation publique publie des ressources sur l’évaluation et la qualité des services publics. La Direction générale de l’administration et de la fonction publique produit des données relatives à la fonction publique. L’Insee diffuse des statistiques et des définitions utiles pour les comparaisons économiques et sociales. La Cour des comptes examine régulièrement la performance et les conditions de mise en œuvre des politiques publiques. La Commission européenne et l’OCDE publient également des cadres de comparaison internationale, avec des précautions méthodologiques propres à chaque domaine.
La source ne suffit pas à garantir la comparabilité. Avant de rapprocher deux chiffres, il faut vérifier la population observée, le mode de collecte, la période, le champ géographique, les règles de calcul et les éventuelles ruptures de série. Une donnée administrative, une enquête déclarative et une estimation statistique ne portent pas le même niveau d’incertitude.
Les publications de l’Insee, les documents budgétaires de l’État, les rapports de la Cour des comptes et les bilans des administrations concernées peuvent fournir des repères, mais chaque chiffre doit être lu dans sa note méthodologique. Cette discipline est particulièrement importante lorsqu’un indicateur sert à comparer des territoires, des structures ou des périodes.
FAQ : choisir et interpréter les indicateurs publics
Combien d’indicateurs faut-il retenir ?
Il n’existe pas de nombre universel. Un tableau de bord opérationnel doit rester lisible et relier chaque mesure à une décision. Si plusieurs indicateurs décrivent la même activité sans apporter d’information différente, il faut en supprimer certains. La priorité va aux mesures qui couvrent ensemble l’activité, le résultat, la qualité et l’équité.
Un indicateur de résultat suffit-il pour évaluer une politique ?
Non. Un résultat peut évoluer sous l’effet de facteurs extérieurs, comme la conjoncture économique, une réforme, une évolution démographique ou un changement de comportement. Il faut examiner le contexte, la période, les groupes comparables et, lorsque la méthode le permet, la contribution propre du dispositif évalué.
Comment éviter qu’un objectif chiffré dégrade la qualité du service ?
Il faut associer à l’objectif principal des indicateurs de contrôle : qualité, réclamations, abandons, réexamens, délais pour les situations complexes et écarts entre publics. Les résultats doivent être discutés avec les personnes qui produisent les données et avec celles qui utilisent le service.
Faut-il publier tous les indicateurs disponibles ?
Non. La transparence ne consiste pas à diffuser une masse de chiffres illisibles. Il est préférable de publier des indicateurs définis, contextualisés et accompagnés de leurs limites. Les données détaillées peuvent être rendues accessibles lorsque leur diffusion est compatible avec la confidentialité et les règles de protection des données.
Que faire lorsqu’une donnée fiable n’existe pas ?
Il faut le signaler plutôt que fabriquer une précision artificielle. Une phase d’expérimentation peut permettre de définir une méthode de collecte, de tester sa charge et d’évaluer sa qualité. En attendant, des informations qualitatives ou des données partielles peuvent éclairer la décision, à condition que leurs limites soient clairement annoncées.
