Quel est l’impact des évaluations de politiques publiques ? [SGMAP]

En 2012, le Premier Ministre a lancé la plus ambitieuse démarche d’évaluation des politiques publiques engagée en France au niveau gouvernemental. L’ambition affichée était rien de moins que d’évaluer toute l’action publique.

En 2017, c’est l’heure des comptes. L’Etat a-t-il progressé dans sa capacité à s’évaluer ? A-t-il amélioré ses politiques publiques grâce à ce travail ? Un rapport remis en mars se propose de répondre à ces questions, d’après l’analyse de 65 évaluations menées durant le quinquennat.

Quand l’Etat s’évalue enfin

La démarche d’évaluation des politiques publiques s’est appuyée sur une équipe du SGMAP, organe du Premier ministre créé pour l’occasion, un guide méthodologique commandé aux inspections (IGA, IGF, IGAS), et une animation politique par conférences intergouvernementales de 2012 à fin 2013 (CIMAP1, CIMAP2, CIMAP3, CIMAP4).

Le premier tour de force a été de mettre en œuvre cette démarche nationale d’évaluation d’une ampleur sans précédent, sur un temps assez court.

Mais la vertu exige de se poser la question des conséquences de cette démarche : sur le pilotage de l’action publique, sur son efficacité, sur le service rendu aux citoyens. C’est l’objet de la « méta-évaluation ». Deux cabinets (Quadrant conseil et KPMG) ont étudié 65 évaluations menées depuis 2013 pour répondre à trois questions essentielles :

  1. Dans quelle mesure la démarche d’évaluation de politiques publiques de la
    modernisation de l’action publique a-t-elle été effectivement mise en œuvre ?
  2. Dans quelle mesure les évaluations ont-elles progressivement atteint une qualité satisfaisante au regard des standards internationaux, et comment ?
  3. Comment et dans quels cas les évaluations ont-elles contribué à la transformation de l’action publique, et en particulier à une prise de décision basée sur des faits ?

1/ Les promesses de généralisation de l’évaluation ont-elle été tenues ?

En résumé, oui. Avec 65 évaluations réalisées (et 77 lancées), la démarche a bien existé. Mieux, les ambitions ont été relevées à mesure de l’exercice, avec :

  • Une volonté de publication systématique des rapports (80% des rapports publiés sont sur le site modernisation.gouv.fr).
  • Une animation nationale de l’évaluation des politiques publiques, avec des événements de suivi de la démarche, le soutien aux démarches de la SFE, de nombreuses communications lors des événements consacrés à l’évaluation en France.
  • La mise en place en 2016 d’une …évaluation de la démarche d’évaluation !

L’effort d’évaluation a principalement reposé sur les corps d’inspections (plus de 300 inspecteurs mobilisés en 4 ans) et minoritairement sur les cabinets extérieurs (1,8 M€ au total, utilisés pour des prestations ponctuelles de types enquêtes, sondages et focus groups).

Les sujets ont concerné de nombreux Ministères, assez inégalement et sans rapport direct avec leur budget d’intervention.

Ces évaluations sont venues s’ajouter aux travaux engagés de manière autonome par chaque ministère, sans articulations particulière malheureusement.

une démarche encore immature

Mais les auteurs relèvent aussi un essoufflement marqué de la démarche au fil du quinquennat. L’essentiel des travaux ont été engagés 2013 et 2014. La suppression du CIMAP a marqué un affaiblissement de la pression sur les Ministères, qui ont trop souvent réduit l’évaluation a un exercice interne et associant peu les parties prenantes. Le Département de l’évaluation des poltiques publiques du SGMAP est devenu un pôle et n’a guère compté plus de 3-4 permanents. Le dispositif institutionnel, encore très jeune, n’a donc pas complètement résisté au changement de Premier ministre. Pourra-t-il dès lors résister à un changement complet de Gouvernement ?

2/ Des évaluations de qualités très variables

Les auteurs débutent par un sage rappel : il n’existe pas de standards nationaux ou internationaux de ce que serait une bonne évaluation des politiques publiques. Une grille de qualité sur-mesure a été élaborée par Quadrant conseil à cette occasion, puis appliquée aux 65 évaluations. 22 points de mesures interrogent la qualité des travaux selon 3 axes : la faisabilité des travaux, leur fiabilité et leur utilité.

Le constat d’ensemble est nuancé. La majorité des travaux ne peuvent être qualifiés d’évaluation de politiques publiques totalement dans les critères, en raison de questionnements évaluatifs très imparfaits, de référentiels de jugements peu explicites, une association des parties prenantes a minima.

Il s’avère que la méthode a mobilisé principalement des corps d’inspections rompus à d’autres pratiques (audits, diagnostic, contrôles, etc.) qui forment leur base d’expérience pour aborder l’évaluation des politiques publiques. Mais la démarche a déjà fait évoluer les pratiques. Les auteurs notent qu’un facteur essentiel de qualité de l’évaluation est la présence dans l’équipe d’un spécialiste de méthodologies en évaluation de politiques publiques…ou d’un inspecteur ayant déjà contribué à un travail de ce type dans les années récentes.

A ce propos, notons le formidable renversement de posture opéré par les corps d’inspections, hostiles à l’évaluation pendant des décennies (voir notamment Spenlehauer), et qui en quelques années se sont véritablement emparés de la pratique.

L’autre écueil porte sur la nature même de la commande passée par les Ministères, souvent plus en recherche de solutions concrètes à usage interne à des problèmes bien identifiés plutôt qu’une analyse des impacts communicables auprès des parties prenantes et du public.

3/ Des évaluations qui n’offrent qu’un faible effet d’entraînement

La finalité de l’évaluation des politiques publiques est d’améliorer le “service rendu” aux citoyen par son Administration. Est-ce que cela a fonctionné ?

Pour répondre à cela, un véritable jeu de piste est engagé, en deux temps : les politiques publiques évaluées ont-elles été réformées suite à l’évaluation ? Si oui, quel est le lien ?

L’image suivante tirée du rapport illustre l’approche par analyse de contributions. Prenez le temps de la regarder : elle montre comment une évaluation est supposée faire évoluer l’action publique.

Les politiques publiques évaluées ont-elles été réformées suite à l’évaluation ?

Dans 42% des cas, il n’a pas été possible d’identifier des “suites” des évaluations 6 mois ou plus après la remise du rapport.Faute d’une organisation stricte de suivi, certaines suites peuvent être ignorées. Dans la majorité des cas, les évaluations ont été suivies de décisions, souvent à l’initiative des cabinets ministériels, qui ont généralement suivi de très près ces évaluations.

Les “suites” peuvent être de nature législative, réglementaire, programmatique, organisationnelle, financière, etc. 

En cas de suites, quel est le lien avec l’évaluation ?

Quiconque s’est déjà intéressé à la “fabrique de la politique” sait qu’il ne s’agit pas d’un processus linéaire, ni pyramidal, ni même prévisible. L’évaluation ne peut être qu’une influence parmi d’autres.

Plusieurs évaluations ont débouché sur de réels progrès, grâce à des travaux de qualité, bien accompagnés, tels que l’évaluation de l’éducation prioritaire ou de la chirurgie ambulatoire. Mais cela est resté trop rare, non systématique. Les auteurs pointent plusieurs facteurs explicatifs :

  • Le manque de lien entre décision et évaluation, dès le lancement de l’évaluation. L’existence d’un calendrier décisionnel et d’un portage politique fort sont indispensables. Les études ne s’imposent pas d’elles-même dans le débat.
  • Le manque d’ambition de certains travaux, en forme de synthèse des connaissances actuelles mais n’apportant guère de connaissances nouvelles (sauf peut-être sur les coûts de l’action publique).
  • La faible ouverture aux parties prenantes, et globalement de la main mise des ministères sur ces exercices, au détriment de la capacité de conviction des partenaires.

Enfin, il conviendrait en toute rigueur d’apprécier si les réformes effectivement engagées suite aux évaluation se sont révélées positives ou non dans la durée.Nous n’y sommes pas encore.

Quels enseignements pour cette démarche ?

Le rapport se referme sur une série de conclusions et de recommandations.

En substance, l’effort d’évaluation entrepris en 2012 est remarquable par son ambition, en rupture avec des décennies de résistance de la haute fonction publique d’Etat face à l’évaluation des politiques publiques.

Cette démarche nouvelle s’est heurtée à une certaine “frilosité” dans l’emploi de méthodes réellement innovantes, ou d’ouverture aux parties prenantes, qui handicape sérieusement la démarche et limite les bénéfices que l’on pourrait en attendre. Même son portage depuis Matignon n’a pas été suffisant dans la durée, laissant une (trop?) grande latitude aux ministères dans la conduite de leurs démarches.

L’année 2017 sera déterminante pour la suite. Le nouveau gouvernement creusera-t-il ce sillon pour, peut-être, des décisions publiques mieux conçues à l’avenir ?

Pour aller plus loin :

Télécharger (PDF, 1.65MB)

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.