La “mauvaise évaluation” du Gouvernement ? [MAP]

Attention : ce billet était initialement une brève classique de la vigie, mais il s’est avéré impossible de traiter le sujet sans réagir. A lire donc comme un billet d’humeur, rédigé par Alix pour la Vigie.

Un article du 30 mars paru dans le journal l’Opinion titre “la mauvaise évaluation” a attiré notre attention. L’auteur rend compte d’une récente note rédigée par l’institut des politiques publiques qui en 4 pages “propose un bilan du quinquennat 2012-2017 concernant le développement de la démarche d’évaluation en France“.

En voilà une bonne question : la France a-t-elle enfin progressé dans la mise en oeuvre d’évaluations de politiques publiques ?

La note adresse un reproche sérieux aux évaluations pilotées par le SGMAP : elles relèveraient plus de l’audit que de l’évaluation. Les auteurs appuient leurs constats sur deux observations.

1/ Une méthodologie insuffisante

La note de l’IPP analyse rapidement le guide méthodologique commandé par le SGMAP pour cadrer cette nouvelle pratique évaluative et conclu que ” la méthodologie des évaluations réalisées par la MAP ne s’écartait pas sensiblement des méthodes d’audit et de contrôle, pourtant considérées comme insuffisantes”. Pour vous faire votre propre avis, vous trouverez le guide et l’analyse de la vigie dans ce billet.

Mais les auteurs semblent ignorer que le guide méthodologique n’a été partiellement suivi, et que le SGMAP a rapidement produit son propre cadrage méthodologique, pour se rapprocher de pratiques évaluatives plus ambitieuses.

L’autre argument est presque d’autorité : les travaux pilotés par le SGMAP ne seraient pas des évaluations car ils n’ont pas été réalisés…par des chercheurs !

Pour l’IPP, le statut de l’évaluateur serait donc un indice suffisant pour déterminer la nature et la qualité des travaux entrepris. Etonnant. Par ailleurs, il n’existe pas de standard internationaux de recherche en matière d’évaluation de politiques publiques, mais des “bonnes pratiques” professionnelles (type charte de la SFE ou accréditation) ou des standards de recherche disciplinaire (en économie, en sociologie, etc.).

2/ Des méthodes inadaptées

Puis l’IPP analyse en détail les travaux du SGMAP, du Parlement du CESE, de France Stratégie et parvient à ce constat édifiant : 87% des évaluations menées ne seraient pas des évaluations !

L’analyse des méthodologies utilisées parmi l’ensemble de ces rapports d’évaluation met en lumière la très faible proportion (13 %) de travaux mettant en œuvre des techniques d’évaluation qui se rapprochent des standards internationaux en la matière (graphique 2)

Seul problème : la liste des rapports étudiés n’est pas communiquée, les “standards internationaux” supposés fonder l’analyse ne sont pas mentionnés (et pour cause !), et il n’est précisé nul part ce que les auteurs qualifient de méthode à caractère évaluatif ou non. Ce qui n’empêche pas la note de conclure avec vigueur :

Malgré la communication du gouvernement sur l’importance de la démarche d’évaluation des politiques publiques, force est de constater que la pratique des cinq dernières années n’a pas été à la hauteur des ambitions affichées.

Les auteurs démontrent surtout ici que toute production de chercheurs n’est pas nécessairement de la recherche, et que se fier au statut des rédacteurs pour juger la qualité d’un travail serait une erreur.

L’analyse réalisée est pourtant certainement pertinente – les pratiques en matière d’évaluation de politiques en France sont encore largement perfectibles malgré les progrès de ces dernières années. Mais cette présentation trop rapide ne saurait être conclusive en l’état.

Un argumentaire pro-domo

Le système serait donc vicié à la base et seuls les chercheurs pourraient conduire de “véritables” évaluations de politiques publiques. Les auteurs demandent que l’agence nationale de la recherche (ANR), déploie des budgets spécifiques pour la conduite d’évaluations par des chercheurs.

C’est malheureusement confondre politique de recherche et pratique de gestion de l’action publique, car à quoi bon des bonnes évaluations sur plan disciplinaire, si elles ne sont pas liées étroitement au calendrier et à l’agenda politique ? L’idée peut néanmoins être intéressante sur la base d’une discussion mieux posée.

En conclusion

En attendant les précisions méthodologiques qui appuient cette note, l’on pourra se tourner plutôt vers le travail commandité par le SGMAP pour faire l’évaluation de cette démarche – article à venir très prochainement.

Consultez la Note IPP n°25, Mars 2017 par Antoine Bozio et Lucile Romanello sur le site de l’institut des politiques publiques.

Télécharger (PDF, 859KB)

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.