Quelles perspectives pour l’évaluation des politiques publiques ?

Lundi 30 janvier s’est tenu à Sciences Po Paris, à l’occasion des 5 ans du Laboratoire interdisciplinaire d’évaluation des politiques publiques, le LIEPP, un séminaire intitulé « Quelles perspectives pour l’évaluation des politiques publiques? » (voir le programme complet).

Au programme : 4 ateliers, des discours et une table ronde:

  • Discours de Frédéric Mion, directeur de Sciences Po, Bruno Palier et Etienne Wasmer, co-directeurs du LIEPP.
  • Discours d’ouverture de Didier Migaud, Premier président de la Cour des comptes.
  • L’évaluation du CICE : combien d’emplois à quel coût?
  • Le Grand Paris Express : Quels emplois et quels investissements directs?
  • Comment combattre les inégalités à l’école?
  • Table ronde finale: Comment réussir l’évaluation des politiques publiques en France?

Beaucoup de contenus donc, et des intervenants de haute volée, qui justifient d’attendre les actes à paraître. Pour les impatients, voici un rappel de quelques temps forts.

En ouverture, les discours introductifs ont principalement souligné les enjeux de diffusion et d’utilisation des évaluations de politiques publiques.

Dans son discours, Etienne Wassmer (co-directeur du LIEPP) défend l’idée d’une évaluation qui ne serait pas uniquement au service du commanditaire, mais aussi au service « de la vérité », du public. Pour cela, le LIEPP n’engage pas de travaux qui ne pourraient pas être publiés, tout en préférant nouer des partenariats avec les Administrations, qui ne souhaitent pas toujours la publication mais garantissent un accès aux données et …aux décideurs. Cornélien.

Puis la question de l’utilisation des travaux d’évaluation est très rapidement posée par le Premier président :

« En théorie, [l’évaluation est] une avancée significative pour l’action publique (…) pourtant cette évolution semble cantonnée à la surface des politiques publiques ».

Car l’évaluation est insuffisamment exploitée par les décideurs.

Il est rappelé aussi combien la culture française privilégie la discussion des moyens plutôt que des conditions de leurs emplois.

Peut-être est-ce en partie un problème de langage. L’évaluateur ne saurait pas parler au décideur ?

Il y a un besoin de passeurs, et surtout que les évaluateurs ne s’enferment pas dans un langage scientifique.

Didier Migaud ajoute que le Cour fait appel à son service de communication pour porter ses travaux. Il mentionne aussi les efforts de « traduction » de Nathalie Mons avec des conférences de citoyens.

Table ronde 1. L’évaluation du CICE : combien d’emplois à quel coût?

L’évaluation du CICE, qui “pèse” environ 20 millards par an, pendant le mandat de son initateur, est un “gros morceau” tant politiquement qu’économiquement.

Son évaluation est également est un exercice massif : France Stratégie aux commandes, trois équipes de chercheurs missionnées simultanément, un accès très étendu aux données publiques…

Ses résultats sont synthétisés dans l’avis du comité CICE, à savoir à court terme : un effet probable sur les marges des entreprises, l’absence d’effets mesurables sur l’investissement, la R&D et les exportations, et “des incertitudes” sur les effets sur l’emploi, malgré tout estimés à 50.000 – 100.000 emplois créés ou sauvegardés sur la période 2013-2014 (pour un coût total de 30 milliards…faites le calcul).

Ce sont de gros moyens pour évaluer scientifiquement un programme qui a le mérite d’exprimer ses objectifs de manière claire et mesurable (le nombre d’emplois, principalement). Pour cela, les équipes ont pu accéder, notamment, aux comptes 2009-2014 de toutes les entreprises de France tant sur le volet fiscal que comptable (DADS, bases INSEE, ACOSS, créances DGFIP…).

Premier intervenant, Yannick L’Horty (Professeur d’économie à l’université Paris-Est Marne-La-Vallée) démontre que la pratique scientifique admet plusieurs dizaines d’approches différentes produisant des résultats potentiellement différents et également justifiables dans leur contexte (3 technologies statistiques x une dizaine de définitions d’indicateurs de résultats x une demi douzaine de stratégies de sélection…)

L’évaluation d’impacts sur microdonnées de caractère expérimental [du CICE], ce n’est pas un travail « presse-bouton ». C’est un véritable travail de recherche, dans lequel les chercheurs font des choix (…) qui peuvent être ensuite discutés. Il peut y avoir des stratégies de recherche, qui ont un sens, et des résultats pas identiques.

Sarah Guillou (directrice adjointe du département innovation et concurrence de l’OFCE) enfonce le clou dès son introduction, en convoquant une citation d’un des fondateurs de l’économétrie pour rappeler que le choix des modèles n’est pas automatique et repose sur un certaine compréhension des mécanismes à l’oeuvre. “Nous avons besoin d’un cadre conceptuel puissant”, indique-t-elle, et poursuit lors des questions-réponses:

« Évidemment il y a un présupposé économique quand on évalue le CICE, sur le lien entre compétitivité-prix et emploi (…) il y a des présupposés, mais c’est très ouvert ».

Clément Carbonnier (Maître de conférences en économie à l’université de Cergy-Pontoise, co-directeur de l’axe « politiques socio-fiscales » du LIEPP) explique ensuite comment les résultats des analyses économétriques s’expliquent par l’observation des comportements des employeurs, qui attendent la fin de l’exercice comptable pour acter l’effet du CICE sur leurs comptes.

Dans sa conclusion, Marc Ferraci (Professeur d’économie à l’université Panthéon-Assas) souligne:

« Ce qui fonctionne bien, c’est de donner les clefs à des chercheurs indépendants. Il est indispensable de leur donner des moyens : données, financements. »

La Vigie serait volontiers d’accord, une fois bien défini ce que veut dire “donner les clefs” (cela reste au politique de poser les questions non ?), “chercheurs” (s’agit-il de pré-requis de compétences, d’approche, ou de statut ?) et “indépendants” (sans liens institutionnels, économiques, idéologiques ?).

Table Ronde 2. Le Grand Paris Express (GPE) : Quels emplois et quels investissements directs?

Les intervenants ont insisté sur l’inadaptation des méthodes habituelles de modélisation du trafic et d’analyse socio-économique pour un projet de cette taille et ont présenté leurs travaux.

Guillaume Chapelle (responsables de projet au LIEPP, intervenant à la Cour des comptes et récemment Docteur – félicitations) a notamment présenté l’approche retenue par le LIEPP pour estimer les effets du GPE sur l’emploi en Île-de-France, à travers un modèle liant infrastructures de transport, coût du foncier et coûts de production pour les entreprises.

Parmi les résultats attendus : densification de la croissance de la population et de l’emploi, des investissements directs étrangers, et … diminution des coûts du foncier dans l’agglomération parisienne grâce à la meilleure offre de transports.

Patrick Le Galès (directeur de recherche CNRS au CEE) s’amuse : “Depuis 20 ans, l’étude des transports est devenue “sexy” par ses impacts économiques”. Julien Damon (Professeur associé à Sciences Po) renchérit : “Pour évaluer 1 infrastructure de transport, 3 polytechniciens (au moins) à la tribune de Sciences Po ” … finalement, c’est quatre.

Sylviane Gastaldo (directrice du programme « évaluation des investissements publics » au CGI) présente les bénéfices économiques des différents tronçons du , puis recadre ” tout n’est pas économique, il y a une nécessité d’évaluation interdisciplinaire prenant en compte la dimension politique”.

Table ronde 3. Comment combattre les inégalités à l’école?

Le troisième atelier de la journée portait sur les inégalités à l’école, et sur les moyens d’y remédier. Cet atelier a fait l’objet d’une recension sur le site Café Pédagogique.

Agnès Van Zanten (directrice de recherche CNRS à l’OSC) présente ses recherches sur les médiations de l’orientation vers l’enseignement supérieur.

Nathalie Mons (présidente du CNESCO), a montré l’originalité de la démarche de cette institution, qui pourrait préjuger d’une montée en puissance d’autres Conseils nationaux dans l’évaluation de l’action de l’État.

Table ronde finale: Comment réussir l’évaluation des politiques publiques en France? (tiens vous êtes encore là ?)

Enfin, une table ronde a réuni plusieurs acteurs de l’évaluation de l’État, autour de la difficile question de “réussir l’évaluation”.

Vers une meilleure complémentarité des pratiques ?

Étaient réunis Laure de la Bretèche pour le Secrétariat général pour la Modernisation de l’action publique (SGMAP), Marie-Christine Lepetit de l’Inspection générale des Finances (IGF), Fabrice Lenglart de France Stratégie et Patrick Bernasconi du Conseil économique social et environnemental (CESE). Ce dernier a notamment plaidé pour une meilleure complémentarité entre les pratiques d’évaluation au niveau de l’État, rappelant notamment la capacité du CESE à « construire de l’acceptabilité », une piste étudiée par le SGMAP selon Laure de la Bretèche.

Le rapport entre preuves, chercheurs et politiques comme fil rouge

L’utilité des travaux d’évaluation et les apports de ceux qui les produisent (les chercheurs, dans cette enceinte) a souvent été discutée au cours de la journée. Mais le débat le plus intéressant est venu de l’atelier sur les inégalités à l’école, dont les participants ont tordu le cou à certaines idées reçues : oui, ces chercheurs sont en contact régulier avec ceux qui nous gouvernent ; non, ces relations ne sont pas satisfaisantes pour eux, au sens où ils n’ont pas la possibilité d’intervenir directement dans la processus de décision ; mais non, le tableau n’est pas non plus tout noir, dans la mesure où ces chercheurs relèvent également le chemin parcouru : les politiques se sont aussi acculturés à la recherche et sont aujourd’hui intéressés par ce qu’elle peut apporter.

Lors de la première table ronde, Yannick L’Horty a présenté une mise au point bienvenue “il faut un marché de l’évaluation, avec une réponse publique et une réponse privée” qui n’est pas sans rappeler l’appel formulé par le président de la société française de l’évaluation il y a tout juste … 3 ans.

Le mot de la fin ne pouvait que revenir à Bruno Palier, co-directeur du LIEPP, qui s’est publiquement demandé si les chercheurs n’en attendaient pas trop du politique et en particulier de l’État, rappelant l’importance de la réception de l’action publique et le rôle de tous les acteurs publics et privés dans les impacts recherchés.

Pour aller plus loin

  • Le programme détaillé sur le site du LIEPP, comportant un copie des présentations de plusieurs intervenants
  • Le fil tweeter de l’événement, bien alimenté par l’équipe du LIEPP et @BPalier
  • Les fils tweeter d’Arthur Heim et d’Anne Revillard, qui ont contribué à animer et étendre les échanges via twitter.
  • La vidéo tournée pendant l’événement (un visage de la Vigie s’y trouve : saurez-vous le trouver ?)

Ce contenu a été publié dans Actualités de l'évaluation par Thomas D.. Mettez-le en favori avec son permalien.

A propos Thomas D.

Thomas D. est bloggeur invité de la vigie de l’évaluation. Thomas est membre de la communauté internationale des évaluateurs depuis plus d’une décennie. Il contribue à la Vigie de l’évaluation de l’évaluation par sa veille, des articles d’actualité et d’opinion, pour l’animation des débats sur les pratiques d’évaluation de politiques publiques.

Une réflexion au sujet de « Quelles perspectives pour l’évaluation des politiques publiques ? »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.