Polémiques imbriquées sur l’évaluation des 35 heures

Enfin un rapport d’évaluation qui génère du débat…

La question de la diffusion des rapports d’évaluation, et de leur prise en compte dans la décision publique est un spectre qui semble survoler toute discussion sur l’évaluation de politiques publiques en France.

L’inspection générale des affaires sociales (IGAS) semble avoir trouvé une solution rudement efficace, si l’on en juge les remous causé par la remise de son rapport d’évaluation des « politiques d’aménagement [et de] réduction du temps de travail dans la lutte contre le chômage ».

Mi-juillet, le journal le Monde publie un article mi-juillet décrivant les principaux résultats de ce rapport, pourtant non publié.

Extrait du dessin de COLCANOPA pour Le Monde - 18/07/2016

Extrait du dessin de COLCANOPA pour Le Monde – 18/07/2016

Sur quelles preuves s’appuyer ?

Peu de temps après la publication du Monde, plusieurs chercheurs ayant travaillé sur le sujet ces dernières années réagissent : les conclusions des inspecteurs ne tiennent pas comptes correctement de leurs travaux.

D’abord, les méthodes employés sont critiquées, dans un entretien avec le directeur de l’Institut Montaigne, parue le dans l’Opinion le 19 juillet «Les 35 heures créatrices d’emploi? On a fait le tour du sujet!»

“Ce qui est frappant, c’est de produire un rapport aussi distant de la science et de la réalité économique. (…) leur rapport est ni plus ni moins une évaluation en chambre”

Difficile de discerner ce qui relève d’une opposition purement méthodologique, d’une opposition sur les conclusions elles-mêmes, de la part de l’Institut qui a publié en 2014 un rapport au titre très explicite : “Temps de travail : mettre fin aux blocages“.

Si les méthodes sont inadéquates, la formation aussi. Le Monde publie le 17 août un entretien avec Francis Kramarz : « Nos élites sont mal formées aux techniques d’évaluation des politiques publiques ». Les mots sont durs. Inutile de relever les phrases blessantes, retenons le propos : la question a déjà été étudiée, avec les meilleures méthodes scientifiques et seuls des travaux répondants aux mêmes canons devraient être pris en compte. Et les résultats scientifiques ne fournissent aucune matière à la conclusion qu’ont tiré les inspecteurs.

Mais c’est un entretien avec André Zylberberg publié le 20 juillet dans l’Opinion que parait plus clairement la critique la plus profonde, celle de la légitimité :

Je trouve curieux que dans un pays comme la France, on fasse évaluer les politiques publiques par des instances administratives ou politiques. Sur le principe, cela me choque. Ce n’est pas non plus aux députés (…) d’évaluer une politique publique. (…) C’est aux universitaires, aux chercheurs de tous les organismes intervenant dans la vie économique, de confronter leurs connaissances sur la réalité de la création d’emplois due à la réduction du temps de travail.

Tous les ingrédients d’un débat âpre sont réunis : critique des méthodes, de la formation, et de la légitimité même des évaluateurs. Au surplus à propos d’un rapport dont ne peut se faire une idée précise, car non publié (parce qu’il ne répond pas aux critères de qualité de l’IGAS ? Parce que le sujet est trop sensible ?).

Qui est compétent pour évaluer les 35 heures ?

Au moins trois conflits se superposent : la vision de l’effet des 35 heures, la question de qui est légitime pour évaluer, les méthodes à employer.

Sur la question de la légitimité, on peut n’y voir qu’une résurgence d’un vieux clivage entre deux chapelles : celle des économistes face à celle des grands corps d’inspection (cf. notre analyse sur les 4 chapelles de l’évaluation). L’influence croissante des expérimentateurs sociaux est de nature à renforcer les frictions, tandis que les inspections se sont résolument converties à l’évaluation sans être encore complètement reconnues pour cela.

Sur les méthodes, le débat est relevé par d’autres économistes, suivant un clivage désormais bien installé entre économistes “orthodoxes” et “hétérodoxes”. Une bonne synthèse de ce débat est proposée par l’article de l’express “35 heures: dans le monde de la science économique, c’est la guerre totale“. La publication ces jours-ci de livre “Le négationnisme économique, et comment s’en débarrasser” de Pierre Cahuc et André Zylberberg promet encore de nombreuses passes d’armes entre économistes.

Que retenir au-delà de la polémique ?

La chapelle des “praticiens évaluateurs” qui se reconnaissent sous la bannière de la société française de l’évaluation n’est pas directement visée dans cette polémique.

Elle dispose pourtant de sérieux arguments de synthèse : pluralité des démarches, meta-évaluation et revues systématiques sont des approches bien connues des évaluateurs qui se méfient des “solutions toutes faites” et des “légitimités de principe”.

Une réaction à une vision dogmatique de l’évaluation expérimentale est proposée par Thomas Delahais, invité de la vigie dans son article “Les baguettes magiques basées sur la preuve sont-elles meilleures que les autres ?“.

“Je crains l’homme d’un seul livre” (Hominem unius libri timeo”), citation attribuée à St Thomas D’Aquin, intéressante pour sa double lecture : plébiscite de l’éclectisme, ou crainte d’être opposé à un spécialiste chevronné ?

La conviction de la vigie est que la complexité du matériau social est telle qu’aujourd’hui aucune approche seule ne peut établir des causalités précises, mesurées, et surtout pas prédictives…ce qui est pourtant l’enjeu de la décision publique.

Il existe des démarches de revues systématiques des travaux, destinées à faire une synthèse rigoureuse et partagée des savoirs acquis, peut-être serait-ce une réponse aux polémiques entre chapelles ?

Voir notamment :

  • L’événement du 27 septembre à Londres, dont le titre fait honneur à la loi de Betteridge2016-09-14-01_12_31-is-there-a-magic-bullet-for-achieving-quality-education-for-all_-a-systematic-re
  • La base de données des revues systématiques sur l’efficacité sociale et économiques des interventions dans les pays en développement, par 3ie
  • La base Cochrane, une référence pour connaître l’état de la science sur de nombreux sujets essentiels de santé publique. Un exemple à suivre sur les “politiques qui marchent” ?
  • Le site what works growth qui liste des méthodes d’évaluation éprouvées selon les sujets

 

Une réflexion au sujet de « Polémiques imbriquées sur l’évaluation des 35 heures »

  1. Qu’on en parle en bien ou en mal, l’important est peut-être que l’évaluation soit dans le débat public! À noter : le rapport a fuité et peut donc être lu, il est là : https://www.evernote.com/l/AZvvEDYDXOdNBoTbtathW1gfTALTt8tUDC8

    Ce n’est pas tant une évaluation (aucune collecte de données primaires) qu’une revue de littérature au service d’un argumentaire qui pourrait être résumé à : “la baisse du temps de travail est inéluctable, quelles en sont les meilleures modalités”. C’est d’ailleurs peut-être le souci, ce serait paru sous la forme d’une note, peut-être que ça n’aurait pas fait autant de tintouin ?

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.