Les baguettes magiques basées sur la preuve sont-elles meilleures que les autres ?

Note : Ce billet est un article d’opinion, rédigé par Thomas Delahais, fréquent commentateur de la vigie.

Thomas Piketty et la mixité sociale

Il est toujours intéressant de voir des chercheurs reconnus internationalement s’intéresser aux débats d’actualité. Ils apportent souvent un point de vue différent et qui peut être utile à la réflexion, et l’intervention récente de Thomas Piketty sur la mixité sociale au collège en est un bon exemple.

Dans cet article, Piketty revient sur des travaux portant sur la ségrégation scolaire à Paris. Les données utilisées illustrent de façon efficace le grand écart qui sépare les collèges parisiens en termes de mixité sociale, ici mesurée en termes de proportion d’élèves issus de ménages dont le responsable est chômeur, inactif ou ouvrier. Cette statistique permet également à Piketty de montrer de façon indiscutable que les collèges privés de Paris sont parmi ceux qui en accueillent le moins.

Cette précision n’est bien sûr pas anodine, puisqu’elle amène Piketty à la solution : pour renforcer la mixité sociale, il faut que les collèges privés reçoivent un quota d’enfants issus de familles défavorisées :

Si l’on souhaite véritablement faire progresser la mixité sociale, alors il serait hautement préférable de faire rentrer les collèges privés dans une procédure commune d’affectation des élèves aux collèges.

Autrement dit, mécaniquement, à « stock » stable de collégiens, le pourcentage de ces élèves augmentera dans les collèges (privés) où il est faible, et il baissera dans les collèges où il est élevé.

L’article est dans l’ensemble très intéressant, et il a connu un certain succès sur les réseaux sociaux. Il laisse aussi une impression de malaise: Ainsi il existerait ainsi une solution simple et efficace, une baguette magique (une silver bullet, disent les anglophones, par analogie avec la balle d’argent qui seule peut tuer les loups garous) pour résoudre les problèmes de mixité sociale, et les gouvernements resteraient les bras ballants ? Avec les mots de Piketty :

En ces jours de rentrée scolaire, la question mérite d’être posée : le gouvernement souhaite-t-il vraiment promouvoir la mixité sociale, ou bien va-t-on en rester aux effets d’annonce ?

Certes, au-delà de l’effet d’annonce, l’auteur admet (de façon plus raisonnable) que sa proposition serait utilement complétée par une extension aux collèges de la méthode d’affectation appliquée aux lycées parisiens depuis 2009 (elle a fait les gros titres de l’actualité récemment et a désormais toutes les chances de s’appliquer).
Reste que si nous sommes habitués aux baguettes magiques brandies par certains hommes politiques ou militants, on entend de plus en plus un discours similaire, apparemment fondé sur des données fiables et nombreuses, de la part de chercheurs, ou encore des entreprises, et notamment des nouveaux géants du numérique1. Faut-il adhérer à ces discours ? Sont-ils plus fiables parce qu’ils sont basés sur des données ?

Le mythe de la silver bullet

Cette approche qu’a Piketty des politiques publiques ne vient pas de nulle part. Elle est d’abord evidence-based, c’est-à-dire basée sur une analyse rigoureuse des données existantes, et c’est ce qui la distingue essentiellement d’un discours militant.

C’est cependant la volonté de mettre en avant une solution simple aux problèmes sociaux, et dont les résultats seraient immédiatement démontrables qui la rend vraiment particulière: cela, en revanche, est un héritage direct de la (micro-)économie expérimentale, telle qu’elle s’est appliquée aux politiques publiques à partir des années 2000.

Critiquant les politiques publiques menées jusqu’ici (en particulier sur le champ du développement international) et leur reprochant leur insuffisante efficacité, un certain nombre d’économistes ont alors proposé un nouveau modèle, visant à prendre des décisions basées sur l’expérimentation et l’évaluation systématique des interventions publiques.

Sans rentrer dans le détail, ce qui caractérise cette démarche dite expérimentale, c’est en effet que l’évaluation (réalisée par la comparaison de l’évolution de deux groupes, l’un « sous traitement », l’autre « de contrôle », au regard d’un indicateur de résultat) est directement intégrée à l’action. Les avantages sont nombreux, ne serait-ce qu’en termes de crédibilité et de possibilité, via la méta-analyse, de savoir quels types de mécanismes fonctionnent, et lesquels ne fonctionnent pas.

Évidemment, pour que cette méthode puisse être utilisée, les conditions sont drastiques : il faut que la chaîne causale soit très simple (pour qu’on puisse attribuer les changements observés à l’intervention), que les effets soient puissants (pour pouvoir être signifiants statistiquement) et interviennent rapidement (ne serait-ce que pour des raisons pratiques). Par ailleurs, la méthode ne peut réellement fonctionner que sur un périmètre restreint,sauf exception, qu’à petite échelle, et ne capturer les effets qu’au regard d’un petit nombre d’indicateurs quantitatifs.

Pourquoi serait-ce un problème ?

La méthode expérimentale n’est pas un problème en soi: au contraire, elle a sans doute représenté, notamment sur le champ du développement, un appel d’air bienvenu pour tester de nouvelles idées et repenser l’action publique en général.

Les problèmes commencent lorsque, d’une part, cette méthode commence à s’imposer aux acteurs publics, et d’autre part, quand elle commence à dépasser le cadre de projets très délimités pour s’appliquer aux problèmes sociaux à grande échelle.

Un article de Diana Epstein et Jacob Alex Klerman de 2012 est très éclairant de ce point de vue. Les auteurs y décrivent un dispositif fédéral américain de soutien à des expérimentations sociales. Celles-ci doivent obligatoirement être évaluées (en suivant la démarche expérimentale donc) au bout de 18 mois ; si les résultats à ce moment ne sont pas probants, le financement est suspendu. Les auteurs s’alarment en particulier du taux de renouvellement, extrêmement faible : est-ce qu’en réalité tous les projets sont inefficaces ? Manquent-ils de temps pour déployer leurs effets ? La réponse n’est pas donnée, pour autant une troisième hypothèse transparaît : pour maintenir leurs financements (évidemment) malmenés, les porteurs ont présenté des projets articulés autour d’une solution simple aux résultats rapides, quitte à ce que cela ne soit pas adapté au public visé et à leurs problèmes.

Ce cas peut sembler anecdotique. Et après tout, en France, un dispositif similaire comme le Fonds d’expérimentation de la jeunesse accepte, lui, la diversité méthodologique.

Néanmoins, force est de constater que cette façon de penser a énormément gagné en popularité au cours des dix dernières années, en France et à l’étranger, poussée par des chercheurs en économie appliquée qui ont investi de façon quasi-entrepreneuriale le champ du politique (voir pour la France la thèse d’Agathe Devaux-Spatarakis et les travaux d’Arthur Jatteau).

Une intervention simple peut-elle résoudre des problèmes complexes ?

Tout cela pourrait légitimement n’être considéré que querelle de chapelles si ces silver bullets étaient susceptibles d’avoir des résultats à la hauteur de leurs ambitions.

À première vue, la solution de Piketty est mécaniquement efficace. Mais pour cela, elle va réduire la complexité des problèmes qu’elle vise, de façon à ce qu’ils semblent désormais facilement solubles.  En particulier, et c’est là aussi une des caractéristiques de ces baguettes magiques, ces solutions tendent à  :

  • restreindre leur périmètre d’intervention (en termes de population, de territoire, etc.) ;
  • choisir et imposer le critère et l’indicateur sur lequel juger de leur efficacité
  • faire comme s’il n’existait pas d’autres politiques menées sur le même sujet.

Concernant le premier point, restreindre le périmètre est évidemment une question de bon sens lorsqu’il s’agit de tester une solution dans un projet expérimental ; mais c’est beaucoup plus problématique lorsqu’il s’agit de résoudre un problème de fond. Dans le cas d’espèce, la démonstration se fonde sur le cas de Paris, où il existe de fortes inégalités sociales. Mais fonctionnerait-elle en Seine-Saint-Denis, où les inégalités sont plus faibles, mais la ségrégation généralisée à l’échelle d’un département ? Ne serait-il pas plus juste, si la mixité sociale est une priorité, de faire en sorte que les collégiens de Seine-Saint-Denis soient mélangés lorsque c’est possible avec ceux de territoires limitrophes (dont Paris), plus favorisés ?

Il n’est pas anodin non plus que la mixité sociale soit résumée dans la démonstration de Piketty à un indicateur (qu’il s’agisse de la proportion d’élèves défavorisés ou bien, en fin de papier, boursiers). La solution qu’il propose permettrait mécaniquement d’atteindre le résultat escompté. Mais est-ce qu’elle créerait une véritable mixité ? Pour raisonner par l’absurde : un collège avec 84 % de très favorisés et 16 % de très défavorisés est-il mixte ? Est-ce que cette mixité signifierait échange ? On peut raisonnablement imaginer des difficultés d’adaptation, comme cela a été mis en évidence sur le champ du logement : les nouveaux locataires très défavorisés de logements sociaux situés dans des quartiers favorisés se sentaient très mal à l’aise et cherchaient, pour certains, à repartir (source: metropolitiques.eu. C’est également l’argument, pour les amateurs, du film Neuilly sa mère).

De plus, la solution de Piketty s’abstient de se positionner dans une théorie du changement plus large. Pour le dire autrement : pourquoi faire de la mixité sociale ? S’agit-il de favoriser la connaissance mutuelle entre les enfants de Paris, et in fine le vivre ensemble ? Ou bien veut-on donner un enseignement de meilleure qualité aux enfants issus d’un milieu défavorisé ? Et dans ce dernier cas, veut-on offrir les meilleures conditions aux élèves les plus brillants en priorité ? Or, cette question est loin d’être anodine : dans le premier cas, ne faut-il pas avant tout s’assurer que les enfants des ménages des classes moyennes qui emménagent dans les quartiers populaires envoient leurs enfants dans le collège du quartier, comme ils le font au primaire ? Ou bien retravailler sur la carte scolaire et la faire respecter ? Tandis que dans le second, sa solution semble beaucoup moins pertinente : si les collèges des beaux quartiers récupèrent les élèves les plus brillants, qui reste-t-il dans les collèges défavorisés ?

Enfin, concentré sur son résultat à court terme, Piketty refuse d’envisager la façon dont les parties prenantes vont s’adapter à la nouvelle obligation. Une intervention coercitive comme ici est séduisante, car ses effets sont immédiats ; mais plus elle est coercitive, plus elle tend à générer des impacts inattendus qui peuvent finalement en ramener les effets à zéro. Pour rester sur un exemple parisien, l’interdiction du tabac dans les bars pour préserver les serveurs a été contournée par des terrasses couvertes fumeurs, dans lesquelles les serveurs sont aussi exposés qu’avant au tabagisme passif. Or, quand on connaît les stratégies d’entre soi déployées dans les beaux quartiers, on imagine assez bien comment les parents, mais également les principaux et les enseignants, voire les élèves, pourraient s’y opposer et développer des stratégies de contournement, ne serait-ce pour les premiers qu’en scolarisant les enfants de l’autre côté du périphérique.

Il faut dire que, s’il faisait tout cela, il lui faudrait concéder qu’il existe depuis près de 40 ans une politique de l’éducation pour tous, centrée sur la lutte contre scolaire et la géographie prioritaire, sans compter les politiques qui plus généralement visent, si ce n’est à la mixité sociale, du moins à la lutte contre la ségrégation spatiale et à l’égalité des chances. La ministre de l’Éducation a d’ailleurs répondu sur ces éléments dans Le Monde.

Pour conclure

Il faut, à cette étape, redire à quel point il est utile et appréciable de disposer de données pour qualifier les problèmes sociaux et pour réfléchir à des solutions. Mais une approche basée sur la preuve ne dispense pas de prendre en compte le contexte dans lequel se font les politiques publiques, leur dimension équivoque, et les efforts menés depuis longtemps parfois pour résoudre les problèmes sociaux.

Esther Duflo, pourtant représentante s’il en est de ce courant, ne dit pas autre chose quand elle prévient qu’« il y a une forte demande politique pour des baguettes magiques qui permettraient de résoudre le problème [de la pauvreté] d’un seul coup, mais il est un peu vain de les chercher ».

Faire croire le contraire, dans un contexte où la crédibilité de l’action publique est sérieusement écornée dans l’opinion, c’est peut-être jouer à l’apprenti sorcier, d’autant que les conseillers d’aujourd’hui ne seront pas tenus comptables de l’échec éventuel de leurs solutions.


  1. Voir en particulier la fondation Bill & Melinda Gates, pionnière sur les questions de développement, ou l’approche qu’a Google des politiques publiques.
Ce contenu a été publié dans Actualités de l'évaluation par Thomas D., et marqué avec , , . Mettez-le en favori avec son permalien.

A propos Thomas D.

Thomas D. est bloggeur invité de la vigie de l’évaluation. Thomas est membre de la communauté internationale des évaluateurs depuis plus d’une décennie. Il contribue à la Vigie de l’évaluation de l’évaluation par sa veille, des articles d’actualité et d’opinion, pour l’animation des débats sur les pratiques d’évaluation de politiques publiques.

2 réflexions au sujet de « Les baguettes magiques basées sur la preuve sont-elles meilleures que les autres ? »

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.