Les quatre chapelles de l’évaluation

Nota : ceci est un billet de réflexion, destiné à animer nos chères communautés d’évaluateurs. le trait est volontairement (un peu) forcé.L’article n’engage que ses auteurs (*).

Evaluateurs partout, évaluateurs nulle part

évaluateur mystère

Évaluateurs depuis le début des années 2000, nous pensions tout connaître de ce petit milieu.

Et puis nous découvrîmes successivement des rapports d’évaluation très médiatiques d’auteurs dont nous n’avions jamais entendu parlé. Des instances nationales d’évaluation qui n’évaluent pas.

Vint ensuite l’épisode fugace de la ‘notation des ministres’ aussi vite oubliée qu’annoncée. Et récemment le Gouvernement qui déclare vouloir “évaluer toutes les politiques publiques”, mais qui n’a pas dérangé un seul membre de notre belle communauté des évaluateurs.

Mais qui sont ces évaluateurs qui évaluent sur nos têtes?

Voici notre propos : il existe en France plusieurs communautés qui se disputent la fonction d’évaluateurs. Ces communautés s’ignorent mutuellement avec superbe.

1. la chapelle “SFE”

extrait de l'article

Extrait de dessin paru avec la note d’étonnement ‘Journées Françaises de l’Evaluation’  2013 par la stagiaire masquée

La Société française d’évaluation (SFE), créée en 1999, regroupe environ 600 membres, dont beaucoup de praticiens issus des petits cabinets privés et de responsables d’évaluation de collectivités locales. Quelques chercheurs y participent aussi, en particulier de jeunes chercheurs, venant pour beaucoup des sciences sociales.

En tant que société professionnelle, elle est l’héritière du lent processus de légitimation de l’évaluation en France et prône en conséquence des pratiques qui ressemblent à l’évaluation telle qu’elle se pratique très majoritairement en Europe (1) : des évaluations pluralistes, à visée essentiellement formative, dans lesquelles les commanditaires posent les questions auxquelles les prestataires répondent et dont la robustesse se mesure avant tout au croisement de plusieurs sources de données, souvent qualitatives.

Sa charte, qui date de 2003, insiste essentiellement sur le processus d’évaluation et sur la répartition des rôles, sans être prescripteur sur les méthodes à employer.

  • À les entendre, ce sont les seuls à produire des évaluations utiles à la décision publique.

>> voir un exemple de rapport d’évaluation d’un évaluateur membre de la SFE (un rapport sur la coopération internationale ici ou sur une politique régionale de transport en bas de page)

2. La chapelle des économistes

Historiquement, l’évaluation économique basée sur la quantification des impacts a précédé l’évaluation telle que développée par la “chapelle SFE” (2).

institut des politiques publiques

Depuis quelques années, un nouveau groupe d’économistes universitaires a investi le champ de l’évaluation en prônant l’évaluation expérimentale directement auprès des administrations centrales, qui ont toujours été plus rétives à l’évaluation de type “SFE”.

Du calcul économique public du début XIXème à l’évaluation d’impact du début XXIème, l’évaluation à dominante quantitative a achevé un cycle, et connaît un nouvel essor conquérant.

Dans le sillage d’Esther Duflo (3), ces laboratoires (LIEPP, École d’économie de Paris au sein de l’Institut des politiques publiques) se sont fait une spécialité de réaliser des évaluations à fort impact médiatique (par ex. expérimentation du RSA), réalisées dans le cadre de projets de recherche et de plus en plus dans le cadre de commandes publiques d’organismes d’État.

Cette démarche est rejointe par les tenants de “levidence-based’ policy, assez nombreux dans les pays de culture anglo-saxonne (cf. Alliance for Useful Evidence) et dans le domaine de l’aide au développement.

Pour eux, l’évaluation est une application particulière de la micro-économie (4), dont la qualité se mesure à sa validité statistique. Évaluer permet de briser les idées reçues (5) et de changer pour le mieux la vie du plus grand nombre.

  • À les entendre, ce sont les seuls à produire des évaluations fiables.

>> voir un exemple de rapport d’évaluation par des économistes (ici en pdf sur les internats d’excellence ou là sur le site 3ieimpact.org)

3. L’évaluation gouvernementale

cimap-site

Lorsque le gouvernement a annoncé au CIMAP que toutes les politiques devaient être évaluées, il leur a fallu proposer une méthode. Un éco-système s’est créé, avec le CGSP, le guide méthodologique du Conseil d’analyse économique, etc. L’évaluation quantitative est reconnue comme étalon de la méthode évaluative.

“En France on a une haute fonction publique qui tourne le dos au monde académique et à ses méthodologies, tout le contraire de ce qui se passe aux Etats-Unis”

Vincent Spenlehauer dans une interview au CESE le 22/10/2013.

Mais dans les faits, pas de grands changements, l’évaluation gouvernementale reste l’apanage des corps d’inspection de l’État (IGA, IGAEN, IGF, IGAS) et la démarche de ‘modernisation de l’action publique’ (MAP) leur a permis (dans un premier temps) de réaffirmer leur primat sur ce domaine, après une RGPP marquée de la patte de McKinsey et des cabinets de conseil internationaux.

schema-epp-140123

Schéma type d’une évaluation du CIMAP, en deux temps 1/ Diagnostic et 2/Scénarios

Leur pratique s’appuie largement sur leur expertise de l’État, des données de gestion fournies à leur demande par les services, et parfois la réalisation d’études de cas locales. La consultation des usagers et la mesure d’impact sont balbutiants.

Leurs rapports font la part belle aux questions financières et d’ailleurs, pour eux, l’évaluation n’est guère différente des contrôles et bilans qu’ils réalisent depuis des décennies — avec pour principale variation une plus grande emphase sur les préconisations.

  • À les entendre, ce sont les seuls légitimes à évaluer du point de vue de l’intérêt public, et donc à évaluer les politiques gouvernementales.

>> voir un exemple de rapport d’évaluation présenté au CIMAP (par ex. le rapport sur le pilotage de l’ESS, ou bien ici la liste de tous les rapports suivis par la vigie)

4. La Cour des comptes

Une dernière chapelle est peut-être en train de se constituer. La Cour des comptes a commencé à investir le domaine de l’évaluation sous la présidence de M.Seguin, et M. Migaud a amplifié le mouvement, consacré par des prérogatives reconnues par la loi depuis 2011.

tabac

Pour la Cour des comptes, l’évaluation est d’abord un prolongement de leur démarche de contrôle, à la manière des corps d’inspection. Comme eux, ils posent leurs propres questions, définissent leurs propres normes et sont attentifs d’abord à l’efficience des politiques.

Mais dans le même temps, la Cour des comptes interroge sa démarche et semble se rapprocher progressivement des praticiens de la SFE (notamment par une participation régulière aux JFE).

Les principes et la pratique de la Cour des comptes sont en cours d’élaboration, la chapelle n’est pas encore constituée. L’ENA aussi d’ailleurs se pose des questions, comme lors de ce séminaire en en mars 2013: “La métamorphose des corps d’inspection : du contrôle à l’évaluation”.

>> voir un exemple de rapport d’évaluation de la Cour des Comptes ( sur le tabagisme ou encore là sur l’hébergement des SDF )

Pourquoi faire bien ensemble ce que l’on peut saborder à plusieurs ?

Le plus symptomatique dans ce paysage est l’ignorance dans laquelle chaque chapelle se tient des autres. On ne verra guère d’inspecteurs de l’État lors des journées bisannuelles de la SFE (6), qui pourtant se veut rassembleuse. Pour les économistes, l’évaluation n’existait pas en France avant leur arrivée et il est temps de la développer – en dépit des prétentions des  cabinets privés et des collectivités qui se targuent de faire l’essentiel de l’évaluation en France depuis des années.

citation Wasmer

Extrait de“Évaluation des politiques publiques : faut-il de l’interdisciplinarité? “, par Etienne Wasmer et Christine Musselin

Pourquoi tant de chapelles ?

Car le nerf de la guerre pour l’évaluateur, c’est la crédibilité. Le regroupement en chapelles facilite l’édiction de normes sur “la bonne façon de faire de l’évaluation”. Chacun se bat avec ses propres armes : les praticiens privés avec la souplesse de leurs méthodes ad hoc, les chercheurs avec la validité statistique de leurs outils quantitatifs, les corps d’inspection avec leur mandat et leur accès aux données et aux personnes.

Et il en existe bien d’autres, délimitées sur leur champ de compétences sectorielles : dans le domaine de la santé (HAS, ARS, ANESM), de l’éducation (CNESCO),  de l’aide au développement, des risques industriels, etc.

Cette situation est stérile

Chaque pratique d’évaluation a ses avantages et ses inconvénients, et surtout, ne peut être appliquée que dans certaines conditions. On ne verra jamais la politique de Défense nationale faire l’objet d’une évaluation pluraliste et transparente, et 95% des politiques publiques ne se prêteront jamais à une expérimentation contrôlée. Dès lors, pourquoi ne pas prendre le meilleur de chaque pratique et partager les leçons de l’expérience?

Cette situation est surtout évitable

Dès aujourd’hui, les nouveaux acteurs nationaux de l’évaluation cherchent leur chemin et parviennent à faire quelques ponts: le Comité d’évaluation et de contrôle de l’Assemblée Nationale s’est entouré de cabinets privés et de laboratoires de recherche ; la Cour des comptes est présente à la SFE, et bien sûr jamais trop loin des corps d’inspection.

CEC evaluation

Quand elle travaille pour le CEC, elle fait une synthèse des pratiques qui tire bien vers les pratiques pluralistes prônées par la SFE, avec force consultations (enquête, focus group, etc.). De même, le CGSP se positionne en centre de ressources “en partenariat avec des chercheurs d’une part, des praticiens de l’évaluation d’autre part”.

Cette situation est dynamique

Après 20 ans d’émergence de l’évaluation “sous le radar”, les lignes bougent vite. Il est possible de les faire bouger avec un effort mesuré de dialogue.

Et vous ?

  • Qu’en pensez-vous ?
  • Appartenez-vous à une chapelle ?
  • Comment faire dialoguer ces mondes et leurs méthodes ?

Pour aller plus loin

Heureusement, d’autres ont déjà réfléchi sur le sujet. Vous pouvez lire sur le sujet:

Bonus : résumé gratuit ! (et un peu caricatural pour les besoins de la chose)

4chapelles

(*) Article rédigé pour le plaisir de la controverse par Alix de Saint-Albin et Thomas Delahais.

(1) La SFE est membre de la Société européenne d’évaluation.

(2) Matyjasik, N. (2010). L’évaluation des politiques publiques dans une France décentralisée. Institutions, marché et professionnels (Doctoral dissertation, Université de Bordeaux). http://tel.archives-ouvertes.fr/tel-00543239/

(3) Esther Duflo a rédigé le guide de référence des évaluations financées par le Haut Commissariat à la Jeunesse. Sa thèse est consacrée à l’évaluation économique des projets de développement. En 2011, le magazine américain Time la fait figurer sur sa liste des 100 personnes les plus influentes au monde. cf page Wikipedia.

(4) Voir par exemple les Principes de microéconomie d’Étienne Wasmer, directeur du LIEPP.

(5)Le best-seller Freakonomics en est un très bon exemple.

(6) La précédente présidente de la SFE, Inspectrice générale des affaires sociales, faisant figure d’exception à cet égard.

10 réflexions au sujet de « Les quatre chapelles de l’évaluation »

  1. Votre panorama est très percutant et je m’y retrouve tout à fait.
    Et merci pour votre avis sur le travail fait avec Clément Lacouette, ce n’était rien d’original mais au moins un état des lieux et de quelques idées …
    Bon travail à vous, PL

  2. Très clair et synthétique, ça m’éclaire.

    Travaillant dans le domaine des transports publics, je dirais que l’on pourrait aussi rajouter la notion d’évaluation socio économique au sens de la loi LOTI (Loi sur l’Orientation des Transports Intérieurs de 1982 – – http://legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000319738) qui impose pour les projets d’investissement dans les infrastructures de transports une évaluation socio économique ex ante et un bilan LOTI ex post.

    Pour la partie ex ante, cela se rapproche plus de la chapelle “économiste” avec la quantification des externalités positives et négatives des projets en calcul économique. En France l’exercice est cadré par l’instruction cadre du 25 mars 2004 qui se base sur le rapport Boiteux II – http://www.annales.org/edit/re/2001/re10-2001/baumstark055-65.pdf (du nom de l’ingénieur du corps des ponts). C’est un cadre d’analyse qui a mon sens à une valeur relative entre des scenarii ou des projets mais une valeur absolue assez discutable. Il est d’ailleurs intéressant de voir que les auteurs de ce travail assument les partis pris politiques ou moraux dans les conventions de valorisation économique (l’exemple le plus frappant est celui de la valorisation du cout de la vie humaine).
    Quant au bilan LOTI ex post, c’est un exercice qui se résume souvent à une justification a posteriori des choix qui ont été faits (ce qui s’explique aussi par l’irréversibilité des projets: une fois une ligne de métro construite, il est délicat politiquement de venir affirmer a posteriori que c’était un mauvais choix dans la mesure où il n’est pas possible de revenir en arrière).

  3. Ping : La guerre des chapelle n’aura pas lieu | La Vigie de l'éval

  4. Excellent travail de synthèse, qui vaut diagnostic de la situation, de l’évaluation en France. J’aimerais que les principaux champs d’évaluation puissent être traités séparément, dont celui de la Santé qui m’intéresse tout particulièrement.
    Existe-t-il ce type de diagnostic à l’étranger ? Notre situation relève-t-elle du mal français que dénonçait déjà le général de Gaulle en parlant des partis politiques et se référant à l’extrême variété de nos fromages ? Enfin que faudrait-il faire pour regrouper ces chapelles ou au moins les faire travailler ensemble pour améliorer leur efficience globale et peut être aussi, en diminuer le coût ?
    Que de sujets passionnants à traiter ?

  5. Ping : Evaluation : guerre des chapelles inévitable ou syncrétismes souhaitables ? | La Vigie de l'éval

  6. Quelques précisions sur la composition de la SFE.

    Les adhérents individuels (324) : consultants 39% ; Etudiant 12,62% ; Etat 11% ; Universitaire-Chercheur 10,03% ; Association 6,15% ; Collectivité territoriale 5,18% ; Sans emploi 5,18% ; Retraité 3,88% ; Organismes professionnels, syndicats 0,97% et non renseigné 5,5%

    Les adhérents institutionnels (99 soit 366 personnes désignées par les institutions) : Collectivité territoriale 40,21% ; Société privée 20,62% ; Etablissement d’enseignement, de recherche 10,31% ; Association 9,28% ; Administration centrale 8,25% ; agence ou mission inter-ministériel 7,22% Service déconcentré de l’Etat 2,06% ; Syndicat, parti politique 1,03 % et organisme professionnel 1,03%

  7. Ping : Bilan de 2 ans d’évaluations gouvernementales | La Vigie de l'évaluation

  8. Intéressant article qui retranscrit fidèlement ce que j’ai vu et pratiqué depuis 15 ans. Certains économistes étaient, sont ?, partis prenantes de la SFE à sa création et faisaient ainsi le lien entre recherche et consultants. C’est la vogue de l’expérimentation contrôlée et de quelques personnalités sectaires, voulant exclure toute autre approche, qui a séparé le monde des économistes du monde de la SFE. Les économistes sont loin d’être une chapelle très homogène comme l’indique la controverse actuelle sur l’éclatement ou non du champ académique en deux sections du conseil national des universités. Les économistes mis en avant dans ce blog sont, hélas, peu ouverts et relativement sectaires. Une occasion perdue.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.