Retour sur la 12e Conférence bisannuelle de la Société européenne d’évaluation

Par Thomas D. et Bjorn N. 

Après Helsinki, Prague et Dublin, la 12e Conférence bisannuelle de la Société européenne d’évaluation (EES) se tenait cette année à Maastricht, aux Pays-Bas. C’est le grand moment d’échange des évaluateurs européens.

2016-10-07-23_36_12-european-evaluation-sur-twitter-_-_take-the-official-ees2016-t-shirt-with-you

Pour beaucoup l’occasion de revoir des amis et des partenaires du monde entier (le public se recrutant au-delà des frontières européennes, aussi bien en Amérique qu’en Asie, en Afrique et même en Océanie), la Conférence est aussi l’occasion d’identifier les débats qui agitent la communauté évaluative mondiale en 2016.

Des débats méthodologiques à la pointe…

QCA : La méthode qui monte

Au menu des très nombreuses sessions tenues en parallèle (plus de 180), une star montante sur le front méthodologique, l’analyse qualitative comparée (Qualitative Comparative Analysis, la QCA). À découvrir sans attendre!

La QCA est une méthode permettant la comparaison systématique des facteurs de succès ou d’échec sur un petit nombre de cas d’étude dans le but d’aboutir, lorsque c’est possible, à une généralisation, voire à une modélisation (à l’échelle de l’évaluation).

Illustration proposée par le site Mandenews (mande.co.uk)

Illustration proposée par le site Mandenews (mande.co.uk)

Au programme de la demi-douzaine de sessions consacrées à la QCA : ses applications sectorielles, ses apports, ses limites, les possibilités de la combiner avec d’autres méthodes telles que la synthèse réaliste ou la récolte de résultats (outcome harvesting) ont été largement abordés lors de la Conférence. Conclusion largement partagée: la QCA est un apport bienvenu dans l’arsenal des méthodes par études de cas pour caractériser et modéliser les facteurs d’impact, sans être toutefois l’approche « pousse-bouton » que certains espéraient.

Les autres sujets chauds

D’autres techniques et méthodes ont été discutées, approfondies, pour enrichir encore la boîte à outils de l’évaluateur :

  •  L’évaluation et la synthèse réaliste
  •  la reconstitution de processus (process tracing)
  • l’analyse de contribution
  • et plus largement les approches basées sur la théorie et l’analyse de réseau

Principaux enjeux évoqués : comment appliquer en situation réelle ces méthodes prometteuses ? comment les combiner pour répondre aux besoins des parties prenantes ?

Et toujours les approches expérimentales ?

Les approches contrefactuelles enfin, appliquées à l’échelle projet comme à l’échelle programme, restent présentes sans retrouver la domination qu’elles opéraient sur les débats il y a encore quelques années, témoignant d’un rééquilibrage dans la diversité des méthodes d’évaluation existantes.

… Et des enjeux vieux comme l’évaluation

Mais comme l’a rappelé Claire Hutchings d’Oxfam dans l’adresse ouvrant la dernière journée de la Conférence, la fascination des évaluateurs pour la méthode ne doit pas faire oublier le plus important des enjeux : comment faire en sorte que l’évaluation soit utile ? « L’évaluation ne commence pas par la méthode, elle commence par la question posée », rappelle-t-elle.

Les principaux sujets évoqués lors de la Conférence selon Claire Hutchings
img_4424

Filant la métaphore automobile, Claire Hutchings a souligné qu’il est certes normal de chercher à construire (et à conduire) des Ferrari évaluatives; mais que pour monsieur et madame tout-le-monde, l’important était plutôt de produire en masse des Fiat fiables (nous laissons aux amateurs le soin de discuter la pertinence du choix dans la marque), qui rempliront leur office malgré la faiblesse des données, les hésitations des parties prenantes, les budgets ou les délais insuffisants.
Claire Hutchins a également appelé les évaluateurs à s’engager dans le processus d’action publique s’ils veulent vraiment faire la différence in fine: ils ne peuvent pas se conduire en simple fournisseurs de service et doivent trouver leur place depuis la phase de conception de l’action publique jusqu’à l’évaluation proprement dite, en passant par la mise en œuvre et le pilotage.

Autres sujets anciens mais absolument pas épuisés : la professionnalisation (voir ci-dessous) et l’organisation de l’évaluation partout dans le monde ; les standards d’évaluation; et les usages de l’évaluation, entre le rendre compte et l’apprentissage (peut-on réellement faire les deux à la fois ?

La question de la professionnalisation

Le thème de la professionnalisation a fait l’objet de nombreuses discussions lors de la Conférence, en lien avec les nombreux développements que ce thème connaît à l’échelle internationale. En particulier, l’United Nations Evaluation Group (UNEG) a élaboré un catalogue de compétences pour trois groupes de responsables d’évaluation: les Senior Officers, les Intermediate Officers et les Officers. L’UNEG propose ainsi un concept complet dont l’utilisation ne se limitera probablement pas à l’ONU.
Autre voie explorée, celle de la Société européenne d’évaluation et de la Société britannique (UKES), qui testent une approche volontaire de revue par les pairs (Voluntary Evaluator Peer Review ou VEPR). Cette approche est originale dans la mesure où il ne s’agit pas tant de certifier les compétences des évaluateurs, mais de les accompagner dans une réflexion sur leur propre pratique.
Enfin, dernière orientation intéressante, les réflexions théoriques de Martin Reynolds qui parle de « professionnalisation démocratique », dans laquelle le public serait partie prenante de l’évaluation, mettant ainsi en évidence les lacunes des évaluations actuelles:

 Un système qui ferait du public un « citoyen participant » (plutôt qu’un simple client) […] ce qui passerait par le partage des tâches dans une conversation sur le sens de l’évaluation (« apprentissage social ») de façon à transformer, rénover, reconstruire, co-créer, donner le pouvoir à la société civile.

D’autres contributions particulièrement intéressantes

  • La liste des contribution est disponible à cette adresse
  • La métaévaluation conduite par Thomas Widmer et son équipe à partir d’un échantillon de 34 établissements du secondaire en Suisse et d’une enquête auprès des parties prenantes de ces établissements déconnecte presque totalement la qualité des évaluations (mesurée au regard des standards de la SEVAL) et l’influence perçue de ces évaluations par les parties prenantes. Un résultat « plutôt irritant » selon lui.
  • Plusieurs présentations autour du projet IMPACT Europe et de son objectif qui consiste à savoir ce qui marche dans la lutte contre la radicalisation violente. Le papier de Tom Ling et collaborateurs qui présente un cadre d’évaluation de ces programmes a reçu le prix du meilleur papier de la Conférence

 

Et vous, étiez-vous à la Conférence ? Qu’en avez-vous retenu ?

Ce contenu a été publié dans Actualités de l'évaluation par Thomas D.. Mettez-le en favori avec son permalien.

A propos Thomas D.

Thomas D. est bloggeur invité de la vigie de l’évaluation. Thomas est membre de la communauté internationale des évaluateurs depuis plus d’une décennie. Il contribue à la Vigie de l’évaluation de l’évaluation par sa veille, des articles d’actualité et d’opinion, pour l’animation des débats sur les pratiques d’évaluation de politiques publiques.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.