EES 2018 : le retour aux valeurs

Après Maastricht en 2016, la conférence biennale de la Société européenne de l’évaluation (EES), avait lieu cette année début octobre à Thessalonique en Grèce sur le thème « Evaluation for more resilient societies ». Elle s’est déroulée du 1 au 5 octobre, avec une série d’ateliers en ouverture les 1 et 2 octobre, puis la conférence en elle-même du 3 au 5 octobre.

Plus de 700 contributions internationales

Impossible bien sûr d’être complet sur ce qui s’est passé durant cet événement très riche, avec plus de 700 contributions et une douzaine de présentations phares réunissant les grands noms de l’évaluation en Europe et dans le monde. Cependant, s’il fallait retenir une chose de cette conférence 2018 de l’EES, c’est qu’après 10 ans de discussions sur les méthodes, c’est bien la réflexion sur les valeurs qui était au cœur de cette conférence. C’est sur ce « tournant des valeurs » que porte en particulier ce compte-rendu.

Si certains sujets développés vous intéressent plus particulièrement, un grand nombre de captations vidéo sont disponibles sur le site de l’EES (une fois que vous accédez à la page à partir du lien,zcliquer à nouveau sur l’onglet « Videos » afin de voir les différentes rubriques). Sur twitter, le #EES2018 vous permet également de revenir en détail sur le déroulement de la conférence.

Les ateliers avant la conférence

Une vingtaine d’ateliers étaient organisés avant la conférence, portant sur le renforcement des capacités en suivi et évaluation ; les approches, méthodes et le design de l’évaluation ; ou des entrées plus thématiques comme les objectifs de développement durable, l’égalité des genres, la résilience… Ces ateliers d’une journée étaient généralement animés par des personnalités de référence dans leur domaine, mais leur format pouvait largement varier avec :

  • Scott Chaplowe

    Des ateliers avec un angle « formation », qui sont l’occasion de se confronter à des thématiques ou expertises largement approfondies au niveau international, mais qui le sont parfois moins en France, comme l’atelier sur le développement des capacités en suivi et évaluation animé par Scott G. Chaplowe.

  • Des ateliers avec un angle plus participatif ou de réflexion collective. Ainsi le déroulé de l’atelier animé par Michele Tarsilla était conçu en fonction des réponses des participants sur les barrières personnelles et professionnelles qu’ils rencontrent dans leurs pratiques évaluatives.
  • Des ateliers mixant largement ces deux approches, comme l’atelier sur les recommandations animé par Osvaldo Feinstein et Ian Davies, qui abordait dans un premier temps les bonnes pratiques dans leur formalisation et leur diffusion, mais laissait en ouverture une large part à la réflexion collective concernant la responsabilité des évaluateurs et des organisations dans leur bonne mise en œuvre.

Vers une évaluation “post-normale” ?

La conférence en elle-même s’est ouverte par un discours du Président de l’EES Bastiaan de Laat rappelant pourquoi le thème « Evaluation for more resilient societies » a été choisi pour cette édition : Dans des temps turbulents marqués par la montée des nationalismes, des fake news, des crises écologiques, migratoires, économiques, financières… comment l’évaluation peut-elle sortir d’un exercice de routine ou managérial pour contribuer à changer les choses ? Comment peut-elle questionner ses approches, ses théories et ses pratiques pour être plus utile en temps de crise ?

En réponse directe à ces questions, l’une des conférences en plénière parmi les plus remarquées a été celle de Thomas Schwandt (Université de l’Illinois) sur « l’évaluation post-normale » (voir la Keynote Lecture #2 parmi les vidéos disponibles sur le site de l’EES). S’interrogant sur le Zeitgeist, il fait dans un premier temps le constat d’un état du monde incertain avec l’érosion des modes de gouvernance habituels, la polarisation des sociétés ou encore l’émergence d’une ère de post-vérité.

Dans ce contexte, l’évaluation se présente comme un moyen de « renforcer la certitude dans l’appréciation de la valeur des programmes » et de « mieux atteindre les objectifs fixés », mais en remettant trop rarement en cause les valeurs sous-jacentes aux politiques publiques actuelles, ainsi que des modes de gouvernance actuels qui promeuvent « des interventions fragmentées ciblant des problèmes spécifiques, plutôt que de s’attaquer à des problèmes complexes ». Un jugement qui rappelle d’ailleurs celui de Sandra Mathison.

« Par son alliance avec les modes de gouvernance [actuels], les pratiques de l’évaluation s’associent, directement ou indirectement, avec les idées du libéralisme et du néolibéralisme, en déterminant les valeurs des programmes comme celles convenant aux États ou aux solutions de marché » (Thomas Schwandt)

Pour lui, il n’est plus possible de continuer à penser l’évaluation comme une science basée sur des données empiriques et menant à des conclusions indiscutables, dans un contexte de politiques par nature incertaines, dont les valeurs fondatrices sont remises en question, et pour lesquelles la complexité est la norme.

L’évaluation et son rôle doivent ainsi être profondément repensés pour contribuer, bien au-delà de l’exercice de mesure de la performance des interventions, à renforcer la démocratie et redonner du pouvoir aux citoyens pour en faire des coproducteurs des politiques publiques.

Mais comment mener cette transition ? Ce n’est pas, ou pas uniquement, par l’innovation dans les méthodes que nous y parviendrons, mais bien en reconnaissant la place de l’incertitude et de la complexité et surtout en mettant les enjeux éthiques au cœur de la pratique évaluative. Et cela ne pourra s’accomplir qu’en ouvrant davantage l’évaluation aux différentes disciplines (sociales, politiques, économiques, psychologiques, etc.) de façon à diversifier et enrichir les perspectives. Thomas Schwandt nous invite ainsi à réfléchir à notre capacité, en tant qu’évaluateur, à :

  • assumer la place centrale de certaines valeurs morales telles que l’égalité femme-homme, l’inclusion sociale, la justice sociale, la sensibilité culturelle, etc. dans la production des politiques ;
  • réinterroger les fondements politiques et moraux d’un programme ou d’une politique ; les normes et valeurs qu’ils poursuivent ; ou encore la justification des cadres ou modèles sous-jacents (ex. : politique basée sur les données probantes, gestion axée sur les résultats, évaluation de la performance…).

Complexité, valeurs, éthique, gouvernance…

En miroir à ces réflexions, les thématiques abordées lors des différentes présentations se sont moins concentrées sur des aspects méthodologiques, mais plutôt à la dimension « sociale » voire ontologique de l’évaluation.

  • Le concept de valeur, au cœur des discours sur l’évolution du rôle de l’évaluation, a fait l’objet de plusieurs présentations pour revenir sur sa définition et sur les moyens ou la posture des évaluateurs pour les déconstruire.

  • Une partie des présentations questionnait aussi la capacité de l’évaluation à intégrer la complexité et le caractère systémique des politiques évaluées et de leur environnement : Quelles approches retenir ? Comment représenter les théories du changement de programmes complexes ? Un questionnement qui n’est pas récent et fait largement consensus mais dont les réponses sont encore en construction.

  • La meilleure intégration des parties prenantes et notamment des bénéficiaires, de leurs attentes, de leurs points de vue, de leurs valeurs… dans les évaluations était une thématique encore davantage représentée, traduisant l’idée que l’évaluation doit promouvoir une gouvernance élargie des politiques publiques. Comment alors redonner leur place aux pays du Sud et aux populations locales dans les politiques de coopération ? Aux populations généralement discriminées ? Comment s’assurer que leurs voix comptent et ainsi faire que l’évaluation contribue au renforcement de la démocratie ?

  • Également abordée, l’attention portée à la fragilité des publics et populations concernées par les évaluations, traduite en anglais par le « care » et considérée comme peu valorisée dans les sociétés occidentales.

  • Face à ces enjeux, les compétences des évaluateurs étaient naturellement discutées, en mettant l’accent sur le fait que ces derniers ne doivent pas seulement être des techniciens, et que la dimension politique et éthique sont tout autant importantes dans leur panel de compétences.

Pour finir…

Beaucoup d’autres sujets pourraient être abordés, avec des présentations toutes aussi intéressantes sur l’opérationnalisation des méthodes d’évaluation d’impact, la réflexion sur la révision des critères d’évaluation de l’aide au développement définis par l’OCDE, etc.

Dans tous les cas, l’EES2018 semble clore un cycle, celui de la course à la méthode, comme l’a rappelé Elliot Stern en conclusion :

Clore un cycle et en relancer un nouveau: C’est aussi à un passage de témoin que nous avons assisté à Thessalonique, car cette édition 2018 était vraisemblablement la dernière pour un certain nombre d’évaluateurs et d’évaluatrices ayant marqué la discipline ; et la première pour le groupe de 10 jeunes évaluateurs émergents qui ont marqué cette édition de leur énergie.

Prochain rendez-vous dans deux ans !

 

Pour aller plus loin, vous pouvez :

Ce contenu a été publié dans Actualités de l'évaluation par Thomas D.. Mettez-le en favori avec son permalien.

A propos Thomas D.

Thomas D. est bloggeur invité de la vigie de l'évaluation. Thomas est membre de la communauté internationale des évaluateurs depuis plus d'une décennie. Il contribue à la Vigie de l'évaluation de l'évaluation par sa veille, des articles d'actualité et d'opinion, pour l'animation des débats sur les pratiques d'évaluation de politiques publiques.

3 réflexions au sujet de « EES 2018 : le retour aux valeurs »

  1. Merci pour la synthèse sur les importants thèmes soulevés et pour les liens.

    Félicitation aux Evaluateurs émergents qui sont plutôt des Evaluatrices émergentes si l’on en croit la photo.
    Attention au déséquilibre de genre dans l’évaluation. J’ai l’impression qu’on a là une tendance. Quelle signification ? Qelle conséquence ?

    Catherine Pravin
    Service Evaluation à la DG DEVCO
    Commission européenne

    • Bonjour Catherine et merci pour votre observation.

      Faisant partie des jeunes évaluateur·rice·s sélectionné·e·s – https://twitter.com/EES_Eval/status/1011271245319622657 -, nous avons, comme vous, été (agréablement) surpris de la répartition Femmes – Hommes du groupe. Cette répartition s’explique en partie par la volonté de la Société Européenne d’Évaluation de favoriser une bonne représentation géographique de l’Europe. Ainsi, le groupe comptait en son sein de jeunes évaluateur·rice·s des pays suivants : Allemagne, Biélorussie, Espagne, Finlande, France, Géorgie, Italie, Roumanie, Turquie et Ukraine.

      À ce propos, nous organisons actuellement une évaluation de la compétition qui permettait à 10 jeunes évaluateur·rice·s d’être invité·e·s et de présenter ses travaux lors de la conférence. Je pense que votre questionnement sur les conséquences de cette répartition a toute sa place dans cette démarche.

      Bien à vous,

      Marc Tevini,
      Consultant en évaluation
      Quadrant Conseil

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.