Pourquoi intégrer les citoyens dans une démarche d’évaluation
Évaluer un service, un dispositif ou un projet ne consiste pas seulement à vérifier le respect d’un budget, d’un calendrier ou d’un cahier des charges. Il faut aussi comprendre l’expérience des personnes concernées : les difficultés rencontrées, les effets réellement produits et les améliorations attendues. Les citoyens et les usagers disposent, sur ces sujets, d’une connaissance pratique que les données administratives ne montrent pas toujours.
Une démarche participative associe ces personnes à une ou plusieurs étapes de l’évaluation. Elles peuvent contribuer à définir les critères, formuler les questions, recueillir des informations, interpréter les résultats ou discuter des suites à donner. Leur participation ne remplace pas l’expertise méthodologique. Elle la complète en apportant un regard situé, fondé sur l’usage concret du service ou sur l’impact vécu d’une décision.
Cette approche présente plusieurs intérêts :
- repérer des problèmes qui ne ressortent pas des indicateurs habituels ;
- mettre en évidence les écarts entre le service prévu et le service effectivement utilisé ;
- mieux prendre en compte les besoins de publics peu visibles dans les statistiques ;
- rendre les conclusions plus compréhensibles pour les personnes concernées ;
- faciliter le suivi des améliorations annoncées.
La participation n’est toutefois pas une simple consultation d’opinion. Elle doit avoir un périmètre défini, des règles de fonctionnement et une restitution transparente. Sans cela, les participants peuvent avoir le sentiment que leur contribution n’a servi qu’à légitimer une décision déjà prise.
Distinguer information, consultation et coévaluation
Les démarches participatives recouvrent des niveaux d’implication différents. Les confondre peut créer des attentes irréalistes. Informer consiste à transmettre des éléments sur un projet ou sur ses résultats. La consultation recueille des avis, sans garantir que ceux-ci modifieront la décision. La concertation permet de discuter plusieurs options et leurs conséquences. La coévaluation va plus loin : les personnes concernées participent à la construction du jugement évaluatif et à l’analyse des résultats.
Avant de lancer une démarche, il est utile de préciser trois points :
- Ce qui est ouvert à la discussion : les critères d’évaluation, les modalités d’enquête, l’interprétation des résultats ou le plan d’action.
- Ce qui ne l’est pas : les obligations légales, les contraintes techniques ou les décisions déjà arrêtées.
- Ce qui sera fait des contributions : modification du dispositif, expérimentation, réponse argumentée ou classement sans suite.
Le tableau suivant aide à choisir un niveau d’association adapté.
| Niveau | Rôle des citoyens | Outil possible | Point de vigilance |
|---|---|---|---|
| Information | Prendre connaissance des résultats | Réunion publique, synthèse accessible | Ne pas présenter l’information comme une participation |
| Consultation | Donner un avis ou signaler des difficultés | Questionnaire, registre de remarques | Expliquer les suites données aux réponses |
| Concertation | Comparer des options et formuler des propositions | Atelier, groupe de discussion | Éviter que les personnes les plus disponibles dominent les échanges |
| Coévaluation | Contribuer aux critères, à l’analyse et aux recommandations | Comité d’usagers, enquête accompagnée | Prévoir un cadre méthodologique et une animation impartiale |
Cadrer la démarche avant de solliciter les usagers
La qualité des retours dépend largement de la préparation. Une question trop générale, telle que « Êtes-vous satisfait du service ? », produit souvent des réponses difficiles à interpréter. Il est préférable de transformer l’objectif en questions évaluables : le service est-il accessible aux horaires annoncés ? Les démarches sont-elles compréhensibles ? Les délais sont-ils compatibles avec les besoins ? Les personnes savent-elles à qui s’adresser en cas de difficulté ?
Une note de cadrage peut tenir sur quelques pages. Elle précise :
- le service ou le projet étudié ;
- la période et le territoire concernés ;
- les publics à associer ;
- les questions auxquelles l’évaluation doit répondre ;
- les données déjà disponibles ;
- les limites de la démarche ;
- le calendrier et les responsables de chaque étape ;
- les modalités de restitution et de suivi.
Il faut également déterminer la place des professionnels, des agents, des prestataires ou des partenaires du dispositif. Leur point de vue peut être utile, mais il ne doit pas se substituer à celui des usagers. Dans certains cas, des entretiens séparés sont préférables afin que les participants puissent s’exprimer sans craindre une conséquence sur l’accès au service.
Un comité de pilotage peut valider le protocole, tandis qu’un groupe d’usagers contribue aux questions et à l’analyse. La séparation des rôles rend les arbitrages plus lisibles et limite le risque de présenter comme indépendant un processus contrôlé par un seul acteur.
Construire un échantillon qui ne laisse pas les publics fragiles de côté
Les personnes qui répondent spontanément ne représentent pas nécessairement l’ensemble des usagers. Les plus satisfaites, les plus mécontentes ou les plus disponibles peuvent être surreprésentées. Une enquête diffusée uniquement en ligne exclut aussi les personnes éloignées du numérique, lorsque d’autres modalités ne sont pas prévues.
Pour améliorer la diversité des contributions, il est possible de croiser plusieurs canaux :
- questionnaire papier et questionnaire numérique ;
- entretiens téléphoniques et rencontres en présentiel ;
- sollicitation à différents horaires ;
- points de recueil dans plusieurs lieux fréquentés par le public ;
- traduction ou adaptation en langage facile à comprendre ;
- médiation par des professionnels en contact avec des personnes isolées.
La sélection des participants doit être documentée. Il faut indiquer les critères recherchés, le nombre de réponses reçues, les profils insuffisamment représentés et les éventuels biais. Il est préférable d’annoncer une limite méthodologique plutôt que de généraliser abusivement une observation locale.
La participation peut aussi être indemnisée lorsque le temps demandé est important ou lorsque les conditions de participation créent une charge particulière. Les règles d’indemnisation doivent être annoncées avant le recueil et appliquées de manière cohérente. Pour les aspects juridiques, sociaux ou fiscaux liés à cette indemnisation, un avis professionnel peut être nécessaire.
Choisir les bons outils de recueil des retours
Aucun outil ne convient à toutes les questions. Le questionnaire permet de comparer des réponses et de mesurer des tendances, mais il laisse parfois peu de place aux explications. L’entretien individuel aide à comprendre une situation, au prix d’un traitement plus long. Le groupe de discussion fait émerger des expériences communes, mais la parole peut être influencée par les participants les plus à l’aise.
Quelques outils sont particulièrement utiles :
- Le questionnaire court : adapté à une mesure de satisfaction ou à l’identification de difficultés récurrentes. Il doit privilégier des questions précises et limiter les formulations orientées.
- L’entretien semi-directif : un guide commun garantit la comparaison, tout en laissant la personne développer son expérience.
- La marche commentée : l’usager décrit les obstacles rencontrés lors d’un parcours réel, par exemple pour accéder à un lieu ou accomplir une démarche.
- Le carnet de bord : la personne note ses interactions avec un service pendant une période définie.
- L’atelier de priorisation : les participants classent les problèmes selon leur fréquence, leur gravité ou leur facilité de résolution.
- Le récit d’usage : il reconstitue les étapes d’une expérience et permet d’identifier les moments de rupture.
Les questions doivent distinguer les faits, les perceptions et les attentes. « Combien de temps avez-vous attendu ? » ne mesure pas la même chose que « Comment avez-vous vécu l’attente ? ». Les deux informations peuvent être nécessaires, mais elles ne doivent pas être analysées de la même manière.
Garantir un recueil éthique et exploitable
Un retour d’usager peut contenir des informations personnelles, notamment lorsque la personne décrit sa situation sociale, son état de santé ou ses difficultés administratives. La Commission nationale de l’informatique et des libertés, la CNIL, rappelle les principes applicables à la collecte et à l’utilisation des données personnelles. La démarche doit notamment définir sa finalité, limiter les informations recueillies à ce qui est nécessaire et informer les participants de l’usage prévu.
Avant de répondre, une personne doit pouvoir comprendre :
- qui organise l’évaluation ;
- pourquoi ses réponses sont recueillies ;
- si la participation est volontaire ;
- comment les réponses seront conservées et présentées ;
- à qui elle peut s’adresser pour exercer ses droits.
Les verbatims, c’est-à-dire les extraits de réponses, doivent être anonymisés avec prudence. Une citation peut permettre d’identifier une personne même si son nom n’apparaît pas, lorsque le contexte est très précis. Les enregistrements audio ou vidéo nécessitent une information adaptée et un accord conforme au cadre applicable.
La neutralité des questions est également une exigence éthique. Demander « Qu’avez-vous apprécié dans ce dispositif ? » suppose qu’il y a quelque chose à apprécier. Une formulation plus ouverte, comme « Quel bilan faites-vous de votre expérience ? », laisse place aux avis positifs, négatifs ou nuancés. Les personnes doivent pouvoir ne pas répondre à certaines questions sensibles.
Analyser les contributions sans réduire l’évaluation à une note
Une note moyenne de satisfaction peut être facile à présenter, mais elle masque souvent des écarts importants. Deux personnes peuvent attribuer la même note pour des raisons opposées. Il est donc préférable de croiser plusieurs indicateurs : taux de recours, délai observé, abandon en cours de démarche, motifs d’insatisfaction, accessibilité perçue et propositions d’amélioration.
L’analyse qualitative demande une méthode explicite. Les réponses ouvertes peuvent être regroupées par thèmes, par étapes du parcours ou par catégories de problèmes. Le codage peut être réalisé par une ou plusieurs personnes. Lorsque plusieurs analystes interviennent, une discussion sur les catégories retenues réduit les interprétations trop personnelles.
Une matrice d’analyse peut croiser quatre dimensions :
- importance pour l’usager ;
- fréquence du problème ;
- gravité des conséquences ;
- capacité à agir à court ou moyen terme.
Cette matrice aide à distinguer une demande fréquente d’une difficulté moins courante mais particulièrement grave. Elle évite aussi de confondre ce qui est facile à modifier avec ce qui est prioritaire pour les personnes concernées.
Les critères de l’OCDE pour l’évaluation de l’aide au développement, notamment la pertinence, l’efficacité, l’efficience, les effets et la durabilité, peuvent servir de repères généraux lorsqu’ils sont adaptés au contexte. Ils ne doivent pas être appliqués mécaniquement à un service local ou à une petite structure. Le choix des critères doit rester compréhensible pour les participants.
Restituer les résultats et organiser la réponse
Une participation crédible se mesure aussi à la qualité de la restitution. Un document de plusieurs dizaines de pages peut être utile aux équipes, mais une synthèse accessible est nécessaire pour les participants. Elle doit présenter la méthode, les principaux résultats, les limites, les arbitrages et les actions envisagées.
Il est recommandé de distinguer clairement :
- ce qui ressort des réponses recueillies ;
- ce qui relève de l’analyse de l’équipe d’évaluation ;
- ce qui constitue une décision ;
- ce qui reste à instruire ou à expérimenter.
Pour chaque proposition, un tableau de suivi peut indiquer le problème visé, l’action prévue, le responsable du suivi, l’échéance et l’indicateur associé. Si une suggestion n’est pas retenue, une explication concise vaut mieux qu’un silence. Elle peut invoquer une contrainte légale, budgétaire, technique ou organisationnelle, à condition de ne pas disqualifier la parole exprimée.
Une réunion de restitution ne doit pas être conçue comme une simple présentation descendante. Les participants peuvent être invités à vérifier que les constats correspondent à leur expérience, à corriger une interprétation ou à hiérarchiser les recommandations. Cette étape de retour sur les résultats peut révéler des incompréhensions et améliorer la solidité des conclusions.
Éviter les erreurs qui fragilisent une démarche participative
Certaines pratiques donnent l’apparence de la participation sans permettre une réelle influence. La première consiste à solliciter les citoyens trop tard, lorsque les choix essentiels sont déjà arrêtés. La deuxième consiste à poser une question très large sans expliquer le périmètre d’action. La troisième consiste à recueillir des centaines de réponses sans prévoir les moyens de les analyser et d’y répondre.
Les principaux risques peuvent être limités par des mesures simples :
- Participation des mêmes personnes : renouveler les canaux de recrutement et suivre la diversité des profils.
- Prise de parole déséquilibrée : utiliser une animation structurée, des temps d’écriture et des tours de parole.
- Confusion entre satisfaction et qualité : croiser les opinions avec des données de fonctionnement et des observations.
- Promesses excessives : annoncer dès le départ ce qui peut réellement être modifié.
- Absence de suivi : publier un calendrier de réponse et actualiser l’état des actions.
- Collecte de données disproportionnée : ne demander que les informations utiles à l’évaluation.
Une démarche peut être participative sans être consensuelle. Des désaccords persistants peuvent signaler des besoins différents selon les publics. Les faire apparaître, plutôt que chercher à les gommer, rend l’évaluation plus honnête et plus utile pour la décision.
Mettre en place une démarche en six étapes
Pour une entreprise, un service, un projet associatif ou une initiative locale, le déploiement peut suivre un cycle simple :
- Définir la décision à éclairer : préciser ce que l’évaluation doit permettre de comprendre ou de modifier.
- Identifier les publics concernés : inclure les utilisateurs réguliers, occasionnels, empêchés ou ayant renoncé au service.
- Élaborer les critères : combiner accessibilité, qualité perçue, résultats observables, équité et faisabilité.
- Choisir les méthodes : associer, lorsque c’est pertinent, données quantitatives, entretiens et ateliers.
- Analyser et discuter : confronter les résultats aux participants et signaler les limites.
- Décider et suivre : transformer les recommandations retenues en actions vérifiables, puis réévaluer leurs effets.
Un premier cycle peut porter sur un périmètre limité afin de tester les questions, la durée des ateliers et la capacité de restitution. Cette expérimentation ne doit pas servir à écarter les publics difficiles à joindre. Elle permet plutôt d’améliorer le protocole avant son élargissement.
Le bon indicateur de réussite n’est pas le nombre de participants. Il réside dans la capacité à recueillir des expériences diversifiées, à produire une analyse compréhensible et à montrer comment les résultats ont influencé les décisions. Lorsque ces trois conditions sont réunies, les retours d’usagers deviennent un outil de pilotage, et non une formalité supplémentaire.
Questions fréquentes sur l’évaluation participative
Faut-il consulter tous les usagers ?
Ce n’est pas toujours possible ni nécessaire. Il faut surtout construire une méthode qui couvre les principaux profils concernés et rendre explicites les limites de représentativité. Un échantillon diversifié et bien documenté peut être plus instructif qu’un grand nombre de réponses non contextualisées.
Un questionnaire suffit-il pour évaluer un service ?
Il peut mesurer certains éléments, comme la compréhension d’une démarche ou la satisfaction déclarée. Il explique moins bien les causes d’une difficulté. Des entretiens, des observations ou un atelier peuvent compléter les réponses et aider à interpréter les résultats.
Comment éviter que les participants parlent uniquement de leur cas personnel ?
Le cas individuel est souvent un point de départ utile. Il faut ensuite demander ce qui pourrait concerner d’autres personnes, comparer plusieurs situations et distinguer l’expérience singulière du problème récurrent. Cette analyse évite de transformer une anecdote en conclusion générale.
Que faire lorsque les moyens sont limités ?
Un protocole resserré peut être pertinent : quelques entretiens diversifiés, un questionnaire court, une séance de restitution et un tableau de suivi. La sobriété doit porter sur le périmètre, pas sur la transparence ni sur l’écoute des personnes sollicitées.
La participation garantit-elle une meilleure décision ?
Non. Elle améliore l’information disponible et peut révéler des effets ignorés, mais la décision dépend aussi des contraintes juridiques, financières, techniques et organisationnelles. La valeur de la démarche tient à la qualité du processus et à la clarté des arbitrages, pas à une promesse automatique de résultat.
