Pourquoi recourir aux méthodes qualitatives en évaluation

Évaluer une action, un service ou un dispositif ne consiste pas seulement à compter des bénéficiaires, des ventes, des candidatures ou des heures de formation. Ces données répondent à la question « combien ? », mais elles expliquent rarement pourquoi un résultat apparaît, pourquoi certains publics adhèrent et d’autres abandonnent, ou comment une solution est réellement utilisée.

Les méthodes qualitatives servent précisément à comprendre les perceptions, les pratiques, les freins, les arbitrages et les effets parfois inattendus d’une action. Elles s’appuient sur des matériaux verbaux ou documentaires : entretiens individuels, observations, documents internes, récits d’expérience, études de cas et groupes de discussion.

Dans une entreprise, elles peuvent éclairer l’expérience client, l’adoption d’un outil, la réception d’une campagne marketing ou les causes d’un départ. Pour un indépendant, elles peuvent aider à tester une offre et à comprendre les besoins d’un marché. Dans le champ de l’emploi ou de l’insertion, elles permettent d’étudier le parcours des participants et les obstacles rencontrés.

Une évaluation qualitative ne cherche pas nécessairement à produire une moyenne représentative de toute une population. Elle vise plutôt une compréhension approfondie de situations et de mécanismes. Sa qualité dépend donc moins du volume de réponses que de la pertinence des personnes interrogées, de la précision du protocole, de la qualité de l’analyse et de la transparence des limites.

La question d’évaluation détermine la méthode

La première étape consiste à formuler une question exploitable. « Le projet fonctionne-t-il ? » est trop vague pour guider une enquête. Une question plus précise peut être : « Quels obstacles empêchent les nouveaux utilisateurs d’adopter le service au cours du premier mois ? » ou « Comment les responsables de petites entreprises perçoivent-ils l’accompagnement proposé ? »

Une bonne question qualitative indique généralement :

• le public ou les acteurs concernés ;
• le phénomène à comprendre, comme un usage, une décision ou un abandon ;
• la période ou le contexte étudié ;
• la décision qui pourra être éclairée par les résultats.

Il est utile de distinguer trois objectifs. Une démarche exploratoire sert à faire émerger des hypothèses lorsque le sujet est mal connu. Une démarche compréhensive cherche à expliquer des comportements et des expériences. Une démarche évaluative examine la mise en œuvre, les effets perçus et les conditions de réussite d’une action.

La méthode choisie doit ensuite être cohérente avec la question. Un entretien convient pour approfondir une trajectoire personnelle. Une étude de cas convient pour examiner un projet dans son contexte. Un groupe de discussion est utile pour observer des réactions, des accords et des désaccords autour d’un sujet partagé.

Les entretiens individuels : accéder aux expériences et aux raisonnements

L’entretien individuel est un échange organisé entre un enquêteur et une personne sélectionnée en raison de son expérience ou de sa position. Il peut être directif, semi-directif ou non directif. Pour une évaluation opérationnelle, l’entretien semi-directif est souvent un compromis pertinent : un guide garantit la couverture des thèmes essentiels, tout en laissant la personne développer ses réponses.

Construire un guide d’entretien utile

Un guide solide ne ressemble pas à un questionnaire fermé. Il regroupe quelques thèmes et prévoit des relances. Une séquence possible est la suivante :

1. commencer par le contexte et le rôle de la personne ;
2. demander de raconter une situation concrète plutôt que de recueillir uniquement une opinion générale ;
3. explorer les pratiques avant de demander une appréciation ;
4. examiner les difficultés, les adaptations et les solutions utilisées ;
5. terminer par les améliorations jugées prioritaires.

Les questions « Pouvez-vous me décrire la dernière fois que… ? », « Qu’avez-vous fait ensuite ? » et « Qu’est-ce qui a rendu cette étape difficile ? » favorisent des réponses plus précises que « Êtes-vous satisfait ? ». Il faut éviter les formulations qui suggèrent la réponse, les doubles questions et le vocabulaire technique non défini.

Échantillonner sans rechercher une fausse représentativité

La sélection des personnes doit refléter la diversité des situations pertinentes pour la question. On peut rechercher des profils contrastés : utilisateurs réguliers et occasionnels, clients ayant poursuivi ou abandonné une démarche, salariés expérimentés et nouveaux arrivants. Le principe de variation maximale permet de comparer des expériences différentes.

Le nombre d’entretiens ne se décide pas par une règle universelle. La collecte peut s’arrêter lorsque les nouveaux échanges n’apportent plus d’éléments réellement nouveaux sur les thèmes étudiés. Cette notion de saturation doit être appréciée avec prudence : elle dépend de l’homogénéité du public, de la complexité du sujet et de la finesse de l’analyse.

Conduire et documenter l’échange

Avant l’entretien, il faut expliquer l’objectif, la durée prévue, l’usage des données et les conditions de confidentialité. L’enregistrement audio ne doit être réalisé qu’avec l’accord de la personne. Sinon, des notes structurées peuvent être prises. Après chaque échange, une fiche de synthèse peut consigner le contexte, les idées principales, les éléments surprenants et les questions à approfondir.

Une personne qui interroge doit aussi surveiller sa position. Sa fonction, ses attentes ou sa relation avec le participant peuvent influencer les réponses. Mentionner ces conditions dans le rapport renforce la crédibilité de l’évaluation.

Les études de cas : comprendre une action dans son contexte

Une étude de cas examine de manière approfondie une situation délimitée : lancement d’une offre, déploiement d’un outil, parcours d’un public, réorganisation d’une équipe ou accompagnement d’un projet entrepreneurial. Le cas n’est pas une simple anecdote. Il est construit autour d’un périmètre, d’une question, de sources variées et d’une logique d’analyse.

Une étude de cas peut être unique, lorsqu’un cas particulièrement révélateur est étudié en profondeur, ou multiple, lorsque plusieurs situations sont comparées. La comparaison ne cherche pas forcément à désigner un « meilleur » cas. Elle peut mettre en évidence des conditions différentes : ressources disponibles, niveau d’implication, contraintes réglementaires, maturité de l’organisation ou caractéristiques du public.

Définir le périmètre du cas

Il faut préciser ce qui est inclus et ce qui ne l’est pas. Le périmètre peut être défini par une période, un lieu, une équipe, une offre ou une étape du parcours. Sans cette délimitation, l’étude risque de mélanger des causes et des effets éloignés dans le temps.

Le recueil peut combiner plusieurs sources :

• entretiens avec les personnes concernées ;
• documents de travail, procédures, comptes rendus ou supports de communication ;
• données de suivi disponibles ;
• observations de réunions ou de situations d’usage, lorsque cela est possible ;
• retours de personnes directement affectées par l’action.

Cette combinaison est appelée triangulation. Elle permet de confronter les déclarations, les documents et les pratiques observées. Elle ne garantit pas automatiquement la vérité, mais elle aide à repérer les contradictions et à éviter de tirer une conclusion à partir d’une seule source.

Rédiger une étude de cas exploitable

Une restitution claire présente d’abord le contexte, puis le fonctionnement réel de l’action, les résultats observés ou rapportés, les facteurs explicatifs et les limites. Elle distingue soigneusement les faits documentés, les propos recueillis et l’interprétation de l’évaluateur.

Un cas peut être particulièrement utile lorsqu’il montre un écart entre le dispositif prévu et sa mise en œuvre. Par exemple, une procédure conçue pour réduire le temps de traitement peut être contournée parce qu’elle impose une étape jugée trop complexe. L’étude ne doit pas se contenter de constater le contournement : elle doit rechercher qui l’effectue, dans quelles circonstances, avec quelles conséquences et quelles alternatives seraient acceptables.

Les groupes de discussion : faire émerger des accords et des désaccords

Le groupe de discussion, parfois appelé focus group, réunit plusieurs participants autour d’un thème animé par un modérateur. L’intérêt principal ne réside pas seulement dans le nombre de personnes interrogées. Il tient aux interactions : une remarque peut susciter un souvenir, une objection ou une précision qu’un entretien individuel n’aurait pas fait apparaître.

Cette méthode convient pour explorer la compréhension d’un message, les représentations d’une offre, les réactions à un prototype ou les critères de choix d’un service. Elle est moins adaptée aux sujets très intimes, aux rapports hiérarchiques sensibles ou aux situations dans lesquelles certains participants pourraient craindre d’être identifiés.

Préparer un groupe de qualité

La composition doit être réfléchie. Des participants trop éloignés par leur statut ou leur niveau de pouvoir peuvent limiter la parole. À l’inverse, un groupe très homogène peut produire un échange fluide mais laisser de côté des points de vue importants. Plusieurs groupes distincts peuvent être préférables à un seul groupe réunissant des profils incompatibles.

Le modérateur présente les règles : respect des opinions, liberté de ne pas répondre, confidentialité des échanges et temps de parole équilibré. Il relance sans imposer son point de vue. Il doit aussi repérer les effets de domination, les accords de façade et les silences qui peuvent signaler une gêne.

Un groupe de discussion ne fournit pas un vote représentatif. La fréquence d’une opinion dans la séance ne permet pas, à elle seule, d’estimer sa fréquence dans toute la population. Les résultats décrivent des arguments, des perceptions et des interactions dans le groupe étudié.

Comparer les trois méthodes avant de choisir

Méthode	Question privilégiée	Atout principal	Point de vigilance
Entretien individuel	Comment une personne vit-elle une situation et raisonne-t-elle ses choix ?	Profondeur et possibilité d’aborder un parcours personnel	Influence de la relation d’entretien et difficulté à comparer des récits très différents
Étude de cas	Comment une action fonctionne-t-elle dans un contexte donné ?	Articulation entre contexte, mise en œuvre et effets	Risque de généralisation abusive à partir d’un cas
Groupe de discussion	Quelles représentations et réactions émergent dans une interaction collective ?	Confrontation rapide de points de vue	Influence des rapports de pouvoir, de la dynamique de groupe et des participants les plus actifs

Ces méthodes peuvent être combinées. Une étude peut commencer par quelques entretiens exploratoires, se poursuivre par un groupe de discussion consacré à une proposition et s’appuyer ensuite sur une étude de cas pour analyser la mise en œuvre. Le choix doit rester proportionné aux moyens disponibles et à la décision attendue.

Analyser les données sans perdre le sens des propos

L’analyse commence dès la collecte. Après chaque entretien ou séance, il est utile de noter les thèmes récurrents, les divergences et les pistes à vérifier. Attendre la fin de tous les échanges augmente le risque d’oublier le contexte ou de privilégier les derniers propos entendus.

Une démarche simple peut suivre cinq étapes :

1. Préparer le matériau : organiser les notes, transcriptions, documents et informations de contexte.
2. Coder : associer des étiquettes aux passages portant sur un même sujet, comme le coût perçu, la compréhension, le délai ou la confiance.
3. Regrouper : réunir les codes en thèmes plus larges et distinguer les sous-thèmes.
4. Comparer : examiner les ressemblances et les écarts selon les profils, les moments du parcours ou les cas.
5. Interpréter : relier les résultats à la question d’évaluation, aux hypothèses et aux limites du recueil.

Le codage peut être manuel dans un tableau structuré ou réalisé avec un logiciel spécialisé. L’outil ne remplace pas le raisonnement. Il faut conserver une trace des définitions retenues pour les codes et des décisions prises en cours d’analyse.

Une conclusion solide distingue trois niveaux : ce qui est explicitement dit ou observé, le motif qui semble se dégager de plusieurs éléments, et l’hypothèse qui demanderait une vérification complémentaire. Cette distinction évite de transformer une interprétation plausible en certitude.

Garantir la qualité, l’éthique et la confidentialité

La qualité repose sur la cohérence entre la question, la sélection des participants, le guide, la collecte et l’analyse. Il est utile de tenir un journal méthodologique indiquant les changements apportés au protocole et leurs raisons. La recherche de cas négatifs, c’est-à-dire d’exemples qui contredisent l’hypothèse dominante, améliore également l’analyse.

Les personnes doivent savoir pourquoi elles sont sollicitées, comment leurs propos seront utilisés et si leur participation est volontaire. Les données permettant d’identifier directement ou indirectement une personne doivent être traitées avec précaution. En France, les principes du Règlement général sur la protection des données, le RGPD, et les recommandations de la Commission nationale de l’informatique et des libertés, la CNIL, constituent des repères importants. Selon le contexte, il faut notamment limiter les données collectées, sécuriser leur conservation et définir une durée de conservation adaptée.

La confidentialité ne consiste pas seulement à retirer un nom. Dans une petite équipe, un intitulé de poste, une date ou un événement particulier peut suffire à reconnaître une personne. La restitution doit donc anonymiser les détails lorsque cela est nécessaire, surtout pour les sujets liés à l’emploi, aux difficultés professionnelles ou à la santé.

Transformer les résultats en décisions opérationnelles

Une évaluation qualitative n’a d’utilité que si ses conclusions peuvent être discutées et utilisées. La restitution doit relier chaque constat à des éléments précis du matériau, sans exposer inutilement les participants. Un tableau de synthèse peut présenter le constat, les indices recueillis, son niveau de confiance, la limite éventuelle et la décision à examiner.

Les recommandations gagnent à être formulées de manière concrète. Au lieu d’écrire « améliorer la communication », il est préférable de préciser : « tester une version plus courte du message auprès des nouveaux utilisateurs et vérifier leur compréhension avant le déploiement ». Chaque recommandation peut indiquer le responsable de sa mise en œuvre, l’échéance envisagée et le critère permettant d’en observer les effets.

Il faut aussi signaler ce que l’enquête ne permet pas de conclure. Si les participants ont été recrutés parmi des utilisateurs volontaires, leurs propos ne décrivent pas nécessairement l’expérience des personnes qui n’ont jamais essayé le service. Une enquête quantitative, une observation complémentaire ou un suivi ultérieur peut alors être nécessaire.

FAQ sur les méthodes qualitatives en évaluation

Les méthodes qualitatives remplacent-elles les indicateurs chiffrés ?

Non. Elles répondent à d’autres questions. Les indicateurs mesurent une évolution ou une fréquence, tandis que les méthodes qualitatives aident à comprendre les mécanismes, les perceptions et les conditions de mise en œuvre. Leur combinaison peut fournir une lecture plus complète.

Combien d’entretiens faut-il réaliser ?

Il n’existe pas de nombre valable pour toutes les évaluations. Le choix dépend de la diversité des profils, de la complexité du sujet et de l’apparition de nouveaux éléments. Il doit être justifié dans le protocole plutôt que présenté comme une norme automatique.

Un groupe de discussion permet-il de connaître l’opinion générale d’un marché ?

Non. Il permet d’explorer des arguments, des réactions et des interactions dans un groupe sélectionné. Pour estimer la fréquence d’une opinion dans une population, une enquête quantitative construite selon une méthode adaptée est nécessaire.

Faut-il enregistrer tous les entretiens ?

Ce n’est pas obligatoire. L’enregistrement facilite la retranscription, mais il exige une information claire et un accord préalable. Des notes détaillées peuvent convenir lorsque l’enregistrement n’est pas souhaité ou possible.

Comment éviter de surinterpréter les résultats ?

Il faut distinguer les propos recueillis, les régularités observées et les hypothèses. La comparaison des sources, la recherche de contre-exemples, la description du recrutement et l’exposé des limites permettent de maintenir une conclusion proportionnée aux données.