Pourquoi mesurer un impact plutôt qu’une simple évolution

Une évaluation d’impact cherche à répondre à une question précise : quels changements peuvent être attribués à une action, un dispositif ou une décision ? Cette question est différente de celle qui consiste à observer si un indicateur a progressé après la mise en œuvre d’un projet.

Une entreprise peut, par exemple, constater que son chiffre d’affaires augmente après le lancement d’une campagne marketing. Cette hausse peut toutefois provenir de plusieurs facteurs : saisonnalité, évolution des prix, arrivée d’un concurrent, reprise de la demande ou modification du portefeuille de clients. L’observation avant-après ne permet donc pas, à elle seule, d’isoler l’effet de la campagne.

L’évaluation quantitative tente de comparer ce qui s’est passé avec l’intervention à ce qui se serait probablement passé sans elle. Cette seconde situation est appelée contrefactuel. Elle n’est généralement pas observable directement pour une même personne, un même salarié ou une même entreprise au même moment. Les méthodes statistiques construisent alors un point de comparaison crédible à partir d’un groupe témoin, d’une randomisation ou de données historiques et comparables.

Cette démarche concerne de nombreux projets professionnels :

• mesurer l’effet d’une formation sur les compétences ou la productivité ;
• évaluer une campagne d’acquisition sur les conversions ;
• estimer l’impact d’un nouvel outil numérique sur les délais de traitement ;
• analyser les effets d’un accompagnement à la création d’entreprise ;
• évaluer une politique de recrutement, de fidélisation ou de prévention des départs.

Une évaluation sérieuse ne consiste pas à produire beaucoup de chiffres. Elle consiste à formuler une question causale, sélectionner un indicateur pertinent, construire une comparaison défendable et expliciter les incertitudes.

Les notions essentielles avant de commencer

Avant de choisir une méthode, il faut distinguer plusieurs éléments souvent confondus.

L’intervention

L’intervention est l’action dont on souhaite mesurer l’effet : une formation, une remise commerciale, un nouveau processus, une campagne publicitaire ou un programme d’accompagnement. Elle doit être décrite avec suffisamment de précision pour savoir qui y a eu accès, à quelle date et selon quelles conditions.

Le résultat mesuré

Le résultat, ou variable de résultat, correspond à ce qui pourrait évoluer sous l’effet de l’intervention. Il peut s’agir d’un montant, d’un taux, d’un délai, d’un nombre d’actions ou d’une réponse à un questionnaire. Un indicateur doit être défini avant l’analyse : période de mesure, unité, source des données et règle de calcul.

Le groupe traité et le groupe témoin

Le groupe traité bénéficie de l’intervention. Le groupe témoin n’en bénéficie pas pendant la période étudiée, ou reçoit une autre intervention servant de comparaison. La qualité de l’évaluation dépend de la comparabilité des deux groupes.

L’effet causal

L’effet causal correspond à la différence entre le résultat observé avec l’intervention et le résultat qui aurait été observé sans elle. Cette définition impose de ne pas confondre corrélation et causalité. Deux variables peuvent évoluer ensemble sans que l’une provoque l’autre.

Le cadre de référence des essais randomisés est notamment présenté dans les travaux méthodologiques de la Banque mondiale, de l’OCDE et de la Commission européenne. Ces organismes insistent sur la nécessité de relier la question d’évaluation, la théorie du changement, les indicateurs et la stratégie d’identification causale.

Le groupe témoin : rôle, construction et points de vigilance

Le groupe témoin sert à représenter l’évolution qui aurait pu se produire en l’absence d’intervention. Il ne doit pas être choisi uniquement parce qu’il est facile à observer. Un groupe constitué de clients non exposés peut différer des clients exposés par leur taille, leur ancienneté, leur budget ou leur niveau d’intérêt initial.

La première option consiste à tirer au sort les bénéficiaires entre un groupe traité et un groupe témoin. La randomisation rend, en moyenne, les groupes comparables avant l’intervention, y compris sur des caractéristiques qui ne sont pas mesurées. Elle ne supprime cependant pas les difficultés pratiques, comme les abandons ou le non-respect de l’affectation initiale.

Lorsque le tirage au sort est impossible, plusieurs précautions sont possibles :

• appariement : associer des unités comparables selon des caractéristiques observées ;
• stratification : répartir les participants par catégories importantes, puis comparer les résultats dans chaque catégorie ;
• pondération : donner davantage de poids aux observations afin de rapprocher la composition des groupes ;
• ajustement statistique : intégrer les variables susceptibles d’influencer à la fois l’accès au dispositif et le résultat ;
• comparaison dans le temps : observer les mêmes unités avant et après l’intervention, avec les réserves nécessaires.

Il faut aussi vérifier les contaminations. Un salarié du groupe témoin peut accéder indirectement à la formation destinée au groupe traité. Un client non ciblé par une campagne peut être exposé à la publicité par un autre canal. Dans ce cas, la différence entre les groupes se réduit et l’effet peut être sous-estimé.

La comparaison doit enfin porter sur des populations réellement concernées par la même question. Un groupe témoin trop différent peut produire une estimation précise en apparence, mais peu crédible sur le plan causal.

L’expérimentation randomisée, méthode de référence mais pas solution universelle

Dans une expérimentation randomisée, les unités éligibles sont réparties par tirage au sort entre plusieurs groupes. L’un reçoit l’intervention, l’autre sert de comparaison. La randomisation peut concerner des personnes, des entreprises, des points de vente, des équipes ou des zones géographiques.

Une démarche pratique peut suivre les étapes suivantes :

1. définir la population éligible et les critères d’inclusion ;
2. préciser l’intervention, le calendrier et le résultat principal ;
3. déterminer la règle d’affectation au hasard avant le début du test ;
4. mesurer une situation initiale si cela est utile ;
5. suivre les mêmes indicateurs dans tous les groupes ;
6. documenter les abandons, les incidents et les écarts au protocole ;
7. comparer les résultats et présenter une mesure d’incertitude.

Le résultat peut être exprimé comme une différence de moyenne, une différence de taux ou un ratio. Par exemple, si le taux de conversion atteint 12 % dans le groupe traité contre 10 % dans le groupe témoin, l’écart absolu est de 2 points de pourcentage. L’augmentation relative est de 20 %, mais ces deux présentations ne racontent pas la même chose. Il est préférable de publier les deux lorsque cela facilite la compréhension.

Une expérimentation ne doit pas être prolongée ou arrêtée uniquement parce qu’un résultat intermédiaire paraît favorable. Le calendrier d’analyse doit être défini à l’avance, surtout lorsque plusieurs indicateurs sont examinés. La multiplication des comparaisons augmente le risque de trouver par hasard un résultat statistiquement significatif.

La randomisation ne règle pas toutes les questions. Elle peut être incompatible avec une obligation d’équité, un risque pour les participants, un nombre d’observations trop faible ou une intervention qui ne peut pas être proposée séparément. Elle peut aussi mesurer un effet valable dans les conditions du test, sans garantir qu’il sera identique à grande échelle.

Les principales méthodes quantitatives d’évaluation d’impact

Méthode	Principe	Condition de crédibilité	Limite fréquente
Essai randomisé	Répartition aléatoire entre traitement et comparaison	Randomisation respectée et pertes limitées	Coût, contraintes éthiques ou opérationnelles
Avant-après	Comparaison du même groupe avant et après	Absence d’événement extérieur important	Confusion entre effet du projet et tendances générales
Différences de différences	Comparaison de l’évolution du groupe traité avec celle d’un groupe non traité	Tendances parallèles avant l’intervention	Hypothèse difficile à vérifier totalement
Régression sur discontinuité	Comparaison autour d’un seuil d’éligibilité	Les unités proches du seuil sont comparables	Résultat valable surtout près du seuil
Variables instrumentales	Utilisation d’un facteur influençant l’accès, mais pas directement le résultat	Instrument pertinent et hypothèses fortes	Interprétation technique et effet parfois local
Appariement	Construction de comparaisons à partir de caractéristiques observées	Les différences importantes sont mesurées	Les facteurs non observés restent problématiques

La méthode des différences de différences est utile lorsqu’un groupe est exposé à une réforme ou à une action et qu’un autre ne l’est pas. Elle compare l’écart entre les groupes avant l’intervention avec l’écart après l’intervention. Son hypothèse centrale est celle des tendances parallèles : sans intervention, les deux groupes auraient suivi des évolutions comparables. Cette hypothèse doit être examinée à partir des périodes antérieures, sans être considérée comme automatiquement démontrée.

La régression sur discontinuité peut être utilisée lorsqu’un dispositif est accordé selon un seuil, comme un score, un niveau de revenu ou une taille d’entreprise. Elle compare les unités juste au-dessus et juste en dessous du seuil. Son avantage est de limiter certaines différences, mais son résultat ne s’étend pas nécessairement à toutes les unités éloignées du seuil.

Les limites statistiques à ne pas masquer

Une évaluation quantitative contient toujours des incertitudes. L’intervalle de confiance renseigne sur la précision de l’estimation dans le cadre du modèle utilisé. Un effet estimé à 3 points peut être compatible avec une baisse faible, une absence d’effet ou une hausse plus importante selon la dispersion des données et la taille de l’échantillon.

La puissance statistique désigne la capacité d’une étude à détecter un effet d’une certaine ampleur. Un petit nombre d’observations peut conduire à ne pas distinguer un effet réel de l’aléa. À l’inverse, un très grand échantillon peut rendre statistiquement significative une différence minime, sans intérêt concret pour la décision.

Il faut donc distinguer :

• la significativité statistique, liée à la compatibilité des données avec une hypothèse d’absence d’effet ;
• l’importance pratique, liée à l’ampleur et aux conséquences réelles de l’effet ;
• la robustesse, c’est-à-dire la stabilité du résultat lorsque les spécifications ou les sous-groupes changent.

Les données manquantes constituent un autre risque. Les personnes qui abandonnent une formation ou cessent de répondre à une enquête peuvent être différentes de celles qui restent. Si les abandons sont plus nombreux dans un groupe, une comparaison brute peut être biaisée. Il faut documenter leur nombre, rechercher leurs caractéristiques et expliquer la méthode retenue pour traiter ces données.

Le biais de sélection apparaît lorsque les participants choisissent eux-mêmes l’intervention. Les personnes les plus motivées peuvent s’inscrire à une formation et obtenir de meilleurs résultats même sans celle-ci. Le biais de mesure survient lorsque l’indicateur est défini ou collecté différemment selon le groupe. Le biais de publication ou de sélection des résultats peut aussi conduire à ne présenter que les indicateurs favorables.

De la question de départ au protocole d’évaluation

Pour rendre une évaluation exploitable, il est utile de rédiger un protocole court avant la collecte ou l’analyse des données.

1. Formuler la question causale. Exemple : quel est l’effet d’un parcours de formation de six semaines sur le taux de retour à l’emploi trois mois après son achèvement ?
2. Décrire la théorie du changement. Préciser comment l’intervention est censée produire un résultat, par quelles étapes et avec quels risques d’échec.
3. Choisir un indicateur principal. Limiter le résultat central à une mesure définie, complétée par quelques indicateurs secondaires.
4. Définir la population et l’unité d’analyse. Une personne, une candidature, une entreprise ou une transaction ne se traitent pas de la même manière.
5. Sélectionner la méthode. La randomisation est pertinente lorsqu’elle est faisable. Dans les autres cas, il faut justifier l’approche quasi expérimentale retenue.
6. Prévoir la taille et la durée. La période doit être assez longue pour observer le résultat, sans laisser se multiplier les événements extérieurs non documentés.
7. Établir les règles d’analyse. Définir les exclusions, les sous-groupes, les données manquantes et les indicateurs avant de regarder les résultats finaux.
8. Tester la solidité. Comparer plusieurs spécifications raisonnables, vérifier les tendances antérieures et signaler les résultats sensibles aux hypothèses.

Les outils de suivi doivent rester compatibles avec le Règlement général sur la protection des données lorsque des informations personnelles sont traitées. La Commission nationale de l’informatique et des libertés, la CNIL, rappelle les principes de finalité, de minimisation, de durée de conservation et de sécurité. Une évaluation utile ne justifie pas une collecte illimitée.

Interpréter les résultats sans exagérer la conclusion

Un rapport d’impact devrait séparer clairement les faits observés, les hypothèses et l’interprétation. Il peut présenter le nombre d’unités initiales, les pertes de suivi, les caractéristiques des groupes, la définition des indicateurs, l’estimation de l’effet et son intervalle d’incertitude.

La conclusion doit préciser le périmètre du résultat. Une campagne testée auprès de nouveaux clients sur une période donnée ne permet pas nécessairement de conclure sur les clients existants ou sur une autre saison. De même, un effet moyen peut cacher des différences entre profils. Une analyse par sous-groupes peut être utile, à condition d’être prévue avec prudence et de ne pas transformer une exploration en preuve définitive.

La généralisation dépend de la population étudiée, du contexte, de l’intensité de l’intervention et de sa mise en œuvre. Un dispositif efficace dans une équipe très accompagnée peut produire un résultat différent lorsque les ressources de suivi diminuent. L’évaluation doit donc documenter les conditions concrètes d’exécution, pas seulement l’estimation finale.

Enfin, l’absence de résultat statistiquement détectable ne signifie pas toujours que l’intervention est sans effet. Elle peut refléter un effet faible, une mesure inadéquate, une durée trop courte ou un échantillon insuffisant. À l’inverse, un résultat favorable ne prouve pas que l’intervention est rentable. Il faut rapprocher l’effet mesuré des coûts, des contraintes, des effets indésirables et des alternatives disponibles.

FAQ sur l’évaluation quantitative d’impact

Un groupe témoin est-il toujours nécessaire ?

Non. Il est très utile pour estimer un contrefactuel, mais certaines méthodes exploitent un seuil, une variation temporelle ou une règle d’attribution. En revanche, une simple comparaison avant-après doit être interprétée avec prudence, car elle ne sépare pas l’effet de l’intervention des évolutions extérieures.

Quelle différence entre corrélation et causalité ?

La corrélation signifie que deux variables évoluent ensemble. La causalité suppose que la modification de l’une entraîne une modification de l’autre, toutes choses égales par ailleurs. Une expérimentation randomisée ou une méthode quasi expérimentale cherche à mieux isoler cette relation.

Faut-il privilégier un indicateur financier ?

Pas nécessairement. Le bon indicateur dépend de la question. Un délai, un taux de maintien, une compétence acquise ou une qualité de service peuvent être plus pertinents qu’un chiffre d’affaires. Il est toutefois utile de relier les indicateurs intermédiaires aux résultats finaux.

Combien de personnes faut-il inclure ?

Il n’existe pas de nombre valable pour toutes les études. La taille dépend de l’effet attendu, de la variabilité du résultat, du seuil de précision recherché, du nombre de groupes et du taux probable de données manquantes. Un calcul de puissance réalisé avant le lancement est préférable à une justification après coup.

Une évaluation quantitative suffit-elle à décider ?

Elle apporte une information importante, mais ne remplace pas l’analyse des coûts, de la faisabilité, de l’équité, des effets indirects et des retours qualitatifs. La décision gagne en solidité lorsque plusieurs sources sont confrontées et que les limites de chacune sont explicitées.