Expériences aléatoires

Présentation

Définition

Les expériences aléatoires(randomisées) sont une méthode d’évaluation de l'effet de la politique économique appliquée par Esther Duflo puis popularisée par d'autres économistes. La Banque Mondiale , l’AFD ou encore la Fondation Gates y ont recours. Très à la mode, cette technique consiste à prendre à sélectionner au hasard un groupe d’individus dans une population que l’on divise en un groupe test et un groupe témoin au hasard, l’idée étant de limiter au maximum l’influence des autres variables que celles étudiées. Le groupe test est celui qui bénéficie de la politique économique tandis que le groupe de contrôle (ou groupe témoin) est l’échantillon de population, comparable au groupe test mais sur lequel la mesure économique n'a pas été appliquée. Les conclusions de ces expériences aléatoires sont tirées de la comparaison de ces deux groupes.

Caractéristiques

Dans un papier datant de 2003, Duflo et Kremer décrivent les caractéristiques des expériences aléatoires ainsi que les biais possibles.
Bien sur, à elle seule, l’expérience aléatoire ne suffit pas. Au delà de la démarche statistique, il est nécessaire d’avoir une démarche qualitative car une mesure sur quelques indicateurs ne permet pas d'évaluer tous les impacts. On prendrait sinon le risque de passer à côté d'un effet important. Si le résultat n’est pas celui attendu, il faut faire une étude complémentaire, des enquêtes approfondies pour en comprendre les causes.

Controverse autour de cette méthode

Il existe une véritable controverse, apparue depuis quelques années, autour de la question de l’utilité des expériences aléatoires. Dans ce débat, l’AFD a une position que l’on pourrait qualifier de centriste. La plupart des économistes sont très favorables à cette méthode d’évaluation, et pour cause, elle est au cœur de leur travail. Seule une minorité d’économistes, tels qu’Angus Deaton et James Heckman (voir ci-dessous), se positionnent plutôt du côté des sociologues pour souligner les aléas et les défauts de cette méthode. Les critiques sont parfois éthiques et ne sont donc pas toujours spécifiques aux expériences aléatoires. Autre particularité, il est à noter que le débat est majoritairement anglo-saxon.

Le débat est d’autant plus complexe que les acteurs sont de nature différente. Économistes et anthropologues ont en effet des approches radicalement opposées. Les économistes (voir ci-dessous) tendent ainsi à considérer que les individus sont identiques, que seules les contraintes changent et que les expériences aléatoires permettent de lever les contraintes. En revanche, les anthropologues et sociologues (voir ci-dessous) pensent que les individus ont des schémas de raisonnement différents selon l’environnement, ce qui nécessite une analyse sociologique approfondie. Encore une fois, l’AFD se place au milieu en affirmant qu’il est difficile de connaitre toutes les contraintes. Il est nécessaire d’aller sur le terrain, de faire des études à la fois qualitatives pour comprendre les contraintes, et quantitatives, tout en s’appuyant sur des théories pour généraliser les comportements.

Acteurs faisant l’éloge des expériences aléatoires

Pour Esther Duflo, ainsi que les très nombreux jeunes économistes, les expériences aléatoires offrent une alternative convaincante aux expériences naturelles qui étaient utilisées depuis les années 1980 par des économistes tels que Card, Angrist ou encore Krueger.

Comme argument en faveur de cette nouvelle méthode d’évaluation, elle met en avant la forte validité interne des expériences aléatoires, c’est-à-dire leur capacité à apporter une évaluation très précise de l’impact du programme.

De la même manière, Fisher souligne la difficulté de faire accepter des liens de causalité autrement que par les expériences aléatoires.

A l’AFD, Rioust de Largentaye pense de la même manière que l’expérience aléatoire est le meilleur moyen de créer le consensus autour d’un résultat. Globalement, l’AFD reconnait la qualité des études d’impact du J-PAL .

Acteurs critiquant les expériences aléatoires

En 2008, Rodrik prend le contre-pied de Fisher en affirmant qu’il existe de nombreux cas où une causalité a été admise dans évidence expérimentale. Il donne l’exemple de la corrélation entre fumer et développer un cancer des poumons.

L’AFD souligne d’abord le coût élevé des expériences aléatoires.
Chaque expérience coûte en effet environ 100 000€ et nécessite des investissements lourds, sur plusieurs années de la part du bailleur mais aussi de l’opérateur (c'est-à-dire l’association qui collecte les données d’environ 5000 à 6000 ménages). L’AFD ne peut donc évaluer ainsi que quelques programmes. Les expériences aléatoires:

nécessitent beaucoup de coopération entre le bailleur, l’économiste, l’opérateur
ne permettent pas de mettre en évidence des relations de causalité au niveau des politiques macroéconomiques
ne sont pas toujours nécessaires
Ne sont pas le fruit de la science pure « même d'un point de vue économétrique, il faut mettre de l'eau dans son vin. » “The great economists should be trying to do something that is harder.”

De même, l’AFD tend à dire qu’on peut regretter l’effet de mode qui conduit les thésards à n’utiliser principalement que la randomisation, dans la mesure où il y a un réel besoin de chercheurs voulant mener d'autres types d'évaluations.

L’AFD pense de plus que cette méthode n’est pas toujours intéressante et ne s’applique pas pour n'importe quel programme. Elle peut donner une vision partielle de l’impact si certains paramètres ne sont pas questionnés. « C'est une ossature, il faut rajouter de la chair. »

On peut également rappeler que l'impact n'est que l’un des cinq critères d'évaluation. Il ne faut donc pas oublier la mise en œuvre, le rapport coût-efficacité, la durabilité… Selon l’agence, on risque donc avec cette méthode de passer à côté d'effets importants dans la mesure où l’on regarde seulement l'impact sur quelques critères alors que les évaluations décentralisées permettent de voir à l’échelle macroéconomique ce qui a marché et ce qui n'a pas marché.

Selon la même idée, Martin Ravallion, expert de l'évaluation d'impact dans les années 1990, affirme que l’expérience en elle seule ne suffit pas.

Deaton, dans un papier de 2009, déplore lui aussi une utilisation abusive et inappropriée du travail empirique en économie au cours de la dernière décennie. Il considère que « les applications d’approche ancrée dans la théorie (theory-based) restent faibles ». Les expériences aléatoires restent le produit de la recherche universitaire et peuvent être peu adaptées à l’aide sur le terrain.

Toujours selon un angle de vue économique, James Heckman souligne lui les dangers du “mythe qui consiste à penser que seule l’expérience aléatoire peut permettre de metter à jour des liens de causalité”.

Les sociologues, critiquent quant à eux le postulat selon lequel toutes les populations vont réagir de la même manière aux programmes. Pour eux, au contraire, on obtient par l’expérience aléatoire une vision d'un cas particulier et ce résultat n’a donc que peu de validité externe. Pour comprendre l'effet de l'approche, pour savoir comment elle fonctionnerait ailleurs, il faut des analyses de terrain, de théories de techniques qualitatives. La mesure d'impact n’est pas suffisante pour l’analyse d'impact. Une analyse qualitative serait en effet plus généralisable. Par exemple, sur une même petite zone, il peut arriver que l’on ait parfois 90% de taux d'emprunt alors qu’ailleurs, on en aurait seulement 2%.

Par ailleurs, ils soulignent un problème lié à la méthode d’enquête sur le terrain. Les données collectées à grande échelle ne peuvent se faire qu'avec des questions fermées, dont les réponses sont oui, non, un peu, beaucoup. On ne peut donc pas demander « pourquoi », car les réponses ne seraient pas exploitables à une si grande échelle. Et c’est précisément le rôle des sociologues d’étudier, d’identifier les hypothèses, le point de vue des individus et leur perception.

Solution alternative

Il existe en réalité une méthode plus légère : la technique d'appariement. Il ne s’agit pas d’une expérience aléatoire mais on compare deux groupes, ceux qui ont accès et ceux qui n’ont pas accès à l’objet de l’étude, à condition que ces groupes soient similaires (sur des critères observables tels que le revenu, la taille du ménage, etc.). Cette méthode a été employée pour une étude sur la téléphonie mobile à Haïti ou encore les microcrédits à Madagascar. Les résultats obtenus sont finalement proches de l’expérience aléatoire, même si le processus est moins robuste. Les principaux avantages de cette méthode sont sa légèreté, la moindre contribution de l’opérateur et le moindre coût par rapport à l’expérience aléatoire.

Un exemple test, comparaison de deux expériences aléatoire

a)Free distribution or cost sharing

L'article de Jessica Cohen et Pascaline Dupas décrit une expérience aléatoire ayant lieu au Kenya, qui vise à étudier l'effet du prix des moustiquaires traitées à l'insecticide sur leur utilisation. Les moustiquaires constituent un moyen privilégié de lutte contre la propagation du paludisme, qui est à l'origine de 15% des décès des enfants de moins de 5 ans en Afrique Pour une allocation efficace des moustiquaires aux femmes enceintes, certains préconisent la gratuité, d'autres la vente à prix réduit.

Le prix a un effet négatif sur la diffusion du produit : un bien vendu intéresse moins de gens qu'un bien gratuit. Le prix a aussi potentiellement un impact positif sur l'utilisation du bien, pour trois raisons :

effet de sélection : si le bien est payant, seuls ceux qui en ont le plus besoin veulent l'obtenir
effet psychologique : les gens gaspillent moins un bien qu'ils ont acheté qu'un bien qu'ils ont eu gratuitement
le signal que donne le prix sur la qualité

Les auteurs ne trouvent pas de lien significatif entre prix et utilisation du bien. En revanche, elles trouvent un lien clair et massif entre le prix et le nombre de femmes qui acquièrent les moustiquaires. Globalement, le fait de fixer un prix positif a donc un impact très négatif sur la protection de la population. Ainsi, les auteurs estiment que le nombre de femmes utilisant des moustiquaires au Kenya est quatre fois plus faible avec la politique de faibles prix actuellement en vigueur qu'elle ne serait en cas de gratuité.

b)Distribution du produit "Clorin" en Zambie

L'expérience menée en Zambie par Nava Ashraf, Jesse Shapiro et James Berry est une expérience aléatoire censée démontrer l'effet des prix sur l'utilisation d'un bien de santé de première nécessité : la Clorin qui permet d'assainir l'eau et d'éviter ainsi de nombreuses maladies.
Leur expérience est menée en plusieurs étapes. Ils interrogent d'abord les ménages à faibles revenus de la banlieue de Lusaka sur leurs connaissances des maladies et usages relatifs à l'eau et mesurent la présence de Clorin dans leur conteneur d'eau. Une expérience de porte à porte est ensuite menée par un autre groupe de personnes ; ils proposent d'abord un prix de vente (inférieur à celui du marché) puis une réduction (aléatoire) sur ce prix une fois que la personne a accepté d'acheter au prix de vente initial. Quelques semaines plus tard, une nouvelle enquête est menée pour évaluer l'utilisation que les ménages ont fait de la Clorin achetée.
L'interprétation des données collectées repose essentiellement sur la double étape de fixation du prix. Le prix auquel le ménage accepte d'acheter le bien permet d'estimer l'effet d'écran alors que celui auquel le ménage achète effectivement le bien permet d'estimer s'il y a un effet de cout irrécouvrable. La conclusion à laquelle parviennent les chercheurs est qu'il y a bien un effet d'écran et que les individus prêts à mettre une somme importante ont un meilleur usage du bien mais qu'il n'y a pas d'effet irrécouvrable, une fois le bien acheté, l'usage ne dépend pas du prix de transaction.

Free Distribution Or Cost-Sharing?

Evidence From A Randomized Malaria Prevention Experiment, Dupas & Cohen (Distribution gratuite ou partage des couts? Évidence d'une expérience aléatoire sur la prévention du paludisme)

effet de sélection : si le bien est payant, seuls ceux qui en ont le plus besoin veulent l'obtenir
effet psychologique : les gens gaspillent moins un bien qu'ils ont acheté qu'un bien qu'ils ont eu gratuitement
le signal que donne le prix sur la qualité

Les auteurs mettent en place des prix différents dans plusieurs cliniques choisies aléatoirement, puis vont chez un échantillon de femmes pour voir comment elles utilisent la moustiquaire. Un système est mis en place pour distinguer effet de sélection et effet psychologique : après avoir accepté de payer pour avoir le bien, certaines femmes y ont accès gratuitement, par un système de loterie. Les auteurs ne trouvent pas de lien significatif entre prix et utilisation du bien. En revanche, elles trouvent un lien clair et massif entre le prix et le nombre de femmes qui acquièrent les moustiquaires. Globalement, le fait de fixer un prix positif a donc un impact très négatif sur la protection de la population. Ainsi, les auteurs estiment que le nombre de femmes utilisant des moustiquaires au Kenya est quatre fois plus faible avec la politique de faibles prix actuellement en vigueur qu'elle ne serait en cas de gratuité.

Nous allons maintenant préciser les outils mathématiques utilisés par les auteurs.

Dans leur article, Pascaline Dupas et Jessica Cohen calculent l'utilité (U) qu'un ménage tire des moustiquaires en fonction de plusieurs facteurs

h, le nombre de moustiquaire correctement utilisées
n, le nombre de moustiquaires mal utilisées
u(h), l'utilité individuelle (l'utilité d'une moustiquaire bien installée)
v(n), l'utilité d'une moustiquaire mal installée
C, le cout de production d'une moustiquaire
T, la subvention
H, le nombre d'autres ménages possédant une moustiquaire correctement utilisée
k, les externalités résultant du fait que les autres ménages aient une moustiquaire

Ainsi, ils établissent une formule: U = u(h) + v(n) – (C–T)(h+n) + kH

u(h) + v(n) représente l'utilité que les ménages tirent du fait d'avoir une moustiquaire.
(C-T)(h+n) désigne le coût total des moustiquaire, il a un impact négatif sur l'utilité U
kH correspond aux externalités engendrée par le fait que d'autres ménages aient des moustiquaires correctement utilisées

Pour maximiser leur utilité, les ménages achètent tant que le bénéfice marginal qu'ils tirent de la consommation des moustiquaires est supérieure au prix.

Les ménages choisissent donc des quantité n et h telles que

u'(n) = C-T
v'(n) = C-T

On remarque que ce choix ne dépend pas des externalités k.

Les chercheurs veulent tester si h dépend de T.
Si n ne dépend pas de T, seul h dépend de T, et la subvention doit permettre d'internaliser les externalités positives engendrée par la bonne utilisation de la moustiquaire. La subvention doit donc être égale aux externalités, T=k (modèle de Pigou).
Cependant, ceux qui utilisent mal les moustiquaires bénéficient aussi de la subvention, alors qu'ils ne génèrent pas d'externalités positives. Si le fait que les moustiquaires soient subventionnées augmente leur consommation de moustiquaires (ie si n dépend de T), le niveau optimal de subvention T* sera inférieur à k.

Tester si h dépend de T ou non permet donc de déterminer si T* doit être égal ou inférieur à k.

Ainsi, les chercheurs modélisent les comportements et les différents choix des bénéficiaires de l'aide grâce à des formules mathématiques. Le modèle doit être à la fois simplifié et le plus proche possible de la réalité.

Can higher prices stimulate product use?

Evidence from a field experiment in Zambia. Ashraf, Easterly & Shapiro(Une hausse des prix peut-elle stimuler l’usage des produits ? Evidences d’une expérience aléatoire en Zambie)

Cette étude a été menée par trois économistes afin de démontrer l’existence d’effets prix sur l’usage que l’on fait des produits dans le cas des biens de santé. Dès le titre, les auteurs appellent une conclusion plus large que celle que l’on peut obtenir directement par les résultats de l’expérience. En effet, l’expérience est limitée à un certain bien, destiné à certains ménages, dans un certain pays et répondant à une situation sanitaire particulière. De nombreuses conditions sont posées dans le cadre de l’expérience et toute la méthode des auteurs consiste ainsi à identifier et éliminer ces biais pour obtenir un résultat qui soit généralisable.

Dans leur expérience, effectuée auprès de ménages de la banlieue de Lusaka, en Zambe, ils ont utilisé un bien déjà connu par ces familles : la Clorine, un produit permettant d’assainir l’eau destinée à la consommation.

L’expérience se déroule en quatre phases qui sont toutes conçues afin d’éviter les biais.

Bases de la procédure d’enquête
Les ménages, localisés en banlieue et ayant de faibles revenus, doivent tous répondre à un questionnaire qui comprend des questions d’ordre démographique, et d’autres sur leur connaissance de différentes maladies, sur les pratiques d’utilisation de l’eau… Ces éléments permettront ensuite d’identifier les biais dans les résultats de l’étude.
Mesure de l’utilisation de Clorine
Lors de cette enquête préalable, les équipes mesurent l’utilisation de la Clorine en interrogeant les ménages et en procédant à une mesure objective de la concentration chimique en chlore dans l’eau destinée à la consommation du ménage.
Expérience de vente porte-à-porte
Deux semaines après ces tests, des vendeurs démarchent les mêmes ménages. La procédure se déroule en deux temps permettant d’identifier deux effets prix.
Dans un premier temps, le vendeur propose un prix (choisi aléatoirement et inférieur ou égal au prix du marché). Le ménage décide ou non d’acheter le bien à ce prix, c’est la somme que le ménage est prêt à investir dans la Clorine.
Puis s’il y a bien décision d’achat par le ménage, le vendeur propose automatiquement une réduction qui peut varier de 10 à 100%. Cette réduction permet d’analyser l’effet de la somme effectivement investie.
Enquête de suivi
L’équipe de base est à nouveau envoyée 2 semaines après la vente de la Clorine, ce qui correspond au milieu de la période d’utilisation du produit. Comme lors de l’enquête préalable, on a une évaluation de l’utilisation du produit.

Le travail des économistes est ensuite un travail sur les données puisqu’il s’agit d’identifier les éléments autres que le prix qui vont influencer la consommation ou non de la Clorine.
Ces éléments peuvent être de différents types: niveau d’information du ménage sur les problèmes de santé, nombre d’enfants du ménage, présence ou non d’eau courante... Une fois ces biais identifiés, on peut évaluer leur impact respectif sur la consommation du produit et donc en faire des variables exogènes.
Ensuite, les économistes peuvent évaluer l’existence d’un effet d’écran [s’il y a achat, plus le prix proposé initialement était élevé, plus la probabilité d’utilisation est élevée (car ce prix est celui auquel le ménage accepte d’acheter le bien, en anticipant ses bénéfices)] et l’existence d’un effet de couts irrécouvrables [s’il y a achat, la probabilité d’utilisation du bien augmente avec le prix de transaction final (car un plus grand prix d’achat implique un plus grand désir de rationaliser la décision d’acheter)]. Si tous les biais et les variables sont bien identifiés et rendus exogènes, les économistes peuvent facilement constater l’existence ou non de ces effets par une simple régression.

Finalement, cette expérience leur a permis d’identifier de réels effets d’écran mais pas d’effet dû aux coûts irrécouvrables sur l’usage de produits de santé basiques dans un pays en voie de développement. Les ménages qui sont prêts à mettre le plus d’argent afin d’utiliser un bien sont ceux qui l’utiliseront à bon escient, même si la somme finalement investie importe peu. L’expérience amène donc ses auteurs à conclure que la distribution gratuite des biens de santé peut conduire à une perte, alors que la vente garantit moins de gaspillage puisque les individus qui ne sont pas prêts à payer pour le bien, et qui selon l’expérience utiliseront mal le produit, n’investiront simplement pas dans le produit.

Pour aller plus loin

Document sur l'expérience "Free distribution or cost sharing
Freakonomics - Le blog de New-York Times
Archives de l'université de Columbia