Annotations

« J’ai un jour naïvement demandé au regretté Alan Krueger quels étaient les pionniers des expériences naturelles en économie. Sa réponse quelque peu penaude était que c’est comme demander qui sont les pionniers du rock. Il ne fallut pas beaucoup de recherche de ma part pour découvrir les nombreux protagonistes d’un mouvement dans l’économie du travail dans les années 1980 et 1990 qui transforma la façon de faire du travail empirique dans ce champ et dans divers autres domaines de la science économique. Pourtant, comme le rock, les expériences naturelles ont leur "Fab Four" et ce sont les lauréats du Nobel de 2021, David Card, Joshua Angrist et Guido Imbens, ainsi que le regretté Alan Krueger. J’espère que beaucoup seront d’accord avec moi à l’idée que ce prix récompense également Krueger.

Les questions importantes en science économique sont des questions de causalité. Comment l’immigration affecte-t-elle la situation des autochtones sur le marché du travail ? Quel est le gain tiré d’une année supplémentaire passée à l’école ou à l’université ? Quels sont les effets du salaire minimum sur les perspectives d’emploi des travailleurs peu qualifiés ? Mais il est difficile de répondre à ces questions parce que nous manquons des bons contrefactuels.

Par exemple, nous ne savons pas comment les natifs se seraient comportés s’il y avait eu moins d’immigrés. En fait, nous observons les survenues pour les natifs pour les traitements réalisés, les niveaux d’immigration qui prirent effectivement place. Les corrélations observées entre les traitements réalisés et les survenues peuvent avoir trois raisons possibles. Il y a tout d’abord l’effet causal de la variable d’intérêt ; par exemple, l’impact de l’arrivée d’immigrés sur les salaires des autochtones. Alternativement, la causalité peut aller dans l’autre sens ; par exemple, les immigrés peuvent privilégier les marchés du travail qui réalisent de bonnes performances. La possibilité finale est qu’il peut y avoir une troisième variable (appelé facteur confondant) qui affecte à la fois le traitement et les survenues. Dans le cas de la récompense pour aller à l’université, les diplômés peuvent être plus capables ou plus travailleurs que ceux qui abandonnent prématurément l’école et auraient eu des rémunérations plus élevées même s’ils n’étaient pas allés à l’université.

Le défi de la science social est de savoir comment dépasser ces problèmes de causalité.

Les méthodes qui finirent par prendre une place privilégiée dans la boîte à outils des concepteurs d’expériences naturelles furent bien connus depuis longtemps par les économistes. La clé pour découvrir les effets causaux consiste à déterminer la provenance de la variation de la variable d’intérêt et utiliser un groupe de contrôle crédible.

L’une des méthodes, celle des différences de différences (ou des doubles différences), est fréquemment utilisée pour analyser des changements de politique publique en comparant des zones ou groupes, où certains reçoivent le traitement et d’autres non. Les groupes sont suivis avant et après que le changement de politique publique ou l’intervention soit mis en œuvre. En comparant les changements au cours du temps dans le groupe de traitement et le groupe de contrôle, les groupes n’ont pas à être préalablement identiques. Il suffit qu’ils évoluent de la même façon en l’absence du traitement.

L’autre méthode est celle des variables instrumentales. Elle relie une source de variation, que l’on espère reliée ni aux survenues, ni aux facteurs confondants, appelé l’instrument, au traitement, qui doit à son tour affecter le survenues. Les variables instrumentales peuvent par conséquent être utilisées pour déterminer les effets causaux et se prêtent souvent bien pour isoler la variation découlant des expériences naturelles. Ces méthodes étaient connues et utilisées par les économistes bien avant les années 1980. Un exemple en est le travail de Theodore Schultz (1964) sur l’"hypothèse du surplus du travail". Schultz voulait estimer le produit marginal du travail dans une économie agricole et utilisait les morts dans les provinces indiennes durant la pandémie de grippe espagnole de 1918-1919 comme choc touchant l’offre de travail.

Qu’est-ce que les concepteurs d’expériences naturelles des années 1980 ont réalisé ? (…) Il est nécessaire de prendre conscience qu’un travail comme celui de Schultz était exceptionnel. Les années 1970 et 1980 ont été plutôt un âge sombre pour l’économie empirique. L’appel d’Edward Leamer (1983) à "abandonner l’économétrie" montre bien le désarroi ressenti par beaucoup à l’époque.

Leamer illustre sa frustration avec la situation en prenant pour exemple la question de savoir si la peine capitale désincite à commettre un crime. Deux études influentes réalisées par Isaac Ehrlich (1975, 1977) conclurent qu’elle le faisait, mais Leamer a démontré que le résultat opposé pouvait facilement être obtenu à partir d’un seul ensemble de données en changeant quelques aspects de l’estimation. Les critiques contemporains s’attaquèrent aussi à la question avec les analyses d’Ehrlich et mit en lumière la fragilité en ce qui concerne la forme fonctionnelle, les variables incluses dans les modèles de régression et les modifications dans l’échantillon.

Pourtant, toutes ces controverses manquèrent le point principal, qui est de savoir si l’association d’exécutions et de taux d’homicides nous dit quelque chose à propos de l’effet causal de la punition capitale. Ehrlich était bien conscient du fait que les taux de criminalité pouvaient aussi affecter les exécutions et il utilisa la méthode des variables instrumentales pour contourner le problème. Mais les instruments qu’il choisit (les dépenses publiques et les dépenses dans la police, la population, et la fraction de la population qui n’est pas blanche) ne sont pas particulièrement plausibles et Ehrlich n’expliqua pas en quoi ils aidaient.

Cet exemple et les discussions autour de lui sont assez représentatifs de l’époque. En fait, ce fut probablement l’une des enquêtes les plus méticuleuses. L’utilisation quelque peu mécanique des variables instrumentales faisait partie de l’orthodoxie empirique. Souvent, les instruments étaient simplement des valeurs passées du traitement dans les études de séries temporelles.

A la même époque, plusieurs économistes prirent conscience des problèmes posés par les facteurs confondants et la causalité inverse et que les approches les plus utilisées étaient souvent peu adaptées pour s’y attaquer. Orley Ashenfelter, à Princeton, écrit une série d’articles sur l’évaluation des programmes de formation soutenus par le gouvernement (Ashenfelter, 1974, 1978 ; Ashenfelter et Card, 1985).

Peut-être ironiquement, il a aussi utilisé la méthode des différences de différences pour comparer des travailleurs qui reçurent une formation à d’autres travailleurs qui n’en bénéficièrent pas. Mais regarder à différents horizons temporels avant et après la formation produisait des estimations très différentes de l’impact de la formation. Il devint clair à ses yeux que les trajectoires des rémunérations des travailleurs formés différaient de façon marquée de celles des groupes de contrôles : les travailleurs formés tendaient à avoir une chute des revenus juste avant le début de la formation. Par conséquent, ce qui semblait être un effet de la formation pouvait n’être qu’un rebond consécutif à une mauvaise période traversée par les personnes formées.

Entre-temps, il y a eu l’évaluation aléatoire d’un tel programme de formation (le National Supported Work demonstration) et le doctorant Robert Lalonde d’Ashenfelter compara les estimations expérimentales aux alternatives non expérimentales. L’étude de Lalonde (1986) souligna la fragilité des méthodes non expérimentales et fournit un important élan chez plusieurs jeunes économistes à l’époque pour essayer de mieux faire.

Tandis qu’Ashenfelter continua de conseiller l’évaluation expérimentale des programmes publics, un autre doctorant de Princeton, Gary Solon, adopta une approche différente. Solon s’intéressait aux effets de l’indemnisation du chômage sur le comportement de recherche d’emploi des chômeurs et au temps qu’il leur fallait pour trouver un nouvel emploi. Les allocations chômage varient pour deux raisons : d’une part, les règles pour déterminer le niveau des allocations et, d’autre part, les rémunérations précédentes et le parcours en termes d’emploi des individus. Alors que nous nous intéressons aux effets des règles, les chercheurs se sont souvent simplement contentés de comparer les allocations reçues avec les survenues, donc confondaient la politique avec l’hétérogénéité des individus en termes de perspectives sur le marché du travail.

Solon (1985) était prudent pour distinguer les effets des règles d’indemnisation en exploitant la taxation des allocations chômage des hauts revenus qui débuta en 1979 selon une conception de différences de différences les comparant à un groupe de contrôle d’individus non taxés. Ce fut une autre étude marquante qui influença beaucoup de monde autour de lui, mais aussi au-delà, notamment Lawrence Katz et Bruce Meyer, à l’époque doctorants au MIT, qui prolongeraient ce travail.

En effet, Princeton n’était pas le seul endroit où le mécontentement augmentait. A Harvard, Richard Freeman était très influencé par le travail de Schultz mentionné plus haut. Freeman essaya de répliquer Schultz en utilisant des chocs similaires dans ses propres travaux, mais il n’est pas allé assez loin pour que son travail puisse être considéré comme relevant d’une véritable expérience naturelle.

Mais l’un de ses étudiants en doctorat, Alan Krueger, le fit. Krueger rejoignit Princeton comme professeur assistant en 1986, où il devint un collègue de David Card ; Joshua Angrist était un doctorant à l’époque. Ils faisaient partie d’un groupe de jeunes économistes convaincus qu’ils pouvaient faire mieux et créer un travail empirique crédible.

L’étude de Card (1990) de l’exode de Mariel pour mesurer l’effet de l’immigration sur les travailleurs natifs permet de saisir la différence en termes d’approche entre le travail de cette génération et de ce qui faisait avant. Pour contourner le problème que les immigrés pouvaient bien privilégier les marchés du travail en expansion, il observa l’arrivée des immigrés cubains dans l’exode de Mariel en 1980. Les réfugiés cubains arrivèrent tous à Miami et beaucoup y restèrent, augmentant en quelques mois la population active de la ville de 7 %.

Card a soigneusement comparé les survenues pour les natifs de Miami dans une analyse de différences de différences simple, avec des villes de comparaison qui ressemblaient à Miami, mais qui n’avaient pas reçu un large afflux d’immigrés. L’évolution des rémunérations et des taux de chômage des résidents de Miami a été assez similaire à celle observée dans les autres villes, mais les résultats sont quelque peu bruités et pas entièrement concluants. Néanmoins, l’étude de Mariel reste une expérience naturelle par excellence et elle influença beaucoup de chercheurs à l’époque.

David Card et Alan Krueger sont peut-être mieux connus pour leur travail sur le salaire minimum et en particulier pour l’étude de Card et Krueger (1994) qui analyse la hausse du salaire minimum dans le New Jersey. Ils ont comparé les effets sur l’emploi dans les fast-foods dans le New Jersey avec ceux de la Pennsylvanie voisine dans un autre cadre de différences de différences et ils observèrent une évolution similaire de l’emploi. Peut-être que le New Jersey et la Pennsylvanie étaient différents sur un autre plan et que cette différence explique pourquoi l’un des Etats releva son salaire minimum mais pas l’autre et que cet effet compense tout déclin de l’emploi. Card et Krueger ont répondu à cette inquiétude en comparant aussi les restaurants qui fixaient des salaires différents avant la hausse du salaire minimum du New Jersey et ils ont abouti à des résultats similaires.

Une innovation de cette étude sur le salaire minimum était qu’ils collectèrent des données en utilisant leur propre enquête à une époque où les économistes s’appuyaient presque exclusivement sur des sources de données secondaires. Chercher de bonnes sources de données ou constituer les vôtres est à présent commun en économie empirique. Il s’avère que la qualité des données du New Jersey n’était pas très bonne, comme l’avaient souligné les critiques, et Card et Krueger (2000) l’améliorèrent en utilisant les données administratives dans une nouvelle analyse qui confirma leurs résultats. La réévaluation critique de leurs propres travaux et leur correction si nécessaire constituent un autre trait de ces auteurs.

Toutes ces études utilisaient la méthode des différences de différences, mais un outil clé du mouvement des expériences naturelles a été la méthode des variables instrumentales. Son usage a été mis en lumière dans l’étude d’Angrist et Krueger (1991) sur les rendements d’une année supplémentaire à l’école. Ils ont exploité la nature des lois concernant l’obligation de scolarité aux Etats-Unis, qui stimule que les études peuvent quitter l’école dès qu’ils ont atteint l’âge maximum de scolarité obligatoire (de 16 ans dans beaucoup d’endroits), même si leur anniversaire est au milieu de l’année scolaire. Puisque l’entrée à l’école a lieu seulement une fois par an, en septembre, la date d’anniversaire génère une variation dans le temps à l’école pour ceux qui décident d’arrêter dès qu’ils en ont la possibilité. Cela amena Angrist et Krueger à utiliser le trimestre de naissance, qui est disponible dans de larges échantillons du recensement rendus publics, comme instrument pour les années de scolarisation.

Cet article en particulier apparaît comme un point tournant pour l’utilisation des variables instrumentales (même s’il y en a d’autres). Angrist et Krueger ont soigneusement soutenu les hypothèses inhérentes avec des éléments empiriques subsidiaires. Par exemple, les auteurs montrent que les lois concernant l’obligation de scolarisation affectent la fréquentation scolaire dans les cohortes les plus jeunes dans le recensement exactement de la façon attendue, même si ce ne sont pas les principales cohortes utilisées dans l’analyse. Ils montrent aussi que l’effet du trimestre de naissance affecte avant tout ceux au lycée, qui doivent être affectés par les lois relatives à l’obligation de scolarité, mais pas les individus qui obtiennent davantage d’éducation. Comme dans beaucoup des articles avec expériences naturelles, les éléments empiriques graphiques simples soutiennent ce récit et cette transparence est un autre aspect clé du mouvement des expériences naturelles.

L’une des surprises de l’étude d’Angrist et de Krueger sur la scolarité était que les variables instrumentales apportent un gain plus élevé pour la scolarité qu’une analyse plus naïve. C’est surprenant parce que la plupart des analystes se seraient attendus à ce que l’association naïve soit trop large, parce que nous croyons que ceux qui auraient eu des rémunérations plus élevées de toute façon sont aussi ceux qui sont les plus scolarisés, biaisant vers le haut l’association naïve.

C’est là où le travail d’Angrist et Guido Imbens entre en jeu. Tous deux venaient juste de finir leur thèse et ils se rencontrèrent comme professeurs assistants à Harvard. Clairement, des individus différents vont avoir différents bénéfices d’une année supplémentaire à l’école. Quelqu’un peut avoir un emploi dans l’entreprise familiale, si bien que faire une année supplémentaire à l’école lui importe peu ; pour une autre personne, cela peut changer sa vie. Donc, quels rendements de l’éducation sommes-nous en train de mesurer ? Imbens et Angrist (19945) montrent que ce sont ces individus dont la scolarité est affectée par l’instrument.

Dans le cas d’Angrist et Krueger, ce sont les individus en position d’arrêter tôt l’école. Leur étude nous dit peu à propos de l’obtention d’un diplôme universitaire. Alors que nous n’apprenons pas les effets sur la rémunération d’une année de scolarité pour chacun et pas pour chaque année de scolarité, les résultats des études utilisant les variables instrumentales sont souvent particulièrement pertinentes pour les groupes qui inquiètent pour des propos de politique publique.

L’analyse d’Angrist et Imbens a joué un rôle clé dans l’interprétation que Card (2001) fit de la littérature sur les rendements de la scolarité et les intuitions ont été utilisées et approfondies par divers chercheurs depuis. Cela montre aussi que toute étude ponctuelle ne va fournir que des résultats partiels sur une question. Pour obtenir une image plus complète, nous devons avoir plusieurs analyses avec différents instruments ou sinon des individus affectés différents. Ces questions de validité externe ont reçu de plus en plus d’attention au fil du temps.

Les articles classiques de ces auteurs n’ont pas été sous faire l’objet de critiques. En fait, tous les articles mentionnés ici ont été méticuleusement disséqués et ré-analysés par d’autres. Ce processus a mené à une meilleure compréhension des méthodes utilisées et a permis de les améliorer. Les "Fab Four" ont eux-mêmes été très impliqués dans ce processus. (…) Chose peut-être surprenante, beaucoup de ces articles ont plutôt bien tenu à l’examen dont ils ont fait l’objet.

La méthodologie des expériences naturelles ne s’est pas diffusée seulement dans l’économie du travail, mais aussi dans plusieurs autres champs de la science économique. Certains se sont inquiétés à l’idée que nous manquerions bientôt de bonnes expériences naturelles et que la méthodologie nous amènerait à nous focaliser sur des questions étroites, relativement peu importantes. C’est l’opposé qui semble être survenu : comme davantage de chercheurs utilisent ces méthodes, nous nous retrouvons avec plus de cadres, de meilleurs cadres, à exploiter. Les bonnes questions ont attiré les bonnes réponses.

Un indicateur brut indiquant le succès de la révolution des expériences naturelles est le fait que depuis 1990 au moins la moitié des médailles Clark (un prix donné par l’American Economic Association aux meilleurs économistes de moins de 40 ans) ont récompensé des économistes utilisant les méthodes expérimentales. C’est remarquable, comme les lauréats proviennent de tous les champs, notamment de la théorie, et cela montre aussi le succès dont l’économie empirique a joui au cours de cette période. C’est en grande partie dû au fait que les lauréats du Nobel de cette année nous ont montré la façon de faire un travail empirique crédible. »

Jörn-Steffen Pischke, « Natural experiments in labour economics and beyond: The 2021 Nobel laureates David Card, Joshua Angrist, and Guido Imbens », 16 octobre 2021. Traduit par Martin Anota



aller plus loin... lire « L’immigration nuit-elle à l’emploi ? »