Comment faire de la pseudoscience avec des données réelles : une critique des arguments statistiques de John Hattie dans Visible Learning par un statisticien How to Engage in Pseudoscience with Real Data: A Criticism of John Hattie’s Arguments in Visible Learning from the Perspective of a Statistician

Résumé

Cet article offre une critique du point de vue d’un statisticien de la méthodologie utilisée par Hattie, et explique pourquoi il faut absolument qualifier cette méthodologie de pseudoscience. On parle tout d’abord des intentions de Hattie. Puis, on décrit les erreurs majeures de Visible Learning avant d’expliquer l’ensemble des questions qu’un chercheur devrait se poser en examinant des études et enquêtes basées sur des analyses de données, incluant les méta-analyses. Ensuite, on donne des exemples concrets démontrant que le d de Cohen (la mesure de base derrière les effets d’ampleur, effect sizes, de Hattie) ne peut tout simplement pas être utilisé comme une mesure universelle d’impact. Enfin, on donne des pistes de solution pour mieux comprendre et exécuter des études et méta-analyses en éducation.

Abstract

This paper presents a critical analysis, from the point of view of a statistician, of the methodology used by Hattie in Visible Learning, and explains why it must absolutely be called pseudoscience. We first discuss what appears to be the intentions of Hattie’s approach. Then we describe the major mistakes in Visible Learning before reviewing the set of questions a researcher should ask when investigating studies and surveys based on data analyses, including meta-analyses. We give concrete examples explaining why Cohen’s d (the measure of effect size used in Visible Learning) simply cannot be used as some sort of universal measure of impact. Finally, we propose solutions to better understand and implement studies and meta-analyses in education.