12 erreurs méthodologiques dans l'évaluation des outils de coding IA (en)

Mesurer les lignes de code générées, chronométrer des tâches artificielles ou demander aux développeurs s’ils “se sentent plus productifs” sont autant d’approches biaisées pour évaluer les outils de coding assistés par IA. Cet article décortique 12 erreurs méthodologiques courantes : effet Hawthorne, biais de sélection, loi de Goodhart, absence de groupe de contrôle, ou encore la mesure partielle qui ignore dette technique et failles de sécurité introduites. Des études récentes montrent que ces biais peuvent mener à des conclusions inverses à la réalité.