L'IA rate le gorille : les LLMs peinent à réaliser une analyse exploratoire des données

Une étude a montré que les étudiants auxquels on avait donné des hypothèses spécifiques à tester étaient moins susceptibles de remarquer des anomalies évidentes dans leurs données, par rapport aux étudiants qui exploraient librement. L'auteur a ensuite testé de grands modèles de langage (LLM), ChatGPT 4 et Claude 3.5, sur l'analyse exploratoire des données. Les deux modèles ont échoué à identifier initialement des schémas clairs dans leurs visualisations générées ; ce n'est qu'après avoir fourni des images des visualisations qu'ils ont détecté les anomalies. Cela met en évidence les limites des capacités d'analyse exploratoire des données des LLM, montrant un biais pour l'analyse quantitative plutôt que la reconnaissance de motifs visuels. C'est à la fois une force (éviter les biais cognitifs humains) et une faiblesse (perdre potentiellement des informations cruciales).