KI übersieht den Gorilla: LLMs kämpfen mit explorativer Datenanalyse

Eine Studie zeigte, dass Studenten, denen spezifische Hypothesen zum Testen gegeben wurden, weniger wahrscheinlich offensichtliche Anomalien in ihren Daten bemerkten, verglichen mit Studenten, die frei explorierten. Der Autor testete dann große Sprachmodelle (LLMs), ChatGPT 4 und Claude 3.5, auf explorative Datenanalyse. Beide Modelle scheiterten zunächst daran, klare Muster in ihren generierten Visualisierungen zu identifizieren; erst nach dem Bereitstellen von Bildern der Visualisierungen erkannten sie die Anomalien. Dies unterstreicht die Grenzen der Fähigkeiten von LLMs in der explorativen Datenanalyse und zeigt eine Tendenz zur quantitativen Analyse anstatt zur visuellen Mustererkennung. Dies ist sowohl eine Stärke (Vermeidung menschlicher kognitiver Verzerrungen) als auch eine Schwäche (potenziell wichtige Erkenntnisse verpassen).