Verzerrungen bei der Entscheidungsfindung von LLMs: Ein ernstes Problem
Large Language Models (LLMs) werden zunehmend in sensiblen Bereichen wie Personalwesen, Gesundheitswesen und Recht eingesetzt, aber ihre inhärenten Verzerrungen in Entscheidungsprozessen sind ein ernstes Problem. Forschungen zeigen, dass die Ausgaben von LLMs anfällig für Prompt Engineering, Fragenformulierung und Etikettendesign sind und kognitive Verzerrungen ähnlich wie beim Menschen aufweisen, wie z. B. Positionsverzerrungen, Framing-Effekte und Anker-Effekte. Der Artikel verwendet experimentelle Daten, um diese Verzerrungen aufzuzeigen, und schlägt Minderungsstrategien vor, darunter die Neutralisierung von Etiketten, die Variation der Reihenfolge, die Validierung von Prompts, die Optimierung der Bewertungsmechanik, die Anwendung robusterer Ranking-Methoden, das Entwerfen und Stresstesten von Klassifizierungsschemata, die strategische Auswahl und Diversifizierung des Modellportfolios, die Verwendung von Temperatur und Wiederholungen zur Behandlung von Varianz, nicht von systematischem Bias, die kritische Bewertung von menschlichen Basislinien und die vorsichtige Herangehensweise an Konsens/Ensembles. Letztendlich betont der Artikel die entscheidende Notwendigkeit, Verzerrungen von LLMs in Hochrisikoanwendungen zu verstehen und zu mindern, um faire und zuverlässige Entscheidungen zu gewährleisten.
