KI-Benchmarking-Skandal: Haben Big-Tech-Unternehmen Chatbot Arena manipuliert?

Ein neuer Bericht von Cohere, Stanford, MIT und Ai2 wirft LM Arena, der Organisation hinter dem beliebten KI-Benchmark Chatbot Arena, vor, große KI-Unternehmen wie Meta, OpenAI, Google und Amazon unfair bevorzugt zu haben. Die Forscher behaupten, dass diese Unternehmen private Tests mit mehreren Modellvarianten durchführen durften und schlechte Ergebnisse unterdrückt haben, um ihre Platzierung in der Rangliste zu verbessern. Die Analyse von über 2,8 Millionen Schlachten ergab Hinweise auf erhöhte Abtastraten, die diesen Unternehmen einen unfairen Vorteil verschafften. LM Arena bestreitet die Ergebnisse, verweist auf Ungenauigkeiten und plant, seinen Abtastungsalgorithmus zu verbessern, bestreitet aber die Manipulation der Rangliste. Die Kontroverse wirft Bedenken hinsichtlich der Fairness und Transparenz beim KI-Benchmarking auf und beleuchtet die wettbewerbsorientierten Taktiken, die von großen Technologieunternehmen im KI-Wettlauf eingesetzt werden.