Modelo de Detección de Fraude Justo de Ámsterdam: Un Caso de Estudio sobre Sesgo Algorítmico
Ámsterdam intentó construir un modelo de IA 'justo' para la detección de fraude en su sistema de bienestar social, con el objetivo de reducir las investigaciones, mejorar la eficiencia y evitar la discriminación contra grupos vulnerables. El modelo inicial mostró sesgo contra los ciudadanos no holandeses y las personas de origen no occidental. Si bien la ponderación de los datos de entrenamiento mitigó algunos sesgos, la implementación en el mundo real reveló nuevos sesgos en la dirección opuesta, junto con una degradación significativa del rendimiento. El proyecto finalmente se abandonó, destacando las compensaciones inherentes entre las diferentes definiciones de justicia en la IA. Los intentos de reducir el sesgo en un grupo pueden aumentar inadvertidamente en otros, demostrando las complejidades de lograr la justicia en la toma de decisiones algorítmicas.