암스테르담의 공정한 사기 적발 모델: 알고리즘 편향에 대한 사례 연구

암스테르담시는 복지 시스템에서 사기 적발을 위한 '공정한' AI 모델 구축을 시도했습니다. 이는 조사 건수 감소, 효율성 향상, 취약 계층에 대한 차별 회피를 목표로 했습니다. 초기 모델은 비(非)네덜란드인과 비서구권 출신자에게 편향을 보였습니다. 훈련 데이터의 가중치 부여를 통해 편향이 완화되었지만, 실제 적용에서는 반대 방향의 새로운 편향과 성능의 큰 저하가 드러났습니다. 결국 프로젝트는 중단되었고, AI에서 공정성의 다양한 정의 사이의 불가피한 트레이드오프가 부각되었습니다. 특정 집단의 편향을 줄이려는 시도는 다른 집단의 편향을 무의식적으로 증가시킬 수 있으며, 알고리즘적 의사 결정에서 공정성을 달성하는 복잡성을 보여줍니다.