마이크로소프트 AI 레드팀: AI 보안은 끝없는 싸움

마이크로소프트 AI 레드팀은 자사의 100개 이상의 생성형 AI 제품을 테스트한 결과, AI 모델은 기존의 보안 위험을 증폭시키고 새로운 위험을 야기한다는 결론을 내렸습니다. 그들의 연구 결과는 7가지 중요한 교훈을 강조하며, AI 시스템 보안 확보는 지속적인 프로세스이며 지속적인 투자와 자동화 도구 및 사람의 검토를 결합해야 함을 강조합니다. 이 보고서는 또한 위험 평가 시 모델의 의도된 사용을 고려하는 것의 중요성을 강조하며, 간단한 공격 방법이 복잡한 그래디언트 기반 공격보다 더 효과적인 경우가 많다는 점을 지적합니다. 게다가 AI에 의해 도입된 윤리적 및 사회적 편향은 심각한 우려 사항으로 강조됩니다.