Anthropic의 Claude 브라우저 확장 프로그램: AI 안전을 위한 제어된 테스트

Anthropic은 AI 어시스턴트인 Claude를 브라우저에서 직접 조작할 수 있는 Chrome 확장 프로그램을 테스트하고 있습니다. 이는 Claude의 유용성을 크게 향상시키지만, 특히 프롬프트 주입 공격과 같은 심각한 보안 문제도 야기합니다. 완화 조치가 없는 경우 공격 성공률은 레드 팀 테스트에서 23.6%였습니다. Anthropic은 권한 제어, 작업 확인, 고급 분류기 등 여러 가지 안전 조치를 구현하여 성공률을 11.2%로 줄였습니다. 현재 이 확장 프로그램은 1000명의 Max 플랜 사용자를 대상으로 한 제한적인 파일럿 프로그램으로, 실제 환경에서의 피드백을 수집하고 더 광범위한 출시 전에 안전성을 개선하는 것을 목표로 합니다.