Extensión del navegador Claude de Anthropic: una prueba controlada para la seguridad de la IA

Anthropic está probando una extensión de Chrome que permite a su asistente de IA, Claude, interactuar directamente dentro del navegador. Si bien esto mejora considerablemente la utilidad de Claude, introduce importantes preocupaciones de seguridad, principalmente ataques de inyección de prompt. Los experimentos de equipo rojo revelaron una tasa de éxito de ataque del 23,6% sin mitigaciones. Anthropic implementó varias salvaguardas, incluidos controles de permisos, confirmaciones de acciones y clasificadores avanzados, reduciendo la tasa de éxito al 11,2%. Actualmente, la extensión se encuentra en un programa piloto limitado con 1000 usuarios del plan Max para recopilar comentarios del mundo real y mejorar la seguridad antes del lanzamiento más amplio.