La Tríada Letal: Nuevos Desafíos en la Seguridad de LLM

Una charla sobre seguridad de IA se centró en la inyección de prompts, un nuevo ataque que explota las vulnerabilidades inherentes de los LLM construidos mediante la concatenación de cadenas. El orador acuñó el término "Tríada Letal", que describe tres condiciones de ataque: acceso del LLM a datos privados, ejecución de llamadas a herramientas y exfiltración de datos. Se discutieron numerosos ejemplos de ataques de inyección de prompts, destacando la insuficiencia de las defensas actuales y enfatizando la necesidad de restringir fundamentalmente el acceso del LLM a entradas no confiables. La presentación también abordó fallas de seguridad en el Protocolo de Contexto del Modelo (MCP), señalando que su enfoque de combinación y coincidencia transfiere irrazonablemente la responsabilidad de seguridad a los usuarios finales.