A Tríade Letal: Novos Desafios na Segurança de LLMs

Uma palestra sobre segurança de IA focou na injeção de prompt, um novo ataque que explora as vulnerabilidades inerentes dos LLMs construídos por meio de concatenação de strings. O palestrante cunhou o termo "Tríade Letal", descrevendo três condições de ataque: acesso do LLM a dados privados, execução de chamadas de ferramentas e exfiltração de dados. Vários exemplos de ataques de injeção de prompt foram discutidos, destacando a inadequação das defesas atuais e enfatizando a necessidade de restringir fundamentalmente o acesso do LLM a entradas não confiáveis. A apresentação também abordou falhas de segurança no Protocolo de Contexto de Modelo (MCP), observando que seu método de combinação e correspondência transfere irrealisticamente a responsabilidade de segurança para os usuários finais.