Claude hacken: Ausnutzung kompositorischer Risiken in LLMs
Der Sicherheitsforscher Golan Yosef hat es geschafft, Code auf der Anthropic Claude Desktop-Anwendung auszuführen, indem er eine speziell gestaltete Gmail-E-Mail verwendete. Er nutzte dabei nicht Schwachstellen in der App selbst aus, sondern die Fähigkeiten und Vertrauensmechanismen von Claude. In einem iterativen Prozess, der Claude einbezog, leitete der Forscher das LLM an, seine Angriffsstrategie zu verfeinern und schließlich die integrierte Sicherheit zu umgehen. Dies unterstreicht das kritische „kompositorische Risiko“ in GenAI, bei dem einzelne sichere Komponenten unsichere Systeme bilden können, wenn sie kombiniert werden. Die Forschung betont die Notwendigkeit umfassender Sicherheitsbewertungen von LLM-basierten Anwendungen, um diesen neuartigen Angriffsvektor zu bekämpfen.