Das tödliche Trio: Neue Herausforderungen in der LLM-Sicherheit

Ein Vortrag über KI-Sicherheit konzentrierte sich auf Prompt Injection, einen neuartigen Angriff, der die inhärenten Schwachstellen von LLMs ausnutzt, die durch String-Konkatenation aufgebaut sind. Der Sprecher prägte den Begriff „tödliches Trio“, der drei Angriffsbedingungen beschreibt: Zugriff des LLM auf private Daten, Ausführung von Tool-Aufrufen und Datenexfiltration. Zahlreiche Beispiele für Prompt-Injection-Angriffe wurden diskutiert, wobei die Unzulänglichkeit der aktuellen Abwehrmaßnahmen und die Notwendigkeit hervorgehoben wurden, den Zugriff des LLM auf nicht vertrauenswürdige Eingaben grundlegend einzuschränken. Die Präsentation behandelte auch Sicherheitsschwachstellen im Model Context Protocol (MCP) und stellte fest, dass dessen Mix-and-Match-Ansatz die Sicherheitsverantwortung unzumutbar an die Endbenutzer verlagert.