Bildskalierungsangriffe: Eine neue Schwachstelle in KI-Systemen

Forscher haben eine neue Sicherheitslücke in KI-Systemen entdeckt: Die Exfiltration von Daten kann erreicht werden, indem scheinbar harmlose Bilder an große Sprachmodelle (LLMs) gesendet werden. Angreifer nutzen die Tatsache aus, dass KI-Systeme Bilder oft verkleinern, bevor sie verarbeitet werden, indem sie bösartige Prompt-Injektionen in die verkleinerte Version einbetten, die in voller Auflösung unsichtbar sind. Dies ermöglicht es, die Aufmerksamkeit des Benutzers zu umgehen und auf Benutzerdaten zuzugreifen. Die Schwachstelle wurde in mehreren KI-Systemen nachgewiesen, darunter Google Gemini CLI. Die Forscher haben das Open-Source-Tool Anamorpher entwickelt, um diese manipulierten Bilder zu generieren und zu analysieren, und empfehlen, die Bildskalierung in KI-Systemen zu vermeiden oder Benutzern eine Vorschau des Bildes zu geben, das das Modell tatsächlich sieht, um das Risiko zu mindern.