Halluzinationen der KI-Codegenerierung: Eine neue Bedrohung für die Software-Lieferkette

Der Aufstieg KI-gestützter Codegenerierungswerkzeuge revolutioniert die Softwareentwicklung, führt aber auch neue Risiken für die Software-Lieferkette ein. Diese Werkzeuge „halluzinieren“ manchmal nicht existierende Softwarepakete, eine Schwachstelle, die von Angreifern ausgenutzt wird. Sie erstellen bösartige Pakete und laden sie auf Repositorys wie PyPI oder npm hoch. Wenn die KI den Namen erneut „halluziniert“, führt die Installation der Abhängigkeiten die Malware aus. Studien zeigen, dass etwa 5,2 % der Vorschläge kommerzieller KI-Modelle nicht existierende Pakete betreffen, im Vergleich zu 21,7 % bei Open-Source-Modellen. Diese „Halluzinationen“ zeigen ein bimodales Muster: Einige erfundene Namen tauchen immer wieder auf, andere verschwinden vollständig. Diese Form des Typosquatting, „Slopsquatting“ genannt, erfordert von Entwicklern eine sorgfältige Überprüfung des von der KI generierten Codes. Die Python Software Foundation arbeitet aktiv an der Minderung dieser Risiken.