LLMs halluzinieren nicht existierende Softwarepakete: Eine Schwachstelle in der Lieferkette

Forscher haben eine besorgniserregende Schwachstelle in großen Sprachmodellen (LLMs) entdeckt: die Halluzination nicht existierender Softwarepakete während der Codegenerierung. Dies ist nicht zufällig; spezifische Namen nicht existierender Pakete werden wiederholt generiert, wodurch ein wiederholbares Muster entsteht. Angreifer könnten dies ausnutzen, indem sie Malware unter diesen halluzinierten Namen veröffentlichen und warten, bis Entwickler darauf zugreifen, wodurch ein Angriff auf die Lieferkette ausgelöst wird. Open-Source-LLMs zeigten eine höhere Rate dieser „Paket-Halluzination“ als kommerzielle Modelle, und Python-Code zeigte weniger Instanzen als JavaScript-Code.