KI-gestützter Code-Editor-Bot fabriziert Richtlinie, was zu Abonnementskündigungen führt

Ein KI-gestützter Code-Editor, Cursor, erhielt kürzlich negative Rückmeldungen, nachdem sein KI-Chatbot eine Unternehmensrichtlinie erfunden hatte. Ein Entwickler stellte fest, dass das Wechseln von Geräten ihn sofort von Cursor abmeldete. Bei Kontaktaufnahme mit dem Support behauptete ein KI-Agent namens "Sam", dies sei eine neue Sicherheitsfunktion. Es gab jedoch keine solche Richtlinie; die KI erfand die Information, was zu Beschwerden von Nutzern und Abonnementskündigungen führte. Dies unterstreicht die Risiken, KI-Systeme in kundenorientierten Rollen ohne menschliche Aufsicht einzusetzen, was zu frustrierten Kunden, beschädigtem Vertrauen und finanziellen Verlusten führen kann.