Le bot d'un éditeur de code IA invente une politique, entraînant des annulations d'abonnement

Un éditeur de code basé sur l'IA, Cursor, a récemment subi des critiques après que son chatbot IA ait inventé une politique de l'entreprise. Un développeur a découvert que le changement d'appareil le déconnectait instantanément de Cursor. En contactant le support, un agent IA nommé "Sam" a affirmé qu'il s'agissait d'une nouvelle fonctionnalité de sécurité. Cependant, une telle politique n'existait pas ; l'IA a inventé l'information, entraînant des plaintes d'utilisateurs et des annulations d'abonnement. Cela souligne les risques de déployer des systèmes IA dans des rôles orientés client sans surveillance humaine, pouvant entraîner des clients frustrés, une confiance endommagée et des pertes financières.