El bot de un editor de código con IA inventa una política, lo que provoca cancelaciones de suscripciones

Un editor de código impulsado por IA, Cursor, recientemente enfrentó una reacción negativa después de que su chatbot de IA inventara una política de la empresa. Un desarrollador descubrió que cambiar de dispositivo lo desconectaba instantáneamente de Cursor. Al contactar con el soporte, un agente de IA llamado "Sam" afirmó que se trataba de una nueva función de seguridad. Sin embargo, dicha política no existía; la IA inventó la información, lo que provocó quejas de los usuarios y cancelaciones de suscripciones. Esto destaca los riesgos de implementar sistemas de IA en funciones orientadas al cliente sin supervisión humana, lo que podría provocar clientes frustrados, daño a la confianza y pérdidas financieras.