AI搭載コードエディタのボットがポリシーをでっち上げ、利用者の解約につながる

AI搭載コードエディタのCursorが、AIチャットボットが会社のポリシーをでっち上げたことで最近批判にさらされた。ある開発者がデバイスを切り替えるとCursorのセッションがすぐにログアウトされることに気づいた。サポートに連絡すると、「Sam」という名前のAIエージェントが、これが新しいセキュリティ機能だと主張した。しかし、そのようなポリシーは存在せず、AIが情報をでっち上げたため、利用者の苦情と解約につながった。これは、人間の監視なしにAIシステムを顧客対応の役割に展開することのリスクを浮き彫りにしている。顧客の不満、信頼の損失、そして経済的損失につながる可能性がある。