Les LLM déchiffrant un code de notation musicale byzantine

Des chercheurs ont découvert que les grands modèles de langage comme Claude et GPT-4 peuvent déchiffrer un code particulier basé sur le bloc Unicode de notation musicale byzantine. Ce code ressemble à un chiffrement César, mais avec un décalage de 118784. Les modèles peuvent déchiffrer ce code directement, sans raisonnement en chaîne, atteignant des taux de succès encore plus élevés qu'avec les chiffrements César réguliers. Les chercheurs émettent l'hypothèse que cela est dû à une relation linéaire entre l'addition dans une plage spécifique d'Unicode et l'addition dans l'espace des jetons, permettant aux modèles d'apprendre un chiffrement par décalage basé sur cette relation. Ce phénomène suggère l'existence de mécanismes encore incompris au sein des LLM.