Tokenizador BASIC del Commodore PET: Un error curioso

Este artículo explora un error peculiar en los tokenizadores BASIC iniciales del Commodore PET, derivado de su manejo de espacios en blanco. Los intérpretes BASIC iniciales ignoraban los espacios entre palabras clave, lo que llevaba a que 'LET THEN' se interpretara como 'LETHEN', resultando en errores de sintaxis. El artículo profundiza en el proceso de tokenización BASIC, explicando por qué ignorar los espacios en blanco mejoraba la eficiencia, y disecciona el código del tokenizador del Commodore BASIC 1.0. Finalmente, revela la causa raíz del error y su corrección en versiones posteriores.