Optimización del Lexer de Purple Garden: Un aumento de velocidad de 0 a 580 MB/s

Esta publicación de blog detalla el proceso del autor para optimizar el lexer del lenguaje Purple Garden, alcanzando una velocidad impresionante de 580 MB/s. Las técnicas empleadas incluyen gotos computados, cadenas de cero copias y cero asignaciones, una interfaz de asignador, internamiento de tokens y hashes de palabras clave precomputados, mejorando significativamente el rendimiento del lexer. Otras optimizaciones incluyeron mejoras arquitectónicas y el uso de mmap para una lectura de archivos más rápida. Estas optimizaciones resultaron en un aumento dramático en la velocidad, transformando el tiempo de procesamiento de decenas de milisegundos a meros milisegundos, un verdadero salto en la velocidad.