使用StringScanner构建快速分词器 (tenderlovemaking.com)

文章介绍了如何利用Ruby的StringScanner工具优化GraphQL解析器中的分词器性能。作者通过合并空白和注释检查、将next_token方法拆分为获取token和获取token值两个方法、使用标点符号查找表和完美哈希表等技巧，将分词器的速度提高了两倍，并将对象分配从20k减少到2个。