使用StringScanner构建快速分词器

2024-05-16

文章介绍了如何利用Ruby的StringScanner工具优化GraphQL解析器中的分词器性能。作者通过合并空白和注释检查、将next_token方法拆分为获取token和获取token值两个方法、使用标点符号查找表和完美哈希表等技巧,将分词器的速度提高了两倍,并将对象分配从20k减少到2个。

未分类 GraphQL 分词器