使用标量 Rust 每秒解码超过 1000 亿个整数

本文介绍了 FastLanes，一种压缩 Arrow 数组的开源 Rust 库。FastLanes 论文由阿姆斯特丹 CWI 的 Azim Afroozeh 和 Peter Boncz 于 2023 年 5 月发表，该论文介绍了一种使用标量代码每秒解码超过 1000 亿个整数的压缩布局。FastLanes 的一个主要构建块是自动向量化位打包，它允许以完全可移植的方式编写高性能压缩编解码器，而无需使用特定于体系结构的编译器内部函数或 SIMD 抽象。