使用Rust、数据包捕获和Polars调试分布式数据库谜团

本文介绍了作者如何使用 Rust、数据包捕获和 Polars 来调试 QuestDB 中的网络带宽过高问题。作者首先使用 Rust 编写了一个网络流量捕获工具，该工具使用 pcap 库捕获数据包的时间戳和大小，并将数据写入内存映射文件中。然后，作者使用 Python 和 Polars 库分析数据，通过 pyarrow 将数据加载到 Polars DataFrame 中，并使用 group_by_dynamic 函数对数据进行分组和聚合。最终，作者通过分析网络流量数据，确定问题的原因是重复上传了整个表的元数据，并通过修改代码解决了问题。