使用 Ollama、Rust、Qdrant、FastEmbed 和 OpenTelemetry 实现本地代码智能 (bosun.ai)

本文探讨了使用 Rust、Swiftide、Qdrant、FastEmbed 和 Ollama 构建本地代码智能工具的可行性与性能。作者首先介绍了如何使用 Swiftide 对代码库进行索引，并详细解释了代码块处理、元数据生成和嵌入存储等步骤。然后，作者展示了如何使用 Swiftide 的查询管道从索引的代码库中检索信息，并强调了子问题生成、嵌入检索、响应汇总和最终答案生成等关键步骤。为了评估性能，作者使用 Ollama 和 Groq 作为 LLM，并利用 OpenTelemetry 和 Jaeger 跟踪管道性能。最终得出结论：基于 Groq 等服务的推理时间远快于本地 Mac Pro 芯片，对于大型代码库，本地索引需要相当长的时间。