热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

基于LLM的工具中是否应该使用Rust来提高性能？

2024-10-01

这篇文章探讨了在基于大型语言模型(LLM)的工具中使用Rust替代Python是否能够提升性能。作者认为尽管Rust以其零成本抽象和无畏并发等性能优势而著称，但在处理LLM时，性能瓶颈通常在于GPU推理。文章通过基准测试对比了使用Rust编写的Swiftide库与Python的Langchain库在文本处理、嵌入生成和向量数据库插入方面的性能差异，结果表明在某些情况下，Swiftide显著优于Langchain。作者得出结论：Rust可以帮助开发者更接近硬件性能的上限，但在实际应用中是否选择Rust取决于具体需求。

阅读更多
(bosun.ai)
26
未分类

使用 Ollama、Rust、Qdrant、FastEmbed 和 OpenTelemetry 实现本地代码智能

2024-09-06

本文探讨了使用 Rust、Swiftide、Qdrant、FastEmbed 和 Ollama 构建本地代码智能工具的可行性与性能。作者首先介绍了如何使用 Swiftide 对代码库进行索引，并详细解释了代码块处理、元数据生成和嵌入存储等步骤。然后，作者展示了如何使用 Swiftide 的查询管道从索引的代码库中检索信息，并强调了子问题生成、嵌入检索、响应汇总和最终答案生成等关键步骤。为了评估性能，作者使用 Ollama 和 Groq 作为 LLM，并利用 OpenTelemetry 和 Jaeger 跟踪管道性能。最终得出结论：基于 Groq 等服务的推理时间远快于本地 Mac Pro 芯片，对于大型代码库，本地索引需要相当长的时间。

阅读更多
(bosun.ai)
29
未分类 代码智能