GitHub - guywaldman/orch: 用于 LLM 编排的 Rust 框架 (github.com)

orch是一个用于构建由语言模型驱动的应用程序和代理的Rust库，它主要用于magic-cli，但也适用于其他场景。它提供了文本生成、流式文本生成、结构化数据生成和嵌入生成等功能，并支持使用Ollama作为语言模型。