RouteLLM：一种用于服务和评估LLM路由器的框架 (github.com)

RouteLLM是一个用于服务和评估LLM路由器的框架，旨在通过将更简单的查询路由到更便宜的模型来节省LLM成本，而不会影响质量。该框架提供训练好的路由器，并可以轻松扩展到新的路由器，同时还可以在多个基准测试中比较路由器的性能。