QB64 搜索技巧 核手提箱 文字记录 海洋云增白 开源地图 Bliss AI 搜索答案 深海沉船 自由职业 policy 小团队 颈挂空调 Chumby 个人电脑 极端主义 团队 世界 PostgreSQL AI工具 证券 DirectX 防溢 DrawingPics Zulip 儿童读物 化学 连续滚动 代码审查 三菱电机 更多

Paddler: 为llama.cpp定制的状态负载均衡器 (github.com)

原文: GitHub - distantmagic/paddler: Stateful load balancer custom-tailored for llama.cpp

Paddler是一个开源负载均衡器和反向代理，专为优化运行llama.cpp的服务器而设计。它维护一个状态感知的负载均衡器，了解每个服务器的可用插槽，确保高效的请求分配。Paddler还使用代理监控各个llama.cpp实例的健康状况，为负载均衡器提供反馈以实现最佳性能，并支持动态添加或删除llama.cpp服务器，支持与自动扩展工具集成。