生产环境下大语言模型推理指南

这份手册旨在解决开发者在生产环境中部署大语言模型（LLM）推理时遇到的知识碎片化问题。它涵盖了LLM推理的核心概念、性能指标（例如，首个token生成时间和每秒token数）、优化技术（例如，连续批处理和前缀缓存）以及最佳操作实践。无论您是微调小型开源模型还是在自己的架构上运行大规模部署，这份手册都将帮助您使LLM推理更快、更便宜、更可靠。