ThinkMesh：并行推理的LLM库

ThinkMesh是一个Python库，用于并行运行多种推理路径，使用内部置信度信号对其进行评分，将计算资源重新分配给有希望的分支，并使用验证器和约简器融合结果。它支持离线的Hugging Face Transformers和vLLM/TGI，以及托管的API。ThinkMesh支持多种策略，例如DeepConf、Self-Consistency和Tree of Thoughts，并提供缓存、指标和JSON跟踪等功能，极大地提升了大型语言模型的推理效率和可靠性。