ThinkMesh: LLM을 위한 병렬 추론 라이브러리

ThinkMesh는 다양한 추론 경로를 병렬로 실행하고 내부 신뢰도 신호로 점수를 매기며, 유망한 분기에 컴퓨팅 리소스를 재할당하고, 검증기와 축소기로 결과를 통합하는 Python 라이브러리입니다. 오프라인 Hugging Face Transformers와 vLLM/TGI, 그리고 호스팅된 API를 지원합니다. ThinkMesh는 DeepConf, Self-Consistency, Tree of Thoughts 등 다양한 전략을 제공하며, 캐싱, 메트릭, JSON 추적 등의 기능을 포함하여 대규모 언어 모델의 추론 효율성과 신뢰성을 향상시킵니다.