ThinkMesh: LLM을 위한 병렬 추론 라이브러리
2025-08-24
ThinkMesh는 다양한 추론 경로를 병렬로 실행하고 내부 신뢰도 신호로 점수를 매기며, 유망한 분기에 컴퓨팅 리소스를 재할당하고, 검증기와 축소기로 결과를 통합하는 Python 라이브러리입니다. 오프라인 Hugging Face Transformers와 vLLM/TGI, 그리고 호스팅된 API를 지원합니다. ThinkMesh는 DeepConf, Self-Consistency, Tree of Thoughts 등 다양한 전략을 제공하며, 캐싱, 메트릭, JSON 추적 등의 기능을 포함하여 대규모 언어 모델의 추론 효율성과 신뢰성을 향상시킵니다.
개발
병렬 추론