ThinkMesh: Paralleles Denken für LLMs

ThinkMesh ist eine Python-Bibliothek zum parallelen Ausführen verschiedener Denkwege, wobei diese mit internen Konfidenzsignalen bewertet, die Rechenleistung auf vielversprechende Zweige umverteilt und die Ergebnisse mit Verifizierern und Reduzierern fusioniert werden. Sie unterstützt Offline-Hugging Face Transformers und vLLM/TGI sowie gehostete APIs. ThinkMesh bietet verschiedene Strategien wie DeepConf, Self-Consistency und Tree of Thoughts und umfasst Funktionen wie Caching, Metriken und JSON-Traces für höhere Effizienz und Zuverlässigkeit beim Schließen mit großen Sprachmodellen.