ThinkMesh：LLMのための並列推論ライブラリ

ThinkMeshは、多様な推論経路を並列で実行し、内部の信頼度シグナルでスコア付けし、有望なブランチに計算リソースを再割り当てし、検証器と縮小器で結果を融合するPythonライブラリです。オフラインのHugging Face TransformersとvLLM/TGI、およびホストされているAPIをサポートしています。ThinkMeshは、DeepConf、Self-Consistency、Tree of Thoughtsなどのさまざまな戦略を提供し、キャッシング、メトリクス、JSONトレースなどの機能を含み、大規模言語モデルの推論効率と信頼性を向上させます。