祝你好运,玩得开心

2024-07-24

该网站提供了一个平台,可以运行几乎所有开源的大型语言模型,用户只需粘贴Hugging Face仓库的链接即可。该平台使用vLLM和定制的自动扩展GPU调度器,最多可以使用八个Nvidia A100 80Gb GPU。它支持vLLM支持的Hugging Face上的任何全权重或4位AWQ仓库,包括Meta Llama 2、Mixtral 8x22b、Gemma 2 27b等多种模型。

34
未分类