该网站提供了一个平台，可以运行几乎所有开源的大型语言模型，用户只需粘贴Hugging Face仓库的链接即可。该平台使用vLLM和定制的自动扩展GPU调度器，最多可以使用八个Nvidia A100 80Gb GPU。它支持vLLM支持的Hugging Face上的任何全权重或4位AWQ仓库，包括Meta Llama 2、Mixtral 8x22b、Gemma 2 27b等多种模型。