nCompass：大幅降低AI模型推理成本的创新方案
2024-12-16
nCompass Technologies开发了一种创新的AI推理服务软件，能够将大规模AI模型服务的成本降低50%。该软件通过定制的AI推理服务软件和硬件感知请求调度程序以及Kubernetes自动缩放器，在更少的GPU上保持高质量的服务，从而显著提升响应速度，最高可达4倍，并降低GPU基础设施成本。用户可通过API访问开源模型，无速率限制，并享有100美元的注册信用额度。nCompass还提供本地部署方案，适用于对成本和响应速度有高要求的企业。
阅读更多
AI