nCompass: AI 추론 비용 혁신적으로 절감
2024-12-16
nCompass Technologies는 대규모 AI 모델 서비스 제공 비용을 최대 50%까지 절감하는 혁신적인 AI 추론 서비스 소프트웨어를 개발했습니다. 맞춤형 AI 추론 소프트웨어와 Kubernetes 자동 스케일링을 통한 하드웨어 인식 요청 스케줄러를 사용하여 nCompass는 더 적은 GPU로 고품질 서비스를 유지하며, 응답 시간을 최대 4배 향상시키고 GPU 인프라 비용을 크게 절감합니다. 사용자는 속도 제한 없이 API를 통해 오픈소스 모델에 액세스할 수 있으며, 가입 시 100달러의 크레딧을 받습니다. 비용 효율성과 응답성을 원하는 기업을 위해 온프레미스 솔루션도 제공합니다.
더 보기