nCompass: Solução inovadora reduz custos de inferência de IA
2024-12-16
A nCompass Technologies desenvolveu um software inovador de serviço de inferência de IA que reduz o custo de servir modelos de IA em escala em até 50%. Usando software personalizado de inferência de IA e um escalonador de solicitações com reconhecimento de hardware e dimensionamento automático do Kubernetes, a nCompass mantém um serviço de alta qualidade com menos GPUs, resultando em uma melhoria de até 4x no tempo de resposta e custos de infraestrutura de GPU significativamente reduzidos. Os usuários acessam modelos de código aberto por meio de uma API sem limites de taxa e recebem um crédito de inscrição de US$ 100. Soluções locais também estão disponíveis para empresas que exigem custo-benefício e capacidade de resposta.