nCompass: Innovación que reduce el costo de la inferencia de IA
nCompass Technologies ha desarrollado un software innovador de servicio de inferencia de IA que reduce el costo de servir modelos de IA a escala hasta en un 50%. Mediante el uso de software personalizado de inferencia de IA y un programador de solicitudes con conocimiento del hardware y escalamiento automático de Kubernetes, nCompass mantiene un servicio de alta calidad con menos GPUs, lo que resulta en una mejora de hasta 4 veces en el tiempo de respuesta y costos de infraestructura de GPU significativamente reducidos. Los usuarios acceden a modelos de código abierto a través de una API sin límites de velocidad y reciben un crédito de registro de $100. También hay disponibles soluciones locales para empresas que exigen rentabilidad y capacidad de respuesta.