nCompass : Révolutionner le coût de l'inférence IA
nCompass Technologies a développé un logiciel innovant de service d'inférence IA qui réduit le coût du service des modèles IA à grande échelle jusqu'à 50 %. En utilisant un logiciel d'inférence IA personnalisé et un ordonnanceur de requêtes prenant en compte le matériel avec un scaling automatique Kubernetes, nCompass maintient un service de haute qualité avec moins de GPU, ce qui entraîne une amélioration jusqu'à 4 fois du temps de réponse et des coûts d'infrastructure GPU significativement réduits. Les utilisateurs accèdent aux modèles open source via une API sans limite de débit et reçoivent un crédit d'inscription de 100 $. Des solutions sur site sont également disponibles pour les entreprises exigeant rentabilité et réactivité.