nCompass: Revolutioniert die Kosten der KI-Inferenz
2024-12-16
nCompass Technologies hat eine innovative KI-Inferenz-Software entwickelt, die die Kosten für das Bereitstellen von KI-Modellen im großen Maßstab um bis zu 50 % senkt. Durch die Verwendung kundenspezifischer KI-Inferenz-Software und eines hardware-aware Request Schedulers mit Kubernetes-Autoscaling, behält nCompass eine hohe Servicequalität bei weniger GPUs bei, was zu einer bis zu 4-fachen Verbesserung der Antwortzeiten und deutlich reduzierten GPU-Infrastrukturkosten führt. Benutzer greifen über eine API auf Open-Source-Modelle ohne Ratenlimits zu und erhalten ein Guthaben von 100 US-Dollar bei der Anmeldung. On-Premise-Lösungen sind ebenfalls für Unternehmen verfügbar, die Kosteneffizienz und Reaktionsfähigkeit benötigen.