Google Cloud kündigt wichtige Software-Updates für AI Hypercomputer an

Google Cloud hat bedeutende Software-Updates für seinen AI Hypercomputer angekündigt, die die Effizienz beim Training und der Inferenz von KI-Modellen deutlich verbessern. Pathways on Cloud, eine verteilte Laufzeitumgebung, ist jetzt auf Google Cloud verfügbar und ermöglicht elastisches Training und Hochdurchsatz-Inferenz. Cluster Director erweitert die Unterstützung um Slurm und 360°-Beobachtbarkeitsfunktionen für hohe Leistung und Zuverlässigkeit. GKE integriert Inference Gateway und Inference Quickstart, wodurch die Inferenzkosten deutlich gesenkt und der Durchsatz erhöht werden. vLLM unterstützt jetzt TPUs, was die Inferenzgeschwindigkeit weiter beschleunigt. Dynamic Workload Scheduler erweitert die Unterstützung für Beschleuniger und optimiert die Ressourcenauslastung. Diese Updates ermöglichen es Entwicklern, KI-Anwendungen schneller und kostengünstiger zu erstellen und bereitzustellen.