Docker Model Runner : simplification de l'exécution des modèles d'IA en local
Docker a lancé Model Runner, un outil conçu pour simplifier l'exécution et les tests de modèles d'IA en local. Il s'attaque aux défis auxquels sont confrontés les développeurs avec des outils fragmentés, des problèmes de compatibilité matérielle et des flux de travail déconnectés lors du travail avec des modèles d'IA en local. Model Runner intègre un moteur d'inférence basé sur llama.cpp, prend en charge l'accélération GPU sur Apple silicon et utilise les OCI Artifacts pour l'empaquetage standardisé des modèles, permettant un partage et un contrôle de version faciles. De plus, Docker s'est associé à des entreprises comme Google et Hugging Face pour fournir un riche écosystème de modèles et d'outils, facilitant considérablement le développement d'IA en local.
Lire plus