Inférence LLM locale : potentiel énorme, mais les outils doivent mûrir

Cet article évalue les performances des frameworks d'inférence LLM locale tels que llama.cpp, Ollama et WebLLM. Les résultats montrent que llama.cpp et Ollama sont extrêmement rapides, mais restent plus lents que le gpt-4.0-mini d'OpenAI. Un défi majeur réside dans la sélection et le déploiement des modèles : le nombre important de versions de modèles est écrasant, et même un modèle de 7B quantifié dépasse 5 Go, entraînant des téléchargements et des chargements lents, impactant l'expérience utilisateur. L'auteur soutient que l'inférence LLM locale future aura besoin d'outils plus simples pour l'entraînement et le déploiement de modèles, et d'une intégration étroite avec les LLMs cloud, pour devenir réellement pratique.