Exécuter des LLMs localement sur macOS : un guide sceptique

Cet article de blog détaille l'expérience de l'auteur en exécutant des grands modèles de langage (LLMs) localement sur sa machine macOS. Tout en exprimant son scepticisme quant au battage médiatique autour des LLMs, l'auteur fournit un guide pratique pour installer et utiliser des outils tels que llama.cpp et LM Studio. Le guide couvre le choix de modèles appropriés en fonction de facteurs tels que la taille, le temps d'exécution, la quantification et les capacités de raisonnement. L'auteur souligne les avantages en matière de confidentialité et la réduction de la dépendance aux entreprises d'IA qui découlent du déploiement local de LLM, offrant des conseils et des astuces tels que l'utilisation de MCP pour étendre les fonctionnalités et la gestion de la fenêtre de contexte pour éviter la perte d'informations. L'article aborde également les préoccupations éthiques concernant l'état actuel de l'industrie de l'IA.