Exécutez des LLMs localement sur votre Mac avec Ollama

Apple a annoncé Apple Intelligence à la WWDC 2024, promettant une "IA pour tous", mais son arrivée semble lointaine. Entre-temps, Ollama vous permet d'exécuter des grands modèles de langage (LLMs) comme llama3.2 localement sur votre Mac. Considérez-le comme le "Docker pour les LLMs" – facile à extraire, exécuter et gérer les modèles. Alimenté par llama.cpp, Ollama utilise les Modelfiles pour la configuration et la norme OCI pour la distribution. L'exécution de modèles localement offre des avantages en termes de confidentialité, de coût, de latence et de fiabilité. Ollama expose une API HTTP pour une intégration facile dans les applications, comme le montre Nominate.app, qui l'utilise pour le renommage intelligent des fichiers PDF. L'article encourage les développeurs à construire dès maintenant la prochaine génération d'applications alimentées par l'IA avec Ollama, au lieu d'attendre les promesses d'Apple.