Führe LLMs lokal auf deinem Mac mit Ollama aus

Apple hat auf der WWDC 2024 Apple Intelligence angekündigt und "KI für alle" versprochen, aber die Ankunft wirkt noch fern. In der Zwischenzeit ermöglicht Ollama es dir, große Sprachmodelle (LLMs) wie llama3.2 lokal auf deinem Mac auszuführen. Stell es dir vor wie "Docker für LLMs" – einfach Modelle zu ziehen, auszuführen und zu verwalten. Angetrieben von llama.cpp, verwendet Ollama Modelfiles für die Konfiguration und den OCI-Standard für die Verteilung. Die lokale Ausführung von Modellen bietet Vorteile in Bezug auf Datenschutz, Kosten, Latenz und Zuverlässigkeit. Ollama stellt eine HTTP-API für die einfache Integration in Apps bereit, wie von Nominate.app gezeigt, das sie für die intelligente Umbenennung von PDF-Dateien verwendet. Der Artikel ermutigt Entwickler, jetzt mit Ollama die nächste Generation von KI-gestützten Apps zu entwickeln, anstatt auf Apples Versprechungen zu warten.