Ejecuta LLMs localmente en tu Mac con Ollama

Apple anunció Apple Intelligence en la WWDC 2024, prometiendo "IA para todos nosotros", pero su llegada se siente lejana. Mientras tanto, Ollama te permite ejecutar modelos de lenguaje grandes (LLMs) como llama3.2 localmente en tu Mac. Piénsalo como 'Docker para LLMs' – fácil de extraer, ejecutar y gestionar modelos. Impulsado por llama.cpp, Ollama usa Modelfiles para la configuración y el estándar OCI para la distribución. Ejecutar modelos localmente ofrece ventajas en privacidad, coste, latencia y fiabilidad. Ollama expone una API HTTP para una fácil integración en aplicaciones, como se demuestra con Nominate.app, que lo utiliza para el renombrado inteligente de archivos PDF. El artículo anima a los desarrolladores a construir la próxima generación de aplicaciones con IA ahora con Ollama, en lugar de esperar a las promesas de Apple.