Execute LLMs Localmente no seu Mac com Ollama
A Apple anunciou o Apple Intelligence na WWDC 2024, prometendo "IA para todos nós", mas sua chegada parece distante. Enquanto isso, o Ollama permite que você execute modelos de linguagem grandes (LLMs) como o llama3.2 localmente no seu Mac. Pense nisso como o 'Docker para LLMs' - fácil de extrair, executar e gerenciar modelos. Impulsionado pelo llama.cpp, o Ollama usa Modelfiles para configuração e o padrão OCI para distribuição. Executar modelos localmente oferece vantagens em privacidade, custo, latência e confiabilidade. O Ollama expõe uma API HTTP para fácil integração em aplicativos, como demonstrado pelo Nominate.app, que o usa para renomeação inteligente de PDFs. O artigo incentiva os desenvolvedores a construir a próxima geração de aplicativos com IA agora com o Ollama, em vez de esperar pelas promessas da Apple.
Leia mais
