Ollamas neue Multimodale Engine: Lokale Inferenz für visuelle Modelle
2025-05-16
Ollama hat eine neue Engine veröffentlicht, die lokale Inferenz für multimodale Modelle unterstützt, beginnend mit visuellen Modellen wie Llama 4 Scout und Gemma 3. Sie behebt die Einschränkungen der ggml-Bibliothek für multimodale Modelle, indem sie die Modularität des Modells, die Genauigkeit und die Speicherverwaltung für eine zuverlässige und effiziente Inferenz mit großen Bildern und komplexen Architekturen (einschließlich Mixture-of-Experts-Modellen) verbessert. Der Fokus auf Genauigkeit und Zuverlässigkeit legt den Grundstein für die zukünftige Unterstützung von Sprache, Bildgenerierung und längeren Kontexten.