Modelo LLM de menos de 100 MB ahora instalable con pip: Presentamos llm-smollm2
2025-02-07
Un nuevo plugin, llm-smollm2, incluye un modelo LLM SmolLM2-135M-Instruct cuantizado de menos de 100 MB, lo que lo hace instalable con pip. El autor detalla el proceso de creación, desde encontrar un modelo adecuado de menos de 100 MB (limitado por las restricciones de tamaño de PyPI) hasta suprimir los registros detallados de llama-cpp-python y empaquetarlo para PyPI. Aunque las capacidades del modelo son limitadas, se presenta como una herramienta de aprendizaje valiosa para comprender la tecnología LLM.
Desarrollo
Cuantización de Modelo