100MB 미만 LLM, 이제 pip로 설치 가능: llm-smollm2 플러그인 소개
2025-02-07
새로운 플러그인 llm-smollm2는 100MB 미만으로 양자화된 SmolLM2-135M-Instruct LLM을 번들로 제공하여 pip로 설치할 수 있도록 합니다. 이 글에서는 PyPI 크기 제한(100MB)을 고려하여 적합한 모델을 선택하는 과정부터 llama-cpp-python 라이브러리의 과도한 로그 출력 억제, PyPI에 대한 패키징 과정까지 자세히 설명합니다. 모델의 기능은 제한적이지만 LLM 기술을 배우는 데 유용한 학습 도구로 제시됩니다.
개발
모델 양자화