100MB以下のLLMがpipでインストール可能に：llm-smollm2プラグイン登場
2025-02-07
新しいプラグインllm-smollm2は、量子化されたSmolLM2-135M-Instruct LLMを100MB未満に圧縮し、pipでインストールできるようにしました。この記事では、PyPIのサイズ制限(100MB)を考慮した適切なモデルの選定から、llama-cpp-pythonライブラリの冗長なログ出力の抑制、PyPIへのパッケージングまでの作成プロセスを詳細に説明しています。モデルの能力は限定的ですが、LLM技術を学ぶための貴重な学習ツールとして提示されています。
開発
モデル量子化