Nano-vLLM: Implementación Ligera de vLLM con Velocidad Asombrosa
2025-06-23
Nano-vLLM es una implementación ligera de vLLM, construida desde cero en aproximadamente 1200 líneas de código Python. A pesar de su pequeño tamaño, alcanza velocidades de inferencia comparables a la vLLM original. Incorpora varias optimizaciones como el almacenamiento en caché de prefijos, el paralelismo de tensores, la compilación de Torch y los gráficos CUDA. Instala a través de `pip install git+https://github.com/GeeeekExplorer/nano-vllm.git` y consulta example.py para su uso. Los puntos de referencia en un portátil RTX 4070 (8 GB) con el modelo Qwen3-0.6B muestran un rendimiento ligeramente superior al de vLLM.
Desarrollo
velocidad de inferencia