Mejorando el ajuste fino de LLM mediante la curación iterativa de datos
Los investigadores mejoraron significativamente el rendimiento de los modelos de lenguaje grandes (LLM) mediante la curación iterativa de sus datos de entrenamiento. Los experimentos incluyeron dos LLM de diferentes tamaños (Gemini Nano-1 y Nano-2) en tareas de diferente complejidad, utilizando ~100.000 anotaciones de crowdsourcing que inicialmente sufrían un grave desequilibrio de clases (95% benignas). Mediante la curación iterativa de expertos y el ajuste fino del modelo, el rendimiento aumentó sustancialmente. Los modelos alcanzaron aproximadamente el 40% de ejemplos positivos y un Kappa de Cohen de ~0,81 (menor complejidad) y ~0,78 (mayor complejidad), acercándose al rendimiento de nivel experto, lo que destaca el papel crucial de los datos de alta calidad en el entrenamiento de LLM.