Ajuste fino de LLM sin aprendizaje por refuerzo: Presentamos la Optimización Directa de Preferencias (DPO)
2025-05-28
La plataforma Together ahora admite la Optimización Directa de Preferencias (DPO), una técnica para alinear los modelos de lenguaje con las preferencias humanas sin aprendizaje por refuerzo. La DPO entrena modelos directamente en datos de preferencia — indicaciones, respuestas preferidas y respuestas no preferidas — lo que resulta en asistentes de IA más útiles, precisos y personalizados. En comparación con los métodos tradicionales de aprendizaje por refuerzo, la DPO es más simple, eficiente y fácil de implementar. Esta publicación detalla el funcionamiento de la DPO, su uso y ejemplos de código, y recomienda un proceso de dos etapas: ajuste fino supervisado (SFT) seguido de refinamiento DPO.
Leer más
IA
