Aprimorando o Fine-tuning de LLMs por meio da Curadoria Iterativa de Dados
Pesquisadores melhoraram significativamente o desempenho de modelos de linguagem grandes (LLMs) por meio da curadoria iterativa de seus dados de treinamento. Os experimentos envolveram dois LLMs de tamanhos diferentes (Gemini Nano-1 e Nano-2) em tarefas de diferentes complexidades, usando ~100.000 anotações de crowdsourcing, inicialmente sofrendo de um desequilíbrio severo de classes (95% benignas). Por meio da curadoria iterativa de especialistas e ajuste fino do modelo, o desempenho aumentou substancialmente. Os modelos atingiram aproximadamente 40% de exemplos positivos e um Kappa de Cohen de ~0,81 (complexidade inferior) e ~0,78 (complexidade superior), aproximando-se do desempenho de nível de especialista, destacando o papel crucial de dados de alta qualidade no treinamento de LLM.