Perguntas e Respostas Comuns sobre Avaliação de IA: Lições de 700+ Engenheiros e Gerentes de Produto

Esta publicação resume perguntas frequentes encontradas ao ensinar 700+ engenheiros e gerentes de produto em um curso de avaliação de IA. Os tópicos abordados incluem se RAG está morto, seleção de modelos, ferramentas de anotação, metodologias de avaliação, geração de dados sintéticos e lacunas nas ferramentas de avaliação existentes. Os autores enfatizam a importância da análise de erros, defendendo avaliações binárias em vez de escalas de Likert, e compartilhando as melhores práticas para construir ferramentas de anotação personalizadas, escolher tamanhos de chunk apropriados e avaliar sistemas RAG. A publicação também discute as diferenças entre guardrails e avaliadores, configuração mínima viável de avaliação, avaliação de fluxos de trabalho agentivos e os diferentes usos das avaliações em CI/CD versus monitoramento de produção.