我的微调模型击败了 OpenAI 的 GPT-4

2024-07-01

文章详细介绍了作者如何微调 Mistral、Llama3 和 Solar 等大型语言模型,并将其用于从新闻稿中提取结构化数据。作者比较了微调模型与 OpenAI GPT 模型的性能,发现在准确性方面,微调模型优于 GPT 模型,特别是在省份、目标群体和事件类型等方面的识别上。作者还分享了微调和评估模型过程中的经验和教训,以及对未来改进方向的展望。

阅读更多

如何为LLM微调评估创建数据集

2024-06-27

本文探讨了如何创建一个数据集来评估LLM微调模型在结构化数据生成任务中的表现。作者详细列举了评估模型时需要考虑的因素,包括:模型预测的准确性、对域外数据的处理能力、对“一些”、“少数”、“许多”等模糊词语的理解、对不同拼写变体的识别、对复杂事件的处理能力等。作者强调,准确性对于该模型至关重要,并计划通过一系列详细的评估来测试和改进模型。

阅读更多
未分类 模型评估