用RLHF微调GPT-2生成积极情绪的句子

这个项目提供了一个使用来自人类反馈的强化学习（RLHF）微调预训练GPT-2模型的参考实现，使其生成表达积极情绪的句子的教程。该方法包含三个步骤：1. 有监督微调（SFT）：使用stanfordnlp/sst2数据集微调GPT-2；2. 奖励模型训练：训练一个带有奖励头的GPT-2模型来预测句子的情感；3. 使用近端策略优化（PPO）进行强化学习：优化SFT模型以生成奖励模型评价为积极的句子。通过三个Jupyter Notebook依次完成这三个步骤，最终使GPT-2能够生成更积极的句子。需要Hugging Face访问令牌下载预训练的GPT-2模型。