RLHFを用いたGPT-2のファインチューニングによる肯定的な感情表現の生成

このプロジェクトは、人間のフィードバックからの強化学習（RLHF）を用いて、事前学習済みのGPT-2モデルをファインチューニングし、肯定的な感情を表す文章を生成する、参照実装を提供します。このプロセスには3つのステップがあります。1.教師ありファインチューニング（SFT）：stanfordnlp/sst2データセットでGPT-2をファインチューニングします。2.報酬モデルのトレーニング：感情を予測するための報酬ヘッド付きGPT-2モデルをトレーニングします。3.近位方策最適化（PPO）による強化学習：報酬モデルによって肯定的に評価される文章を生成するようにSFTモデルを最適化します。これらの3つのステップは3つのJupyter Notebookで実装されており、段階的なアプローチが可能です。事前学習済みのGPT-2モデルをダウンロードするには、Hugging Faceアクセス・トークンが必要です。