LLM 훈련의 세 사원: 사전 훈련, 미세 조정 및 RLHF

렉시코니아의 숨겨진 산악 성역에서 고대 서기관들은 세 부분으로 구성된 사원에서 훈련을 받습니다. 기원의 전당, 지시의 방, 강화의 경기장입니다. 기원의 전당에서는 서기관들이 방대한 양의 텍스트를 읽고 언어 패턴을 학습하는 사전 훈련이 이루어집니다. 지시의 방에서는 엄선된 텍스트를 사용하여 서기관들을 더 나은 결과로 이끄는 미세 조정이 이루어집니다. 강화의 경기장에서는 인간 피드백 강화 학습(RLHF)이 사용되며, 인간 심사위원이 서기관들의 답변을 순위 매기고, 좋은 답변은 칭찬하고, 나쁜 답변은 처벌합니다. 또한 일부 엘리트 서기관들은 LoRA 스크롤과 어댑터를 사용하여 모델 전체를 재훈련하지 않고도 응답을 미세 조정할 수 있습니다. 이 세 개의 날개를 가진 사원은 대규모 언어 모델 훈련의 완벽한 과정을 나타냅니다.