ELECTRA：以判别器而非生成器的方式预训练文本编码器
2024-07-18
这篇论文介绍了一种新的预训练语言模型ELECTRA，它使用了一种名为“替换词检测”的任务来提高效率。与BERT使用掩码预测的方式不同，ELECTRA使用一个生成器网络替换输入文本中的某些词，然后训练一个判别器网络来判断每个词是否被替换。这种方法在相同的计算资源下，能够学习到比BERT更好的上下文表示，尤其在小模型上表现更为突出。
36