ELECTRA:以判别器而非生成器的方式预训练文本编码器 (arxiv.org)

这篇论文介绍了一种新的预训练语言模型ELECTRA,它使用了一种名为“替换词检测”的任务来提高效率。与BERT使用掩码预测的方式不同,ELECTRA使用一个生成器网络替换输入文本中的某些词,然后训练一个判别器网络来判断每个词是否被替换。这种方法在相同的计算资源下,能够学习到比BERT更好的上下文表示,尤其在小模型上表现更为突出。