Popular：
Virtualization DNS security formal verification reachability analysis compiler errors macro conflict web extension development framework Bitmap Graphics API inconsistencies All Tags

ELECTRA：以判别器而非生成器的方式预训练文本编码器

2024-07-18

这篇论文介绍了一种新的预训练语言模型ELECTRA，它使用了一种名为“替换词检测”的任务来提高效率。与BERT使用掩码预测的方式不同，ELECTRA使用一个生成器网络替换输入文本中的某些词，然后训练一个判别器网络来判断每个词是否被替换。这种方法在相同的计算资源下，能够学习到比BERT更好的上下文表示，尤其在小模型上表现更为突出。

(arxiv.org)
40
未分类 预训练模型 ELECTRA
Easy macOS Installation on Any Computer with Proxmox
3D + 2D: Testing out my cross-platform WASM graphics engine | Hacker News