BERT模型也能进行生成式上下文学习

本文研究发现，通常与因果语言模型（如GPT）相关的上下文学习能力，也出现在掩码语言模型（如DeBERTa）中。通过简单的推理技术，无需额外的训练或架构更改，即可使DeBERTa执行生成任务。评估结果显示，掩码和因果语言模型表现不同，它们在不同任务类别上各有优劣。这些互补的优势表明，该领域对因果模型在上下文学习中的关注可能存在局限性，两种架构都能发展这种能力，但各有优势，这预示着结合两种目标优势的混合方法具有发展前景。