探索文本到文本统一Transformer迁移学习的极限 (arxiv.org)

本文探讨了自然语言处理中迁移学习的应用，提出了一种将所有基于文本的语言问题转换为文本到文本格式的统一框架。研究比较了不同预训练目标、架构、未标记数据集、迁移方法等因素对数十种语言理解任务的影响。通过结合探索得到的见解、规模和新的“Colossal Clean Crawled Corpus”，文章在总结、问答、文本分类等多个基准测试中取得了最先进的结果。