没有指数级数据就没有“零样本”：预训练概念频率决定多模态模型性能 (arxiv.org)

这篇论文研究了多模态模型在“零样本”情况下泛化能力的局限性。研究发现，模型在“零样本”评估中的性能与其预训练数据集中包含的目标概念频率密切相关。为了提高下游任务的性能，模型需要指数级增长的训练数据，这表明“零样本”泛化能力需要大规模训练数据。研究者还创建了一个名为“Let it Wag!”的基准测试集，用于评估模型在长尾数据上的性能。