视频自监督学习

本文概述了近年来出现的一种新的视频自监督学习方法——掩码自编码器。文章首先介绍了图像掩码自编码器（ImageMAE）的基本原理，然后讨论了将掩码模型应用于视频时需要特别注意的时间冗余和时间相关性问题。 针对这些问题，文章详细介绍了VideoMAE架构及其后续工作，包括VideoMAEv2、MGMAE和ARVideo，这些方法通过不同的策略，如时间降采样、立方体嵌入、极高掩码率、运动引导掩码和自回归预测等，有效地提高了视频自监督学习的效率和性能。