线性可分性边缘的顿悟 (arxiv.org)

这篇文章研究了二元逻辑分类在简化设置下的泛化特性，并从经验和分析上阐明了其动力学中顿悟的潜在机制。研究发现，当应用于接近线性可分性的训练集时，顿悟现象会被放大。即使始终存在完美的泛化解决方案，但如果训练数据与原点线性可分，则逻辑损失的隐含偏差将导致模型过度拟合。