机器学习的真相：一些最小模型 (writings.stephenwolfram.com)

这篇文章探讨了机器学习的基础理论，并认为机器学习的成功并非源于对系统的“破解”，而是利用了计算宇宙中普遍存在的复杂行为。作者通过研究比传统神经网络简单得多的模型，例如“规则数组”，发现机器学习系统能够利用这些模型中“已经存在的”复杂行为来实现目标。文章进一步指出，计算不可约性是机器学习成功的关键，它使得即使非常简单的程序也能产生各种复杂的行为，而机器学习正是利用了这种丰富性和多样性来找到符合目标的程序。