自压缩神经网络

本文介绍了一种名为“自压缩”的神经网络压缩方法，旨在减少神经网络的大小，从而降低其执行时间、功耗、带宽和内存占用。该方法通过一个通用损失函数来最小化网络的整体大小，同时实现两个目标：移除冗余权重和减少表示剩余权重所需的比特数。实验结果表明，该方法能够在保持浮点精度的同时，将网络的比特数减少到3%，权重数量减少到18%。