部分符号化、稀疏性利用自动微分的一次意外之旅;或主啊,你能给我买一个拉普拉斯近似吗?
2024-05-12
本文介绍了拉普拉斯近似,并探讨了如何利用JAX的中间表示jaxpr来加速Hessian矩阵的计算。作者通过将表达式图分解为线性与非线性子图,并利用Hessian矩阵的稀疏性,实现了近似Hessian矩阵的快速计算方法,并与标准的自动微分Hessian计算方法进行了性能比较。
51