这篇论文提出了一个名为广义窗口运算（GWO）的理论框架，它统一了深度学习中主要的运算，例如矩阵乘法和卷积。GWO 将这些运算分解成三个正交的组成部分：路径（Path）、形状（Shape）和权重（Weight），分别定义了运算的局部性、几何结构和特征重要性。论文引入了结构对齐原则，认为当GWO的配置与数据的内在结构相匹配时，泛化能力最佳。这个原则源于信息瓶颈（IB）原理。论文还定义了一个基于Kolmogorov复杂度的运算复杂度度量，并指出复杂度的性质（是增强蛮力能力还是自适应正则化）决定了泛化能力。GWO理论为创建神经网络运算提供了一种语法，也为从数据属性到可泛化架构设计提供了一条有原则的途径。
阅读更多
Tristen Harr的一篇研究论文引入并分析了一个新颖的复杂常数ΛG1，它源自黄金比例ϕ的倒数幂。作者将该常数定义为ΛG1=T+iJ，其中T=1/(2ϕ)且J=1/(2ϕ²) ，并证明它是一个大小小于1的代数数。这一性质验证了它作为多对数函数Lis(z)自变量的适用性。基于对对数(s=2)和三对数(s=3)情况的高精度数值评估，论文推测所得值Lis(ΛG1)对于所有整数s≥2都是超越数，并且不存在于域扩展Q(π,ln(2),ϕ)中。这项研究部分源于在准晶体研究中的潜在应用，其中黄金比例起着基础性作用。
阅读更多
Deputy是一个基于Clojure的实验性依赖类型编程语言，支持归纳数据类型。它探索了Lisp风格的REPL驱动交互式开发工作流对类型检查的影响。作为Clojure库实现，程序员可以在类型层级编程的同时仍然使用宿主语言Clojure的功能，实现依赖类型计算，其中类型计算可以依赖于值，从而实现强大的编程模式。尽管类型具有丰富的动态语义，类型检查仍然是纯编译时操作。
阅读更多
本文介绍了CURLoRA，这是一种利用CUR矩阵分解在低秩适应（LoRA）环境中微调大型语言模型（LLM）的新方法。该方法解决了LLM微调中的两个关键挑战：在持续学习期间减轻灾难性遗忘和减少可训练参数的数量。
阅读更多
本文介绍了为 Steel Bank Common Lisp (SBCL) 实现的并行垃圾回收器。该回收器基于 Immix 的标记区域堆，可在不移动对象的情况下回收内存并允许 bump 分配。该回收器利用 Immix 的设计，通过将世代与行关联来实现世代，而无需移动对象或记录每个对象的世代；并通过仅在需要时更新对象映射来实现保守的根查找，该映射基于记录连续分配对象的运行。使用一个内核的并行垃圾回收器通常比 SBCL 的复制回收器慢，但在两个内核的情况下性能优于复制回收器，并且随着内核数量的增加继续扩展。
阅读更多
Petalisp是一种纯粹的函数式数组编程语言，嵌入在Common Lisp中。它为数组的重新排序、广播和组合提供了简单而强大的机制，以及对任意数量的数组进行任意Common Lisp函数的元素映射的操作符。本文介绍了在Petalisp中编写高性能数组程序的过程，并展示了它的主要概念和接口。文章还以一个迭代方法的简单例子和一些基准测试为例，最后以Petalisp实现的概述和它如何实现高性能和低内存占用为结尾。
阅读更多