本文介绍了一种自制低成本射电望远镜的方法，用于探测21厘米谱线（1420.405 MHz），并确定银河系中性氢的分布和运动学特征。通过测量21厘米谱线的多普勒频移，可以确定氢云相对于地球的速度，进而识别这些云的运动、它们在银河系旋臂中的位置以及它们在银河系整体旋转动力学中的作用。该装置设计简单易于操作，使用了1米抛物面天线、H1-LNA、SDR和树莓派等设备，方便业余爱好者开展类似项目。文章还概述了检测氢谱线和生成速度剖面所需的数据处理过程，并探讨了在城市环境中，如何运用频谱滤波和仪器屏蔽等射频干扰抑制技术来提高观测清晰度。
阅读更多
大型语言模型（LLM）虽然功能强大，但也可能学习到不良内容。机器遗忘技术可以移除这些内容，但本文指出，现有的遗忘方法可能只是隐藏了知识，而非真正遗忘。研究发现，对经过遗忘处理的模型应用量化技术可以恢复“被遗忘”的信息，例如4比特量化后，可以恢复高达83%的遗忘知识。文章对此现象进行了理论解释，并提出了一种抗量化遗忘策略。
阅读更多
RingGesture是一种基于环状空中手势的输入系统，旨在为轻量级AR眼镜提供高效的文本输入方案。该系统利用戒指上的电极标记手势轨迹的起止，并结合IMU传感器进行手部追踪，实现类似VR头显中光线投射的空中手势输入体验。为了提高准确性和输入速度，RingGesture采用了一种名为Score Fusion的深度学习单词预测框架，该框架融合了单词-手势解码模型、空间拼写纠正模型和上下文语言模型的得分，以预测最可能的单词。实验证明，RingGesture的平均输入速度为每分钟27.3个单词，峰值性能达到47.9个单词，其Score Fusion框架相比传统方法，未校正字符错误率降低了28.2%，输入速度提高了55.2%。
阅读更多
SPANN是一个高效的内存-磁盘混合近似最近邻搜索系统，它采用倒排索引方法，将posting lists的中心点存储在内存中，而将大型posting lists存储在磁盘中。SPANN通过减少磁盘访问次数和检索高质量的posting lists来保证磁盘访问效率和高召回率。在索引构建阶段，它采用分层平衡聚类算法来平衡posting lists的长度，并通过添加相应聚类中点的闭包来扩充posting lists。在搜索阶段，它使用query-aware方案动态修剪不必要的posting lists的访问。实验结果表明，SPANN比当前最先进的ANNS解决方案DiskANN快2倍，在三个十亿级数据集上达到相同的召回率90%，内存成本相同。
阅读更多
TokenFormer 是一种新型可缩放架构，利用注意力机制处理输入标记和模型参数之间的交互，从而增强架构灵活性。通过将模型参数视为标记，它用标记-参数注意力层取代了 Transformer 中的所有线性投影，其中输入标记充当查询，模型参数充当键和值。这种方法允许模型通过递增添加新的键值参数对，从 1.24 亿个参数扩展到 14 亿个参数，在大大减少训练成本的同时，实现与从头训练的 Transformer 相当的性能。
阅读更多
Crux是一个跨语言验证工具，适用于Rust和C/LLVM，尤其针对人类难以确保正确性的复杂代码段，例如加密模块和序列化/反序列化程序对。Crux建立在成熟的SAW-Cryptol工具链的框架之上，但它提供了一个接口，其中的证明被表述为符号单元测试。Crux设计用于生产环境，并且已经在工业中得到应用。本文重点介绍了Crux-MIR，这是一个针对Rust的验证工具，它提供了一个精确的Rust安全和非安全代码模型，可以用于检查Rust代码的内联属性，以及与Cryptol或hacspec方言编写的可执行规范的扩展等价性。Crux-MIR支持组合推理，这对于扩展到中等复杂度的证明是必要的。该工具通过验证Ring库中SHA1和SHA2的实现与现有功能规范的符合性进行了演示。
阅读更多
本文研究了思维链（CoT）提示方法在哪些情况下会降低大型语言和多模态模型的性能。研究发现，在某些人类思考会降低表现的任务中，例如隐式统计学习、视觉识别和包含例外模式的分类任务，CoT也会降低模型性能。实验结果表明，多种先进模型在使用推理时，性能显著下降。相比之下，在一些虽然人类思考会降低表现，但不符合模型约束条件的任务中，CoT则不会降低模型性能。研究指出，虽然模型的认知过程与人类不完全相同，但考虑人类思考的负面后果可以帮助识别CoT的负面影响，为理解提示选择和推理的影响提供了新工具。
阅读更多
传统的网络应用程序爬取和解析方法主要依赖于从初始页面提取超链接并递归地跟踪链接资源，构建以网页非结构化数据为节点、页面转换关系为边的图。然而，这些技术难以捕捉现代Web应用程序固有的动态和交互行为。本文提出了一种新的方法，将每个节点建模为应用程序当前状态的结构化表示，边则反映用户发起的操作或状态转换。这种结构化表示能够更全面地理解Web应用程序的功能，为自动化测试和行为分析等下游任务提供有价值的见解。
阅读更多
大型语言模型(LLM)经常会产生错误，包括事实不准确、偏差和推理失败，这些统称为“幻觉”。本文研究发现，LLM的内部状态编码了关于其输出真实性的信息，而且这些信息比以前认为的要多得多。研究首先发现，真实性信息集中在特定的词例中，利用这一特性可以显著提高错误检测性能。然而，这种错误检测器无法跨数据集泛化，这意味着真实性编码并非普遍的，而是多方面的。此外，内部表征还可以用于预测模型可能出现的错误类型，从而有助于制定有针对性的缓解策略。最后，研究揭示了LLM内部编码和外部行为之间的差异：它们可能编码了正确答案，但却持续生成错误答案。
阅读更多
这篇论文研究了数值精度对基于Transformer的大型语言模型（LLM）数学推理能力的影响。研究发现，低数值精度的Transformer模型在处理迭代加法和整数乘法等算术任务时表现不佳，除非模型规模相对于输入长度呈超多项式增长。相比之下，具有标准数值精度的Transformer模型可以用小得多的模型规模有效地处理这些任务。
阅读更多
这篇报告全面概述了大型语言模型（LLM）的微调技术，整合了理论见解和实际应用，涵盖了从传统自然语言处理模型到LLM在人工智能中关键作用的历史演变，比较了不同微调方法的优缺点，并介绍了一个结构化的七阶段LLM微调流程。报告重点阐述了数据准备、模型初始化、超参数调整和模型部署等关键步骤，并深入探讨了参数高效方法、内存微调、多专家混合、代理混合等前沿技术，以及验证框架、部署后监控和推理优化等实用建议。
阅读更多
这篇论文概述了机器学习在计算等离子体物理学中的应用，探讨了机器学习算法如何增强流体流动建模并将其应用于等离子体物理领域。文章还展望了机器学习在等离子体建模中的未来发展方向，以及实现其全部潜力的挑战，例如需要成本效益高的模拟工具来生成大量数据。
阅读更多
这篇论文系统地评估了 QUIC 协议在高速网络环境下的性能。研究发现，相比于 TCP+TLS+HTTP/2，UDP+QUIC+HTTP/3 在高速互联网环境下数据传输速率降低了 45.2%。QUIC 和 HTTP/2 之间的性能差距随着带宽的增加而扩大。导致这个问题的根本原因是接收端过高的处理开销，特别是过多的数据包和 QUIC 的用户空间 ACK。
阅读更多
这篇论文探讨了随机森林为何如此有效。作者认为，将随机森林理解为自适应、自正则化的平滑器是关键。论文指出，随机森林的预测结果比单个决策树更加平滑，并且能根据测试和训练数据的差异调整平滑程度。此外，论文还反驳了普遍认为的随机森林优于单个决策树仅仅是由于方差降低的观点，认为随机森林的平滑效应可以通过减少预测方差、提高学习函数质量以及丰富假设空间来提升性能。
阅读更多
LLMD是一种新的大语言模型，旨在基于患者的病历分析其病史。与仅接受知识训练的模型不同，LLMD接受了大量跨时间和医疗机构收集的病历、任务和标签的训练，从而能够更准确地了解患者的健康状况。LLMD在医学知识基准测试中表现出色，并在实际生产任务中显著优于其他模型，包括更强大的通用模型和特定领域模型。
阅读更多
文章介绍了一种名为Skip Hash的新型有序映射数据结构，它结合了跳表和哈希映射的优点，并利用软件事务内存(STM)实现了快速、可线性化的范围查询，同时保证了并发插入和删除操作的高效性。实验结果表明，Skip Hash在性能上几乎优于所有现有方案，兼具高效性和简洁性。
阅读更多
Meissonic是一种新的文本到图像合成模型，它改进了非自回归掩码图像建模 (MIM)，实现了与SDXL等顶级扩散模型相媲美的性能。Meissonic采用了一系列架构创新、先进的位置编码策略和优化的采样条件，显著提升了MIM的性能和效率，并通过高质量的训练数据、结合人类偏好分数的微调以及特征压缩层，进一步增强了图像的保真度和分辨率。
阅读更多
为了解决大型语言模型（LLM）在形式定理证明方面训练数据缺乏的问题，DeepSeek-Prover方法利用高中和本科水平的数学竞赛问题生成大量的Lean 4证明数据。该方法将自然语言问题转化为形式语句，过滤掉低质量语句，并生成证明来创建合成数据。在包含800万个带有证明的形式语句的合成数据集上微调DeepSeekMath 7B模型后，该模型在Lean 4 miniF2F测试中实现了46.3%的完整证明生成准确率，优于基线GPT-4（23.0%）和树搜索强化学习方法（41.0%）。
阅读更多
这篇论文介绍了一种名为“轮到你发言”(IYT)的新型信道竞争机制，旨在提升 Wi-Fi 的可靠性。 IYT 机制是对现有分布式协调功能 (DCF) 的扩展，通过提供有序的设备传输来改善分布式监听ก่อนพูด (LBT) 的可靠性。IYT 机制利用邻居活动感知来实现有序传输，并已通过仿真结果证明其在控制信道接入延迟方面的有效性，能够提供可靠的性能。
阅读更多
哥德尔智能体是一种受哥德尔机启发的自我进化框架，允许智能体在不依赖预定义例程或固定优化算法的情况下递归地改进自身。它利用大型语言模型（LLM）在高级目标的指导下，通过提示动态地修改自身的逻辑和行为。在数学推理和复杂智能体任务上的实验结果表明，哥德尔智能体的实现可以实现持续的自我改进，在性能、效率和通用性方面都超过了人工设计的智能体。
阅读更多
这篇论文探讨了如何利用机器学习和信息论的概念来构建人工智能数学家。文章指出，当前深度学习在直觉和习惯行为方面取得了成功，但在推理和不确定性估计方面仍有不足。文章认为，一个理想的定理体系应该简洁地概括所有可证明的陈述，并提出信息论可以用来指导发现新的数学猜想。
阅读更多
这篇文章研究了二元逻辑分类在简化设置下的泛化特性，并从经验和分析上阐明了其动力学中顿悟的潜在机制。研究发现，当应用于接近线性可分性的训练集时，顿悟现象会被放大。即使始终存在完美的泛化解决方案，但如果训练数据与原点线性可分，则逻辑损失的隐含偏差将导致模型过度拟合。
阅读更多
大型语言模型 (LLM) 在数学推理能力方面取得了进步，但其可靠性仍存在疑问。本文针对这一问题，引入了一个名为 GSM-Symbolic 的改进基准，用于评估模型在不同难度数学问题上的表现。研究发现，LLM 在处理相同问题结构但数值不同的情况下表现出显著差异。此外，模型的数学推理能力随着问题复杂性的增加而下降，这表明当前的 LLM 可能无法进行真正的逻辑推理，而是复制训练数据中的推理步骤。
阅读更多
Aria是一种开源的多模态原生模型，在各种多模态、语言和编码任务中均表现出色。它是一个混合专家模型，每个视觉标记和文本标记分别具有39亿和35亿个激活参数，性能优于Pixtral-12B和Llama3.2-11B，并在各种多模态任务上与最好的专有多模态模型竞争。
阅读更多
这篇论文介绍了一种名为L-Mul的线性复杂度乘法算法，该算法可以使用整数加法运算来逼近浮点数乘法，从而显著降低大型神经网络的计算资源消耗。与8位浮点乘法相比，L-Mul算法在实现更高精度的同时，可以将逐元素浮点张量乘法的能耗降低95%，将点积的能耗降低80%。研究人员在多个文本、视觉和符号任务上对L-Mul算法进行了评估，结果表明该算法在保持高精度的同时，能够显著降低能耗。
阅读更多
本文介绍了差分Transformer模型，该模型通过放大对相关上下文的注意力并消除噪声来解决传统Transformer模型过度关注无关上下文的问题。差分注意力机制通过计算两个独立的softmax注意力图之间的差异来获得注意力分数，从而消除噪声并促进稀疏注意力模式的出现。在语言建模等任务上的实验结果表明，差分Transformer在模型大小和训练数据规模等方面都优于传统的Transformer模型。
阅读更多
为了满足边缘设备对语言模型的需求，该文介绍了一种名为Sorbet的基于Transformer的脉冲语言模型。Sorbet针对神经形态硬件的兼容性进行了优化，采用了PTsoftmax和BSPN等创新方法，分别替代了softmax和层归一化等高能耗操作，并通过知识蒸馏和模型量化实现了高效的二进制权重模型。
阅读更多
本文介绍了一个利用大型语言模型 (LLM) 量量化“异化”语言的计算框架，并将其应用于Telegram 战争博主和 Gab 上的政治讨论的真实数据。研究揭示了“异化”是如何在冲突期间升级、与道德语言相互作用，以及如何获得大量关注，尤其是在危机时期。
阅读更多
这篇论文重新审视了传统的循环神经网络（RNNs），如LSTMs和GRUs，发现通过移除其输入、遗忘和更新门中的隐藏状态依赖关系，LSTMs和GRUs不再需要BPTT，可以高效地并行训练。作者介绍了LSTMs和GRUs的最小版本（minLSTMs和minGRUs），它们使用比传统版本少得多的参数，并且在训练期间完全可并行化。最后，作者表明这些简化版的RNNs与最近的序列模型的经验性能相匹配。
阅读更多
TPI-LLM是一种计算和内存高效的张量并行推理系统，旨在在低资源边缘设备上高效地服务于70B级的LLM。它通过将敏感的原始数据保存在用户的设备上，并引入滑动窗口内存调度器来动态管理推理过程中的层权重，从而解决了边缘设备计算能力、内存和带宽有限的问题。TPI-LLM还通过实现基于星形的allreduce算法来缓解通信瓶颈，并通过与计算和通信重叠的磁盘I/O延迟来实现。
阅读更多