Webtagr - 科技资讯摘要

热门标签：

Mac 多显示器显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车全部标签

LoRA 与全量微调：等效的错觉

2024-11-08

本文研究了不同的微调方法如何改变预训练的大型语言模型，特别是低秩自适应 (LoRA) 和全量微调之间的差异。研究发现，尽管 LoRA 在许多任务上可以达到与全量微调相似的性能，但它们的学习到的解并不等效。LoRA 训练的权重矩阵中存在新的、高秩的奇异向量（称为“入侵维度”），而全量微调中不存在。这些“入侵维度”导致 LoRA 模型在预训练分布上的性能下降，并且在顺序适应多个任务时的鲁棒性较差。更高秩、秩稳定的 LoRA 模型更接近全量微调，即使在相同任务上与低秩 LoRA 模型性能相当。研究表明 LoRA 和全量微调访问了参数空间的不同部分，并探讨了“入侵维度”出现的原因、负面影响以及如何将其最小化。

(arxiv.org)

24

未分类

Roaring：一种始终更快、更小的压缩位图

2024-11-08

本文介绍了一种名为Roaring的混合压缩位图索引技术，该技术结合了未压缩位图、压缩数组和行程编码（RLE）压缩段。Roaring在数据库和搜索引擎中表现优异，速度比传统的基于RLE的替代方案（WAH、Concise、EWAH）快几倍（甚至两个数量级），同时压缩效果更好。该技术已被Apache Lucene、Apache Spark、Apache Kylin和Druid等生产平台采用。

(arxiv.org)

26

未分类压缩位图 Roaring 索引技术

评估生成模型中隐含的世界模型

2024-11-07

本文研究了大型语言模型是否隐含地学习了世界模型。作者针对底层现实由确定性有限自动机控制的情况，提出了新的评估指标，并将其应用于游戏、逻辑谜题和导航三个领域。结果表明，尽管生成模型在现有诊断中表现良好，但新的指标揭示了其世界模型远不如表面看起来那么连贯，这种不连贯性会导致模型在处理类似任务时出现严重错误。

(arxiv.org)

21

未分类评估指标

利用自制射电望远镜观测银河系中性氢结构光谱和运动学

2024-11-05

本文介绍了一种自制低成本射电望远镜的方法，用于探测21厘米谱线（1420.405 MHz），并确定银河系中性氢的分布和运动学特征。通过测量21厘米谱线的多普勒频移，可以确定氢云相对于地球的速度，进而识别这些云的运动、它们在银河系旋臂中的位置以及它们在银河系整体旋转动力学中的作用。该装置设计简单易于操作，使用了1米抛物面天线、H1-LNA、SDR和树莓派等设备，方便业余爱好者开展类似项目。文章还概述了检测氢谱线和生成速度剖面所需的数据处理过程，并探讨了在城市环境中，如何运用频谱滤波和仪器屏蔽等射频干扰抑制技术来提高观测清晰度。

(arxiv.org)

23

未分类中性氢 21厘米谱线

你的大型语言模型真的会遗忘吗？一种简单的方法来恢复被遗忘的知识

2024-11-04

大型语言模型（LLM）虽然功能强大，但也可能学习到不良内容。机器遗忘技术可以移除这些内容，但本文指出，现有的遗忘方法可能只是隐藏了知识，而非真正遗忘。研究发现，对经过遗忘处理的模型应用量化技术可以恢复“被遗忘”的信息，例如4比特量化后，可以恢复高达83%的遗忘知识。文章对此现象进行了理论解释，并提出了一种抗量化遗忘策略。

(arxiv.org)

24

未分类机器遗忘

RingGesture：基于深度学习单词预测框架的环状空中手势输入系统

2024-11-03

RingGesture是一种基于环状空中手势的输入系统，旨在为轻量级AR眼镜提供高效的文本输入方案。该系统利用戒指上的电极标记手势轨迹的起止，并结合IMU传感器进行手部追踪，实现类似VR头显中光线投射的空中手势输入体验。为了提高准确性和输入速度，RingGesture采用了一种名为Score Fusion的深度学习单词预测框架，该框架融合了单词-手势解码模型、空间拼写纠正模型和上下文语言模型的得分，以预测最可能的单词。实验证明，RingGesture的平均输入速度为每分钟27.3个单词，峰值性能达到47.9个单词，其Score Fusion框架相比传统方法，未校正字符错误率降低了28.2%，输入速度提高了55.2%。

(arxiv.org)

23

未分类手势输入

SPANN：高效的十亿级近似最近邻搜索

2024-11-03

SPANN是一个高效的内存-磁盘混合近似最近邻搜索系统，它采用倒排索引方法，将posting lists的中心点存储在内存中，而将大型posting lists存储在磁盘中。SPANN通过减少磁盘访问次数和检索高质量的posting lists来保证磁盘访问效率和高召回率。在索引构建阶段，它采用分层平衡聚类算法来平衡posting lists的长度，并通过添加相应聚类中点的闭包来扩充posting lists。在搜索阶段，它使用query-aware方案动态修剪不必要的posting lists的访问。实验结果表明，SPANN比当前最先进的ANNS解决方案DiskANN快2倍，在三个十亿级数据集上达到相同的召回率90%，内存成本相同。

(arxiv.org)

23

未分类近似最近邻搜索 ANN 十亿级数据集

TokenFormer：用模型参数标记化重塑Transformer缩放

2024-11-01

TokenFormer 是一种新型可缩放架构，利用注意力机制处理输入标记和模型参数之间的交互，从而增强架构灵活性。通过将模型参数视为标记，它用标记-参数注意力层取代了 Transformer 中的所有线性投影，其中输入标记充当查询，模型参数充当键和值。这种方法允许模型通过递增添加新的键值参数对，从 1.24 亿个参数扩展到 14 亿个参数，在大大减少训练成本的同时，实现与从头训练的 Transformer 相当的性能。

(arxiv.org)

25

未分类模型缩放

Crux：一个针对Rust和其他语言的精确验证器

2024-11-01

Crux是一个跨语言验证工具，适用于Rust和C/LLVM，尤其针对人类难以确保正确性的复杂代码段，例如加密模块和序列化/反序列化程序对。Crux建立在成熟的SAW-Cryptol工具链的框架之上，但它提供了一个接口，其中的证明被表述为符号单元测试。Crux设计用于生产环境，并且已经在工业中得到应用。本文重点介绍了Crux-MIR，这是一个针对Rust的验证工具，它提供了一个精确的Rust安全和非安全代码模型，可以用于检查Rust代码的内联属性，以及与Cryptol或hacspec方言编写的可执行规范的扩展等价性。Crux-MIR支持组合推理，这对于扩展到中等复杂度的证明是必要的。该工具通过验证Ring库中SHA1和SHA2的实现与现有功能规范的符合性进行了演示。

(arxiv.org)

28

未分类 Crux

深思熟虑反而有害？思维链方法在某些任务中降低模型性能

2024-10-31

本文研究了思维链（CoT）提示方法在哪些情况下会降低大型语言和多模态模型的性能。研究发现，在某些人类思考会降低表现的任务中，例如隐式统计学习、视觉识别和包含例外模式的分类任务，CoT也会降低模型性能。实验结果表明，多种先进模型在使用推理时，性能显著下降。相比之下，在一些虽然人类思考会降低表现，但不符合模型约束条件的任务中，CoT则不会降低模型性能。研究指出，虽然模型的认知过程与人类不完全相同，但考虑人类思考的负面后果可以帮助识别CoT的负面影响，为理解提示选择和推理的影响提供了新工具。

(arxiv.org)

26

未分类思维链

将Web应用程序表示为知识图谱

2024-10-30

传统的网络应用程序爬取和解析方法主要依赖于从初始页面提取超链接并递归地跟踪链接资源，构建以网页非结构化数据为节点、页面转换关系为边的图。然而，这些技术难以捕捉现代Web应用程序固有的动态和交互行为。本文提出了一种新的方法，将每个节点建模为应用程序当前状态的结构化表示，边则反映用户发起的操作或状态转换。这种结构化表示能够更全面地理解Web应用程序的功能，为自动化测试和行为分析等下游任务提供有价值的见解。

(arxiv.org)

27

未分类

大型语言模型知道的比它们展示的更多：关于大型语言模型幻觉的内在表征

2024-10-30

大型语言模型(LLM)经常会产生错误，包括事实不准确、偏差和推理失败，这些统称为“幻觉”。本文研究发现，LLM的内部状态编码了关于其输出真实性的信息，而且这些信息比以前认为的要多得多。研究首先发现，真实性信息集中在特定的词例中，利用这一特性可以显著提高错误检测性能。然而，这种错误检测器无法跨数据集泛化，这意味着真实性编码并非普遍的，而是多方面的。此外，内部表征还可以用于预测模型可能出现的错误类型，从而有助于制定有针对性的缓解策略。最后，研究揭示了LLM内部编码和外部行为之间的差异：它们可能编码了正确答案，但却持续生成错误答案。

(arxiv.org)

31

未分类错误检测

数值精度如何影响大型语言模型的数学推理能力

2024-10-22

这篇论文研究了数值精度对基于Transformer的大型语言模型（LLM）数学推理能力的影响。研究发现，低数值精度的Transformer模型在处理迭代加法和整数乘法等算术任务时表现不佳，除非模型规模相对于输入长度呈超多项式增长。相比之下，具有标准数值精度的Transformer模型可以用小得多的模型规模有效地处理这些任务。

(arxiv.org)

28

未分类数值精度

大型语言模型微调终极指南：从基础到突破

2024-10-22

这篇报告全面概述了大型语言模型（LLM）的微调技术，整合了理论见解和实际应用，涵盖了从传统自然语言处理模型到LLM在人工智能中关键作用的历史演变，比较了不同微调方法的优缺点，并介绍了一个结构化的七阶段LLM微调流程。报告重点阐述了数据准备、模型初始化、超参数调整和模型部署等关键步骤，并深入探讨了参数高效方法、内存微调、多专家混合、代理混合等前沿技术，以及验证框架、部署后监控和推理优化等实用建议。

(arxiv.org)

29

未分类

机器学习在计算等离子体物理和降阶等离子体建模中的应用：展望

2024-10-21

这篇论文概述了机器学习在计算等离子体物理学中的应用，探讨了机器学习算法如何增强流体流动建模并将其应用于等离子体物理领域。文章还展望了机器学习在等离子体建模中的未来发展方向，以及实现其全部潜力的挑战，例如需要成本效益高的模拟工具来生成大量数据。

(arxiv.org)

32

未分类等离子体物理计算物理

QUIC 在高速互联网环境下速度不够快

2024-10-20

这篇论文系统地评估了 QUIC 协议在高速网络环境下的性能。研究发现，相比于 TCP+TLS+HTTP/2，UDP+QUIC+HTTP/3 在高速互联网环境下数据传输速率降低了 45.2%。QUIC 和 HTTP/2 之间的性能差距随着带宽的增加而扩大。导致这个问题的根本原因是接收端过高的处理开销，特别是过多的数据包和 QUIC 的用户空间 ACK。

(arxiv.org)

30

未分类

随机森林为何有效？将其理解为自正则化自适应平滑器

2024-10-20

这篇论文探讨了随机森林为何如此有效。作者认为，将随机森林理解为自适应、自正则化的平滑器是关键。论文指出，随机森林的预测结果比单个决策树更加平滑，并且能根据测试和训练数据的差异调整平滑程度。此外，论文还反驳了普遍认为的随机森林优于单个决策树仅仅是由于方差降低的观点，认为随机森林的平滑效应可以通过减少预测方差、提高学习函数质量以及丰富假设空间来提升性能。

(arxiv.org)

26

未分类随机森林平滑

LLMD：一种用于解读纵向病历的大语言模型

2024-10-18

LLMD是一种新的大语言模型，旨在基于患者的病历分析其病史。与仅接受知识训练的模型不同，LLMD接受了大量跨时间和医疗机构收集的病历、任务和标签的训练，从而能够更准确地了解患者的健康状况。LLMD在医学知识基准测试中表现出色，并在实际生产任务中显著优于其他模型，包括更强大的通用模型和特定领域模型。

(arxiv.org)

29

未分类医疗病历

Skip Hash：一种基于软件事务内存的快速有序映射

2024-10-15

文章介绍了一种名为Skip Hash的新型有序映射数据结构，它结合了跳表和哈希映射的优点，并利用软件事务内存(STM)实现了快速、可线性化的范围查询，同时保证了并发插入和删除操作的高效性。实验结果表明，Skip Hash在性能上几乎优于所有现有方案，兼具高效性和简洁性。

(arxiv.org)

31

未分类软件事务内存

Meissonic：复兴掩码生成式Transformer，实现高效的高分辨率文本到图像合成

2024-10-14

Meissonic是一种新的文本到图像合成模型，它改进了非自回归掩码图像建模 (MIM)，实现了与SDXL等顶级扩散模型相媲美的性能。Meissonic采用了一系列架构创新、先进的位置编码策略和优化的采样条件，显著提升了MIM的性能和效率，并通过高质量的训练数据、结合人类偏好分数的微调以及特征压缩层，进一步增强了图像的保真度和分辨率。

(arxiv.org)

36

未分类文本到图像合成掩码图像建模生成式Transformer

DeepSeek-Prover：通过大规模合成数据推进LLM中的定理证明

2024-10-14

为了解决大型语言模型（LLM）在形式定理证明方面训练数据缺乏的问题，DeepSeek-Prover方法利用高中和本科水平的数学竞赛问题生成大量的Lean 4证明数据。该方法将自然语言问题转化为形式语句，过滤掉低质量语句，并生成证明来创建合成数据。在包含800万个带有证明的形式语句的合成数据集上微调DeepSeekMath 7B模型后，该模型在Lean 4 miniF2F测试中实现了46.3%的完整证明生成准确率，优于基线GPT-4（23.0%）和树搜索强化学习方法（41.0%）。

(arxiv.org)

37

未分类

“轮到你发言”：一种提高 Wi-Fi 可靠性的新型信道竞争机制

2024-10-13

这篇论文介绍了一种名为“轮到你发言”(IYT)的新型信道竞争机制，旨在提升 Wi-Fi 的可靠性。 IYT 机制是对现有分布式协调功能 (DCF) 的扩展，通过提供有序的设备传输来改善分布式监听ก่อนพูด (LBT) 的可靠性。IYT 机制利用邻居活动感知来实现有序传输，并已通过仿真结果证明其在控制信道接入延迟方面的有效性，能够提供可靠的性能。

(arxiv.org)

35

未分类信道竞争

哥德尔智能体：一种递归自我改进的自我参照智能体框架

2024-10-13

哥德尔智能体是一种受哥德尔机启发的自我进化框架，允许智能体在不依赖预定义例程或固定优化算法的情况下递归地改进自身。它利用大型语言模型（LLM）在高级目标的指导下，通过提示动态地修改自身的逻辑和行为。在数学推理和复杂智能体任务上的实验结果表明，哥德尔智能体的实现可以实现持续的自我改进，在性能、效率和通用性方面都超过了人工设计的智能体。

(arxiv.org)

33

未分类智能体

迈向人工智能数学家：机器学习与信息论的概念

2024-10-12

这篇论文探讨了如何利用机器学习和信息论的概念来构建人工智能数学家。文章指出，当前深度学习在直觉和习惯行为方面取得了成功，但在推理和不确定性估计方面仍有不足。文章认为，一个理想的定理体系应该简洁地概括所有可证明的陈述，并提出信息论可以用来指导发现新的数学猜想。

(arxiv.org)

29

未分类

线性可分性边缘的顿悟

2024-10-12

这篇文章研究了二元逻辑分类在简化设置下的泛化特性，并从经验和分析上阐明了其动力学中顿悟的潜在机制。研究发现，当应用于接近线性可分性的训练集时，顿悟现象会被放大。即使始终存在完美的泛化解决方案，但如果训练数据与原点线性可分，则逻辑损失的隐含偏差将导致模型过度拟合。

(arxiv.org)

27

未分类线性可分性顿悟

GSM-Symbolic：理解大型语言模型在数学推理中的局限性

2024-10-11

大型语言模型 (LLM) 在数学推理能力方面取得了进步，但其可靠性仍存在疑问。本文针对这一问题，引入了一个名为 GSM-Symbolic 的改进基准，用于评估模型在不同难度数学问题上的表现。研究发现，LLM 在处理相同问题结构但数值不同的情况下表现出显著差异。此外，模型的数学推理能力随着问题复杂性的增加而下降，这表明当前的 LLM 可能无法进行真正的逻辑推理，而是复制训练数据中的推理步骤。

(arxiv.org)

30

未分类

Aria：一种开放的多模态原生混合专家模型

2024-10-11

Aria是一种开源的多模态原生模型，在各种多模态、语言和编码任务中均表现出色。它是一个混合专家模型，每个视觉标记和文本标记分别具有39亿和35亿个激活参数，性能优于Pixtral-12B和Llama3.2-11B，并在各种多模态任务上与最好的专有多模态模型竞争。

(arxiv.org)

32

未分类

仅需加法即可构建节能语言模型

2024-10-09

这篇论文介绍了一种名为L-Mul的线性复杂度乘法算法，该算法可以使用整数加法运算来逼近浮点数乘法，从而显著降低大型神经网络的计算资源消耗。与8位浮点乘法相比，L-Mul算法在实现更高精度的同时，可以将逐元素浮点张量乘法的能耗降低95%，将点积的能耗降低80%。研究人员在多个文本、视觉和符号任务上对L-Mul算法进行了评估，结果表明该算法在保持高精度的同时，能够显著降低能耗。

(arxiv.org)

35

未分类

差分Transformer

2024-10-08

本文介绍了差分Transformer模型，该模型通过放大对相关上下文的注意力并消除噪声来解决传统Transformer模型过度关注无关上下文的问题。差分注意力机制通过计算两个独立的softmax注意力图之间的差异来获得注意力分数，从而消除噪声并促进稀疏注意力模式的出现。在语言建模等任务上的实验结果表明，差分Transformer在模型大小和训练数据规模等方面都优于传统的Transformer模型。

(arxiv.org)

31

未分类差分注意力机制

Sorbet：一种与神经形态硬件兼容的基于Transformer的脉冲语言模型

2024-10-07

为了满足边缘设备对语言模型的需求，该文介绍了一种名为Sorbet的基于Transformer的脉冲语言模型。Sorbet针对神经形态硬件的兼容性进行了优化，采用了PTsoftmax和BSPN等创新方法，分别替代了softmax和层归一化等高能耗操作，并通过知识蒸馏和模型量化实现了高效的二进制权重模型。

(arxiv.org)

31

未分类神经形态硬件

← 前页 1 2 3 4 5 6 7 8 9 10 11 12 下页 →