arXivLabs是一个框架，允许合作者直接在arXiv网站上开发和分享新的arXiv功能。参与arXivLabs的个人和组织都认同并接受了我们关于开放性、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。 有一个能为arXiv社区增值的项目创意？了解更多关于arXivLabs的信息。
阅读更多
arXivLabs是一个实验性项目，允许合作者直接在arXiv网站上开发和分享新功能。参与者都认同arXiv的开放、社区、卓越和用户数据隐私的价值观。你有提升arXiv社区价值的想法吗？了解更多关于arXivLabs的信息。
阅读更多
arXivLabs是一个实验性项目，允许协作者直接在arXiv网站上开发和分享新功能。参与其中的个人和组织都认同arXiv的开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，只与遵守这些价值观的合作伙伴合作。如果你有想法能为arXiv社区增值，那就来了解一下arXivLabs吧！
阅读更多
arXivLabs是一个实验性项目，允许开发者与arXiv社区协作，直接在arXiv网站上开发和分享新功能。参与者必须遵守arXiv的开放、社区、卓越和用户数据隐私的价值观。你有好的想法来提升arXiv社区价值吗？来了解一下arXivLabs吧！
阅读更多
arXivLabs是一个允许协作者直接在arXiv网站上开发和分享新功能的框架。参与arXivLabs的个人和组织都认同并接受了arXiv的开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。如果你有想法能为arXiv社区增值，那就了解更多关于arXivLabs的信息吧！
阅读更多
arXivLabs是一个实验性项目框架，允许合作者直接在arXiv网站上开发和分享新功能。参与其中的个人和组织都认同arXiv的开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，只与遵守这些价值观的合作伙伴合作。如果你有想法为arXiv社区增值，可以了解更多关于arXivLabs的信息。
阅读更多
arXivLabs是一个允许合作者直接在arXiv网站上开发和分享新功能的框架。参与arXivLabs的个人和组织都认同并接受了arXiv关于开放性、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与坚持这些价值观的合作伙伴合作。如有想法能为arXiv社区增值，请进一步了解arXivLabs。
阅读更多
arXivLabs是一个实验性项目，允许合作者直接在arXiv网站上开发和分享新功能。参与其中的个人和组织都认同arXiv的开放、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，只与遵守这些价值观的合作伙伴合作。如果你有想法能为arXiv社区增值，那就了解更多关于arXivLabs的信息吧！
阅读更多
arXivLabs是一个允许协作者直接在arXiv网站上开发和分享新功能的框架。参与arXivLabs的个人和组织都认同并接受了arXiv关于开放性、社区、卓越和用户数据隐私的价值观。arXiv致力于这些价值观，并且只与遵守这些价值观的合作伙伴合作。如果你有想法可以为arXiv社区增值，请进一步了解arXivLabs。
阅读更多
Ronit Shah提出了一种改进的量子傅里叶变换(QFT)算法。传统算法中，近似QFT需要Θ(n log n)个门，精确QFT需要Θ(n²)个门。新算法通过递归划分量子比特，将近似QFT的成本降低到Θ(n(log log n)²)个门，精确QFT的成本降低到Θ(n(log n)²)个门。这项突破性进展有望显著提升量子计算的效率。
阅读更多
DeepSeek-AI团队发布了其首个推理模型DeepSeek-R1，该模型通过大规模强化学习训练，无需监督微调。其前身DeepSeek-R1-Zero展现出强大的推理能力，但存在可读性和语言混合等问题。DeepSeek-R1在R1-Zero基础上，加入多阶段训练和冷启动数据，性能与OpenAI的模型相当。研究团队开源了DeepSeek-R1-Zero、DeepSeek-R1以及六个不同规模的蒸馏模型，为研究社区贡献力量。
阅读更多
一本名为《大型语言模型基础》的新书问世，它并非旨在涵盖所有前沿技术，而是深入探讨了大型语言模型的核心概念。全书分为四个章节，分别讲解预训练、生成模型、提示技术和对齐方法。本书适合自然语言处理领域的大学生、专业人士和从业者阅读，也适合对大型语言模型感兴趣的任何人参考。
阅读更多
研究人员提出了一种无损压缩向量ID的方法，以解决近似最近邻搜索中索引存储成本过高的难题。该方法基于非对称数值系统或小波树，利用向量ID在数据结构中顺序无关的特性，在不影响精度和搜索速度的情况下，最多可将向量ID压缩7倍，从而在十亿级数据集上减少30%的索引大小。此外，该方法还可通过利用原始量化算法中的次优性，对某些数据集的量化向量码进行无损压缩。
阅读更多
大型语言模型在Excel公式辅助方面应用受限，因为其训练成本高昂且模型庞大。论文介绍了FLAME，一个基于Transformer的轻量级模型，专门用于Excel公式。FLAME仅用6000万参数，训练数据量是大型模型的百分之一，却在公式修复、补全和检索任务上取得了与大型模型（如Codex和CodeT5）相当甚至更好的效果，这得益于其独特的预训练目标和Excel专用标记器。
阅读更多
处理更长输入序列的语言模型通常需要巨大的键值缓存，导致推理过程中的内存开销巨大。这篇论文提出了张量积注意力机制（TPA），它使用张量分解来紧凑地表示查询、键和值，从而显著缩小推理过程中的键值缓存大小。通过将这些表示分解为上下文低秩分量（上下文分解）并与RoPE无缝集成，TPA在提高内存效率的同时提升了模型质量。基于TPA，论文引入了张量积注意力Transformer（T6），这是一种用于序列建模的新型模型架构。大量实验证明，T6在困惑度和各种知名评估基准上都超过了包括MHA、MQA、GQA和MLA在内的标准Transformer基线。TPA的内存效率使得在固定资源约束下处理更长的序列成为可能，解决了现代语言模型中的一个关键可扩展性挑战。
阅读更多
研究人员成功在世界上第一个分时系统CTSS（运行在模拟的IBM 7094上）上复现了ELIZA——公认的世界首个聊天机器人。他们利用在麻省理工学院魏泽鲍姆教授档案馆中发现的原始打印输出、MAD-SLIP代码和相关文档，重建了ELIZA及其著名的DOCTOR脚本。整个项目开源，任何Unix-like系统用户都能运行这个历史性的聊天机器人。
阅读更多
一篇发表在arXiv上的论文揭示了纽约时报每日单词游戏Waffle背后的数学原理。作者S.P. Glasby研究了该游戏排列组合的数学特性，解释了为什么有些游戏容易解决，而有些游戏极难。研究发现，完美的解法必须在21个方格上精确拥有11个轨道，其中至少一个轨道长度为1。这项研究为理解和改进这类益智游戏提供了数学视角。
阅读更多
研究人员提出了一种名为Titans的新型神经网络架构，它结合了神经记忆模块和注意力机制，能够有效地记忆长期的历史上下文信息。不同于传统的循环模型和注意力机制，Titans在处理长序列数据时具有更高的效率和准确性，尤其在“大海捞针”的任务中表现突出。该架构在语言建模、常识推理、基因组学和时间序列等多个任务上均取得了优于Transformer和线性循环模型的成果，并可扩展至超过200万上下文窗口大小。
阅读更多
研究人员提出了一种名为“元链式思考”（Meta-CoT）的新框架，它扩展了传统的链式思考（CoT），通过显式建模得出特定CoT所需的底层推理过程。该框架利用过程监督、合成数据生成和搜索算法生成元CoT，并提出了一种具体的训练流程，结合指令微调和线性化搜索轨迹以及强化学习后训练。这项工作为在大型语言模型中实现元链式思考提供了一个理论和实践路线图，为人工智能中更强大、更人性化的推理铺平了道路。
阅读更多
一篇新的论文挑战了著名的CAP定理。作者们提出，在网络分区的情况下，部分进展是可能的，即系统可以对部分客户端保持响应并实现非零吞吐量。他们提出了CASSANDRA共识协议的设计，允许分区副本对客户端请求进行排序，从而在保持一定一致性的同时，保证系统的可用性。这项研究为构建更健壮的分布式系统提供了新的思路。
阅读更多
随着数据收集技术的进步和海量数据流的涌现，时间序列分析变得至关重要。这篇论文对时间序列异常检测进行了十年回顾，涵盖了从传统统计方法到近年来兴起的机器学习算法的各种方法。文章以流程为中心的分类法对现有解决方案进行了归纳总结，并对文献进行了元分析，阐明了时间序列异常检测研究的总体趋势，为该领域的研究提供了宝贵的参考。
阅读更多
一群科学家对意大利经典菜肴Cacio e Pepe酱进行了深入研究，揭示了其完美的稠度和乳脂感的秘密。他们发现，淀粉的浓度是关键因素，淀粉浓度低于奶酪质量的1%会导致酱汁结块，形成所谓的“马苏里拉阶段”。研究还探究了奶酪和水的比例对酱汁的影响，并建立了一个有效的自由能模型进行理论解释。最终，他们基于研究结果，给出了一个科学优化的食谱，保证每次都能做出完美的Cacio e Pepe酱。
阅读更多
一篇新的论文从强化学习的角度，探索了复现OpenAI神秘模型o1的路径。研究者认为，o1强大的推理能力并非源于单一技术，而是策略初始化、奖励设计、搜索和学习四个关键组件的协同作用。策略初始化赋予模型类人的推理能力；奖励设计提供密集有效的信号指导搜索和学习；搜索在训练和测试阶段生成高质量的解决方案；学习利用搜索生成的数据改进策略，最终实现更好的性能。该论文为理解和复现o1提供了宝贵的参考，并为大型语言模型的研发提供了新的思路。
阅读更多
一项新的研究发现GitHub上存在450万个疑似虚假的点赞（star），这些虚假点赞主要用于推广短期存在的恶意软件仓库，例如伪装成盗版软件、游戏作弊器或加密货币机器人。研究人员开发了一个名为StarScout的工具，能够检测异常的点赞行为。研究表明，虚假点赞活动自2024年以来急剧增加，虽然虚假点赞者在用户画像上与普通用户无异，但其活动模式异常。虽然短期内虚假点赞能起到推广作用，但长期来看反而会成为负担。这项研究对平台管理员、开源从业者和供应链安全研究人员具有重要意义。
阅读更多
研究人员开发了TinyStories数据集，这是一个由GPT-3.5和GPT-4生成的简短故事集，仅包含3-4岁儿童通常理解的词汇。利用TinyStories训练的小型语言模型（参数少于1000万），即使架构简单（只有一个Transformer块），也能生成流畅、连贯的多段故事，展现出令人惊讶的语法和推理能力。这项研究挑战了大型语言模型才能生成连贯文本的传统观点，并提出了一种新的模型评估方法，使用GPT-4对模型生成的文本进行评分，克服了传统基准的局限性。
阅读更多
一篇发表在arXiv上的论文探讨了利用“激活工程”技术来识别和操纵大型语言模型（LLM）个性特征的方法。研究人员受到先前关于LLM拒绝和引导研究的启发，提出了一种通过调整与个性特征相关的激活方向来实现LLM个性动态微调的方法。这项研究不仅加深了我们对LLM可解释性的理解，也引发了对这类技术伦理影响的思考。
阅读更多
本文提出了一种名为梯度一致性过滤 (GAF) 的新方法，用于改进分布式深度学习优化中的梯度平均。传统方法平均微批量梯度来计算宏批量梯度，但这在训练后期容易导致梯度正交或负相关，从而造成过拟合。GAF 通过计算微梯度间的余弦距离，过滤掉冲突的更新，有效降低了梯度方差，提升了验证精度。实验结果表明，GAF 在 CIFAR-100 和 CIFAR-100N-Fine 等图像分类基准测试中，即使使用更小的微批量大小，也能显著提高精度，最高可达 18.2%，同时降低了计算量。
阅读更多
近期，基于代码大型语言模型（LLM）的AI编程助手日益普及，大幅提升了开发效率。然而，现有代码生成基准测试主要关注通用场景，忽略了LLM在特定应用领域的性能。为此，研究人员提出了MultiCodeBench，这是一个包含2400个编程任务的新基准，涵盖12个热门软件开发领域和15种编程语言。通过对11个主流LLM的评估，MultiCodeBench揭示了不同领域LLM的代码生成能力，为开发者选择合适的LLM提供了实用指导，并为模型开发者改进特定领域代码生成能力提供了方向。
阅读更多
研究人员对大型语言模型（LLM）在单元测试自动生成领域的潜力进行了深入评估。他们比较了17个Java项目中五种开源LLM与闭源GPT-4和传统工具Evosuite的性能，并考察了不同提示策略的影响。研究发现，开源LLM在数据隐私和某些任务上表现出色，但同时也揭示了LLM单元测试生成的局限性。该研究为未来LLM在单元测试生成中的应用提供了宝贵的指导意义。
阅读更多
一项最新研究揭示了大型语言模型（LLM）中普遍存在的“身份混淆”问题。研究人员发现，超过25%的LLM存在身份伪造或来源不明的情况，这主要源于模型的“幻觉”，而非复制或重用。这种身份混淆严重损害了用户对LLM的信任，尤其是在教育和专业领域，其负面影响甚至超过逻辑错误。研究结果强调了LLM身份混淆带来的系统性风险，并呼吁关注模型的可靠性和可信度。
阅读更多