验证者-证明者博弈提高大型语言模型输出的可读性
为了提高大型语言模型输出结果的可信度，文章提出了一种基于验证者-证明者博弈的训练算法，旨在提高模型输出的可读性。该算法通过训练小型验证器来预测解决方案的正确性，并使用“乐于助人”的证明者生成验证器认可的正确解决方案，以及使用“狡猾”的证明者生成欺骗验证器的错误解决方案，从而迭代地训练模型。实验结果表明，这种训练方法能够提高“乐于助人”证明者的准确性和验证器对对抗性攻击的鲁棒性，并有效提高了模型输出对人类的可读性。
阅读更多论数字计算机上电路和波动方程解的不可计算性的不可检测性及其不可计算性程度
该论文探讨了图灵机无法计算的数学问题的不可计算性，例如连续可微函数的一阶导数计算。文章使用郑-魏劳赫分层法对一阶导数的不可计算性进行了分类，并研究了图灵机是否可以通过观察问题数据来检测这种不可计算性。研究结果表明，对于简单模拟电路的输入-输出行为计算和三维波动方程的解，图灵机无法检测到一阶导数的不可计算性，甚至无法检测到其上界。
阅读更多D-Bot：基于大型语言模型的数据库诊断系统
D-Bot是一个基于大型语言模型的数据库诊断系统，旨在帮助数据库管理员 (DBA) 更高效地管理和维护数据库。该系统能够自动从诊断文档中获取知识，并在可接受的时间内生成合理的诊断报告，包括识别根本原因和解决方案。D-Bot 的核心技术包括离线知识提取、自动提示生成、基于树搜索算法的根本原因分析以及针对具有多个根本原因的复杂异常的协作机制。
阅读更多基于自推理的检索增强语言模型改进
文章介绍了一种新的自推理框架，用于改进检索增强语言模型（RALM）的可靠性和可追溯性。该框架通过利用语言模型本身生成的推理轨迹，包括相关性感知、证据感知选择和轨迹分析三个过程，构建自推理轨迹，从而提高模型的性能。实验结果表明，该框架在问答和事实验证等任务上优于现有模型，甚至可以与GPT-4相媲美。
阅读更多基因组代码：基因组实例化了生物体的生成模型
这篇文章探讨了基因组如何编码生物体的形式，并提出了一种新的比喻：基因组编码了生物体的生成模型。作者认为，基因组并不直接编码生物体的形式或发育过程，而是包含一个压缩的潜在变量空间，这些变量通过进化学习算法编码并通过发育过程解码，形成一个约束发育自组织过程的能量景观，从而可靠地产生特定类型的个体。
阅读更多Deep-TEMPEST：利用深度学习窃听 HDMI 线缆的电磁辐射
这篇文章介绍了一种名为 Deep-TEMPEST 的新型攻击方法，利用深度学习技术，通过分析 HDMI 线缆和连接器无意间产生的电磁辐射来窃听数字视频显示器的内容。该方法解决了传统 TEMPEST 攻击在数字视频信号上难以实现的问题，通过将问题转化为逆问题，并训练深度学习模型将观测到的电磁信号映射回显示的图像，从而实现窃听。
阅读更多节省每一分钱：用微薄预算从零开始训练扩散模型
本文介绍了一种低成本训练大型文本到图像扩散Transformer模型的方法，旨在解决生成式AI模型开发过程中计算资源集中的问题。作者提出了一种随机遮蔽图像块的训练策略，并结合混合专家层等Transformer架构的改进，显著降低了训练成本，同时保持了模型性能。实验结果表明，该方法仅需花费1890美元，就能在COCO数据集上实现12.7 FID的零样本生成性能。
阅读更多迷惑与困惑：一项针对reCAPTCHAv2的大规模真实用户研究
本文介绍了一项针对reCAPTCHAv2验证码的大规模真实用户研究，该研究历时13个月，涉及超过3600名用户。研究发现，虽然用户在多次尝试后解决验证码的能力有所提高，但reCAPTCHAv2的设计仍然给用户带来了困扰，尤其是在图片识别方面。研究还发现，网站的上下文环境、用户的专业背景和教育水平都会影响验证码的解决时间。作者认为，reCAPTCHAv2及其类似技术存在成本高、安全性低的问题，应该被淘汰。
阅读更多深度学习面试题：数百道涵盖人工智能关键领域的已解决面试题
《深度学习面试题》第二版涵盖了人工智能关键领域中数百道已解决的面试题，旨在帮助机器学习硕士/博士生以及准备面试的人员复习特定主题并提供该领域的全面概述。书中的问题极具挑战性，但以发人深省的问题和引人入胜的故事为框架，能够帮助读者提升技能、自信地回答技术问题并深刻理解面试问题的目的和意义。
阅读更多多模态自动化可解释性代理
本文介绍了一种名为 MAIA 的多模态自动化可解释性代理系统。MAIA 利用神经模型来自动执行神经模型理解任务，例如特征解释和故障模式发现。它为预训练的视觉语言模型配备了一套工具，支持对其他模型的子组件进行迭代实验，以解释其行为。这些工具通常由人类可解释性研究人员使用，用于合成和编辑输入、从现实世界的数据集中计算最大激活样本，以及总结和描述实验结果。MAIA 提出的可解释性实验组合了这些工具来描述和解释系统行为。
阅读更多普朗克星、白洞、残余物和普朗克质量准粒子：黑洞演化中的量子引力阶段及其表现形式
这篇论文回顾了黑洞物理学中量子引力方面的一些最新进展，尤其关注一种预测普朗克质量的准稳态物体存在的可能性，这种物体可能构成暗物质的一部分。
阅读更多2024年5月Gannon地磁暴期间的卫星阻力分析
本文分析了2024年5月发生的20年来最强地磁暴对卫星运行的影响。研究发现，此次地磁暴的强度和持续时间预测不准确，导致对卫星的影响评估不足。文章利用卫星阻力衰减特性识别了热层中总的质量密度增强，并通过分析北美防空司令部 (NORAD) 目录中所有低地球轨道卫星的两行轨道根数 (TLE) 数据，观察了大尺度趋势。
阅读更多大型语言模型究竟在模仿什么？将工程成就误认为人类语言能动性
文章批判了将大型语言模型（LLM）的工程成就误认为是人类语言能动性的观点，认为这种观点是建立在“语言完备性”和“数据完备性”的错误假设之上的。文章指出，语言并非一个可以被完全建模的独立完整的事物，而是一种行动方式，其本质是具身性、参与性和不确定性，而这些特质是LLM所不具备的。
阅读更多SpreadsheetLLM：面向大型语言模型的电子表格编码方法
本文介绍了 SpreadsheetLLM，这是一种为大型语言模型 (LLM) 设计的高效电子表格编码方法。该方法使用 SheetCompressor 编码框架，包含基于结构锚点的压缩、倒排索引翻译和数据格式感知聚合三个模块，显著提高了电子表格理解和推理能力。实验结果表明，SpreadsheetLLM 在电子表格表检测任务中优于传统方法，并在电子表格问答等下游任务中展现出高效性。
阅读更多ELECTRA：以判别器而非生成器的方式预训练文本编码器
这篇论文介绍了一种新的预训练语言模型ELECTRA，它使用了一种名为“替换词检测”的任务来提高效率。与BERT使用掩码预测的方式不同，ELECTRA使用一个生成器网络替换输入文本中的某些词，然后训练一个判别器网络来判断每个词是否被替换。这种方法在相同的计算资源下，能够学习到比BERT更好的上下文表示，尤其在小模型上表现更为突出。
阅读更多xLSTMTime：利用xLSTM进行长期时间序列预测
本文介绍了一种名为xLSTMTime的新型长期时间序列预测模型，该模型改进了现有的扩展LSTM（xLSTM）架构。xLSTMTime利用指数门控和改进的记忆结构，在多个真实数据集上超越了Transformer等现有模型。研究结果表明，改进后的循环架构在长期时间序列预测任务中可与基于Transformer的模型相媲美，为时间序列预测领域提供了新的可能性。
阅读更多Transformer层级如画家
这篇论文研究了预训练Transformer模型中各层级的作用。研究发现，Transformer模型的底层和顶层与中间层级不同，但中间层级具有惊人的一致性。文章还发现，某些问题对于跳过层级、以不同于训练顺序运行层级或并行运行层级具有鲁棒性。这些观察表明，即使是冻结的预训练模型，也可以通过跳过层级或并行运行层级来优雅地权衡准确性和延迟。
阅读更多LAGRANGE：位于地月拉格朗日点的激光引力波天线
文章介绍了一种名为LAGRANGE的新型空间引力波天文台设计方案，该方案以更低的成本和更低的风险维持了LISA的所有重要科学目标。LAGRANGE由三个无拖曳航天器组成，位于最稳定的地心结构——地月L3、L4和L5拉格朗日点。该设计采用固定天线，允许与地球持续联系，解决了通信带宽和延迟问题。
阅读更多新的狄利克雷多项式大值估计
这篇论文证明了狄利克雷多项式取大值的频率的新界限。这为长度为$N$的狄利克雷多项式取接近$N^{3/4}$的值提供了改进的估计，这对于与素数和黎曼zeta函数相关的解析数论中的若干估计至关重要。因此，我们推导出零密度估计$N(σ,T)≤T^{30(1-σ)/13+o(1)}$和长度为$x^{17/30+o(1)}$的短区间的素数渐近线。
阅读更多用四个非零参数拟合大象
这篇论文探讨了用四个参数拟合大象的问题。受费米对戴森模型的批评以及冯·诺依曼的名言“给我四个参数，我可以拟合一头大象，再加一个参数，我可以让它的鼻子动起来”的启发，该文首先明确了问题的定义，并在前人尝试的基础上，提出了一种新的拟合方法。
阅读更多紧凑型 Fenwick 树在动态排序和选择中的应用
Fenwick 树是一种经典的隐式数据结构，用于存储数组，支持高效地修改元素、访问元素、计算前缀和以及执行前缀和上的前驱搜索。本文介绍了Fenwick 树的几种变体，可以减小其在已知数组元素上限时的空间占用，并可以更快地执行前驱搜索。作者旨在使用这些变体来实现高效的动态位向量，该结构能够在对数时间内执行更新、排序和选择操作，并且空间开销仅为百分之几，优于现有的具有相同目的的数据结构。
阅读更多探索文本到文本统一Transformer迁移学习的极限
本文探讨了自然语言处理中迁移学习的应用，提出了一种将所有基于文本的语言问题转换为文本到文本格式的统一框架。研究比较了不同预训练目标、架构、未标记数据集、迁移方法等因素对数十种语言理解任务的影响。通过结合探索得到的见解、规模和新的“Colossal Clean Crawled Corpus”，文章在总结、问答、文本分类等多个基准测试中取得了最先进的结果。
阅读更多WildGaussians：野外三维高斯渲染
本文介绍了 WildGaussians，一种能够在复杂环境下进行三维场景重建的新方法。该方法基于三维高斯渲染技术 (3DGS)，通过结合强大的 DINO 特征和外观建模模块，有效解决了遮挡和外观变化等问题。实验表明，WildGaussians 在保持 3DGS 实时渲染速度的同时，能够更好地处理野外数据，并在简单架构下超越了 3DGS 和 NeRF 等基准模型。
阅读更多建立月球及以外区域坐标时间的相对论框架
本文介绍了一种为月球引入坐标时间的相对论框架，并建立了月球和地球坐标时间之间的关系，该关系由位于地球大地水准面和月球赤道的标准钟决定。月球赤道附近的时钟比地球赤道附近的时钟走得更快，在一个月球轨道周期内累积额外 56.02 微秒。这种对不同天体坐标时间速率差异的精确估计，以及使用轨道器上的时钟作为时间传递链路进行的相互比较，对于建立可靠的通信基础设施至关重要，并为星际导航和定位系统奠定基础。
阅读更多凯瑟琳的盛宴：婴儿命名的博弈论
本文以幽默的方式探讨了婴儿命名的学问。作者提出了一个基于博弈论的模型，假设父母是目光短浅且追求独特性的理性人，以此来解释婴儿命名趋势。文中使用了数学模型、数值实验和大型语言模型分析等方法，并对未来的研究方向进行了展望。
阅读更多DoLa：通过对比层解码提高大型语言模型中的事实性
这篇论文介绍了一种名为DoLa的新解码策略，用于减少预训练大型语言模型中的幻觉现象，即生成偏离预训练中所见事实的内容。DoLa方法通过对比从较后层和较早层投影到词汇空间得到的logits差异来获得下一个标记的分布，它利用了大型语言模型中的事实性知识通常局限于特定Transformer层这一事实。实验结果表明，DoLa能够更好地呈现事实性知识，减少错误事实的产生，并在多个选择题和开放式生成任务中持续提高真实性。
阅读更多