这篇论文探讨了用四个参数拟合大象的问题。受费米对戴森模型的批评以及冯·诺依曼的名言“给我四个参数,我可以拟合一头大象,再加一个参数,我可以让它的鼻子动起来”的启发,该文首先明确了问题的定义,并在前人尝试的基础上,提出了一种新的拟合方法。
本文探讨了自然语言处理中迁移学习的应用,提出了一种将所有基于文本的语言问题转换为文本到文本格式的统一框架。研究比较了不同预训练目标、架构、未标记数据集、迁移方法等因素对数十种语言理解任务的影响。通过结合探索得到的见解、规模和新的“Colossal Clean Crawled Corpus”,文章在总结、问答、文本分类等多个基准测试中取得了最先进的结果。
本文介绍了 WildGaussians,一种能够在复杂环境下进行三维场景重建的新方法。该方法基于三维高斯渲染技术 (3DGS),通过结合强大的 DINO 特征和外观建模模块,有效解决了遮挡和外观变化等问题。实验表明,WildGaussians 在保持 3DGS 实时渲染速度的同时,能够更好地处理野外数据,并在简单架构下超越了 3DGS 和 NeRF 等基准模型。
本文研究了在低延迟代码优化方面的知识差距,特别是针对高频交易(HFT)系统。主要贡献包括创建了低延迟编程库,优化了市场中性统计套利配对交易策略,并在C++中实现了Disruptor模式。该研究提供了实践指南和严格的统计基准测试,交易策略优化显著提高了速度和盈利能力,Disruptor模式相较于传统队列方法也展现出显著的性能提升。
这篇论文探讨了大型语言模型 (LLM) 的推理能力,并将其与几何理解联系起来。研究发现,LLM 中自注意力图的密度与其表达能力之间存在关联,密度越高,表达能力越强。论文通过理论分析和示例证明了这一点,并提供了经验证据,将这一几何框架与增强 LLM 推理能力的最新方法联系起来。
这篇论文介绍了一种在GPU上执行笔画扩展的技术,用于生成表示给定输入路径笔画的轮廓线。该技术采用了一种完全并行的算法,该算法适用于在GPU计算着色器中执行,只需最少的预处理。该方法的输出可以是直线段或圆弧段,两者都非常适合GPU渲染,并且段的数量最少。
文章介绍了一种使用预训练语言模型压缩搜索信息的新方法SLaM压缩,以及基于该方法的搜索模型CoSMo。研究者利用SLaM压缩量化搜索词,创建低维、高效的搜索数据表示,并使用CoSMo仅基于搜索数据准确估算了美国汽车销量和美国流感发病率等现实世界事件。
本文介绍了一个名为Newswire的大规模结构化数据库,该数据库包含了从1878年到1977年间美国270万篇新闻专线文章,文章内容主要来自当地报纸。该数据库通过深度学习管道从大量原始报纸图像扫描中重建,并对文章进行了地理参考、主题标记、命名实体识别和人物消歧等处理,为研究计算语言学、社会科学和数字人文等领域的各种问题提供了宝贵资源。
本文描述了Gerald Edelman在2006年提出的构建意识artifacts路线图。Edelman认为构建这样的artifacts需要经历一系列关键步骤,包括构建能够进行复杂感觉运动控制的机器人、赋予机器人进行自适应行为和学习的能力,以及最终实现类似意识的特性。
大型语言模型在处理长文本输入时,在准确检索信息和保持推理能力方面存在不足。为解决这些限制,研究人员提出了一种利用精心设计的合成数据集进行微调的方法,该数据集包含数字键值检索任务。在 GPT-3.5 Turbo 和 Mistral 7B 等模型上进行的实验表明,在该数据集上微调大型语言模型可以显著提高其在较长上下文环境中的信息检索和推理能力。
本文重新解读了 ELIZA,普遍认为是世界上第一个聊天机器人,由约瑟夫·魏岑鲍姆在 20 世纪 60 年代初编写。魏岑鲍姆并非有意发明聊天机器人,而是想构建一个平台,用于研究人机对话以及解释和误解的重要认知过程。由于 ELIZA 的诞生恰逢其时,以及它意外流传到外界,它的目的被掩盖了。本文提供了 ELIZA 诞生的丰富历史背景,证明了 ELIZA 是人工智能技术史上一些中心线索交汇的产物。
本文探讨了依赖类型的面向对象编程领域,从熟悉的基于数据语言开始,通过系统的反函数化和再函数化,推导出其对偶片段。论文的核心贡献是一个包含两种对偶语言片段的依赖类型演算,并提供这两种语言片段之间的类型和语义保留转换:反函数化和再函数化。
SquirrelFS是一种新的持久内存崩溃安全文件系统,它利用Rust的类型状态模式在编译时强制执行特定的操作顺序。它引入了一种新的崩溃一致性机制,即同步软更新,将崩溃安全性简化为强制执行文件系统元数据更新之间的顺序。SquirrelFS不需要单独的证明,而是将正确性保证纳入类型状态本身,编译仅需几秒钟,成功编译表示崩溃一致性,而错误则提供修复错误的起点。
这篇论文研究了大型语言模型(LLM),如ChatGPT,在学术写作中的使用情况。研究人员分析了2010-2024年间发表在PubMed上的1400万篇摘要,发现自LLM出现以来,某些风格词汇的频率急剧上升。分析表明,2024年至少有10%的摘要使用了LLM进行处理,某些学科、国家和期刊的比例甚至高达30%。这项研究表明,基于LLM的写作助手对科学文献产生了前所未有的影响。