本文从进化角度探讨了人工智能是否能够实现意识，并以人脑的进化及其与意识的关系为参考模型。研究指出，人脑的一些结构和功能特性对于实现人类复杂的意识体验至关重要，而目前的人工智能研究在试图开发具有意识处理能力的系统时，应考虑到这些特性。尽管人工智能在模拟人类意识方面存在内在（结构和架构）和外在（与当前科学技术水平相关）的局限性，但从人脑中汲取灵感，研究那些使意识处理成为可能或调节意识处理的特性，可能是一个有希望的策略。
阅读更多
这篇论文探讨了人工智能(AI)的进化及其对通用人工智能(AGI)的影响。文章首先定义了AGI，并将其与当前的AI区分开来，强调了AGI在执行各种现实世界任务方面的效率和效能，可与人类智能相媲美。论文进一步探讨了实现AGI所需的能力框架，包括内部、接口和系统层面。此外，文章还讨论了必要的AGI校准技术，以协调更先进的功能和严格的约束条件，强调负责任地开发AGI的重要性。最后，论文概述了AGI在多个领域的现有挑战和潜在途径，旨在促进对AGI现状和未来发展方向的共同理解。
阅读更多
低秩自适应 (LoRA) 是一种广泛使用的参数高效微调方法，用于大型语言模型。LoRA 通过仅训练对选定权重矩阵的低秩扰动来节省内存。 本文比较了 LoRA 和完整微调在编程和数学两个目标域上的性能，考虑了指令微调（约 100K 提示-响应对）和持续预训练（约 10B 非结构化标记）数据机制。 结果表明，在大多数情况下，LoRA 的性能明显低于完整微调。 然而，LoRA 表现出一种理想的正则化形式：它可以更好地保持基础模型在目标域之外的任务上的性能。 LoRA 与权重衰减和 dropout 等常用技术相比，提供了更强的正则化；它还有助于保持更多样化的生成。 完整微调学习到的扰动秩比典型的 LoRA 配置高 10-100 倍，这可能解释了一些报告的差距。
阅读更多
这篇论文介绍了Sakuga-42M数据集，这是一个包含4200万个关键帧的大规模卡通动画数据集，涵盖了各种艺术风格、地区和年代，并包含了视频文本描述对、动画标签、内容分类等语义注释。研究表明，大型数据集对理解和生成自然视频的模型（如CLIP、SVD和Sora）在卡通动画方面效果不佳，这是因为卡通动画的偏差与自然视频的分布不同。Sakuga-42M数据集的提出旨在将大规模数据应用于卡通研究，并通过微调Video CLIP、Video Mamba和SVD等基础模型，在卡通相关任务上取得出色性能，从而促进未来卡通应用的泛化和鲁棒性。
阅读更多
本文调查了经历过GDPR实施的员工如何看待其实施所需的成本和努力。研究发现，参与者在被提示时能够认识到自己的权利，但对监管机构知之甚少。他们观察到工作场所数据实践的具体变化，并认可其中的权衡。他们感到欣慰的是，他们的个人数据与其雇主的客户数据一样受到谨慎处理。执行GDPR的人认为这对他们的公司和隐私都是积极的，并且不是一项毫无意义的官僚主义法规。这与关于监管的传统负面说法相矛盾。
阅读更多
本文介绍了一种名为分层记忆Transformer（HMT）的新型框架，该框架通过模仿人类记忆行为来增强模型的长期文本处理能力。HMT利用记忆增强的段级递归，通过保留来自早期输入标记段的标记、沿着序列传递记忆嵌入以及从历史中回忆相关信息来组织记忆层次结构。在通用语言建模和问答任务上的评估表明，HMT 稳步提高了上下文受限模型和长文本模型的长期文本处理能力。
阅读更多
本文提出了一种名为“特殊字符攻击”(SCA) 的新型攻击方法，旨在从大型语言模型(LLMs)中提取训练数据。研究发现，LLMs 容易记住训练数据，而某些特殊字符或其与英文字母的组合可以作为更强的记忆触发器，导致数据泄露。SCA 利用 LLM 训练数据中大量存在的特殊字符（如 JSON 文件的结构符号、电子邮件和在线帖子中的 @、# 等），通过诱导模型回忆这些特殊字符与原始文本之间的共现关系，从而泄露训练数据。实验结果表明，SCA 攻击效果显著，可以泄露代码库、网页、个人身份信息等各种训练数据，甚至导致模型生成不停顿的输出。
阅读更多
MOMENT是一系列开源基础模型，用于通用时间序列分析。该模型解决了大型时间序列数据预训练的挑战，包括缺乏大型公共时间序列库、不同时间序列特征导致多数据集训练困难，以及缺乏评估这些模型的实验基准。为了解决这些问题，研究人员编译了一个大型且多样化的公共时间序列集合，称为时间序列Pile，并系统地解决了时间序列特有的挑战，以实现大规模多数据集预训练。此外，他们还设计了一个基准，用于在有限监督设置下评估不同任务和数据集上的时间序列基础模型。实验结果证明了预训练模型在最少数据和特定任务微调下的有效性。
阅读更多
本文探讨了将抽象解释作为一种编程语言的可能性。作者认为，高阶严格性分析的结果可以更广泛地用作格上高阶函数的不动点算子，从而为一大类抽象解释的直接实现提供了一种技术。此外，它可以被看作一种编程范式，并用于以循环风格编写程序。
阅读更多
本文评估了类地系外行星上硅制太阳能电池板作为一种潜在技术特征的可探测性。硅基光伏电池在紫外-可见光和近红外范围内具有高反射率，这属于像宜居世界天文台（HWO）这样的太空旗舰任务概念的波长范围。假设仅使用太阳能来提供2022年人类的能源需求，土地覆盖率约为2.4%，并根据各种增长率情景预测未来的能源需求，我们用一个8米HWO式望远镜评估了可探测性。假设是最有利的观测方向，并专注于紫外-可见光（0.34 - 0.52 微米）中的强吸收边缘，我们发现即使太阳能电池板覆盖了未来地球约23%的土地覆盖面积，也需要数百小时的观测时间才能在10秒差距处围绕类太阳恒星运行的类地行星上达到5的信噪比。
阅读更多
这篇论文介绍了ZenDB，一个用于分析文档集合的系统。ZenDB利用大型语言模型和文档的语义结构来回答SQL查询。它可以高效地从模板化文档中提取语义层次结构，并使用一种新的查询引擎来利用这些结构进行准确且经济高效的查询执行。实验结果表明，与基于LLM的基线相比，ZenDB可以节省高达30%的成本，同时保持或提高准确性，并且在精度和召回率方面分别超过基于RAG的基线高达61%和80%。
阅读更多
本文介绍了一种自动检测大型语言模型(LLM)中未经充分训练的词例的方法。研究人员发现，词例生成和模型训练之间的脱节会导致某些输入（如SolidGoldMagikarp词例）引发意外行为。通过结合词例分析、基于模型权重的指标和提示技术，他们开发了有效的方法来自动检测这些有问题的词例。
阅读更多
这篇文章介绍了一种名为层次相关性重构（HCR）的生物启发式神经元模型，该模型允许多向神经网络的构建。与传统的单向值传播的人工神经网络不同，HCR神经元可以对整个联合分布进行建模，包括高阶矩。这种模型采用多项式基函数参数化联合分布，允许灵活且低成本的处理，包括非线性、直接模型估计和更新，并可通过标准反向传播或新的方法进行训练。
阅读更多
微调后的大型语言模型在遇到从未接受过预训练的事实信息时，可能会出现虚构事实性错误响应的行为。在本文中，我们研究了暴露于新知识对微调模型利用其已有知识能力的影响。为此，我们设计了一个受控设置，专注于闭卷问答，其中我们改变了引入新知识的微调示例的比例。我们证明，大型语言模型难以通过微调获取新的事实知识，因为引入新知识的微调示例的学习速度明显低于与模型知识一致的示例。然而，我们还发现，随着包含新知识的示例最终被学习，它们会线性增加模型产生幻觉的倾向。综上所述，我们的研究结果强调了通过微调引入新事实知识的风险，并支持了大型语言模型主要通过预训练获取事实知识的观点，而微调教会了它们更有效地利用这些知识。
阅读更多
本文提出了一种基于贝叶斯优化和强化学习相结合的新型超参数协同进化算法，用于优化量子模拟电路上的变分量子算法（VQAs）。该算法利用贝叶斯优化探索超参数空间，并利用强化学习评估不同超参数组合的质量，指导后续的搜索过程。实验结果表明，该算法在优化不同目标函数下的VQAs时，与现有技术相比具有显着优势，它可以有效地提高VQAs的性能。该算法的 opensource 实现将在 https://github.com/ZhengrongYuan/CoevoVE 上发布。
阅读更多
VMTEX是一个新的图像生成模型，它结合了变分自编码器的强大建模能力和连续时间动力学建模的优势。VMTEX 使用连续时间扩散过程来近似图像生成中的后验分布，并使用变分推理对其进行训练。VMTEX 在视觉保真度、fid 和 is 等图像生成质量指标上优于先前模型，同时还能够从文本提示生成图像。
阅读更多
本文介绍了 CookingSense，这是一个从网络数据、科学论文和食谱等各种来源提取的烹饪领域知识断言的描述性集合，从中获得了涵盖广泛方面的知识。CookingSense 通过一系列基于字典的过滤和基于语言模型的语义过滤技术构建，从而形成了一个丰富的多学科食品相关断言知识库。此外，我们还提出了 FoodBench，这是一个用于评估烹饪决策支持系统的新颖基准。通过 FoodBench 的评估，我们凭经验证明 CookingSense 提高了检索增强语言模型的性能。我们还通过定性分析验证了 CookingSense 中断言的质量和多样性。
阅读更多
本文介绍了如何利用 AMD Instinct™ MI300A 的统一内存和 OpenMP 5.2 标准将高性能计算 (HPC) 应用程序移植到该平台。文章重点介绍了统一内存架构的优势，包括简化数据管理、提升开发效率以及与 OpenMP 的良好兼容性。文章以 OpenFOAM 软件为例，展示了如何利用 OpenMP 指令轻松地将完整应用程序卸载到 MI300A APU 上。
阅读更多
该文章介绍了一种名为“矩阵”的贝叶斯学习模型，用于理解大型语言模型的行为。该模型基于预测下一个词元的基本原理，通过构建一个由多项式转移概率矩阵表示的理想生成文本模型，并研究大型语言模型如何逼近这个矩阵。文章还探讨了嵌入与多项式分布之间映射的连续性，并提出了狄利克雷逼近定理来逼近任何先验。此外，文章还证明了大型语言模型的文本生成与贝叶斯学习原理相一致，并深入研究了对上下文学习的影响，特别是解释了为什么上下文学习出现在更大的模型中，其中提示被视为要更新的样本。
阅读更多
大型语言模型 (LLM) 在处理结构化数据方面能力不足，例如，ChatGPT 在结构化知识基础 (SKG) 方面的表现落后于最先进 (SoTA) 模型平均 35%。为了增强 LLM 的 SKG 能力，研究人员开发了一个包含 110 万个示例的指令调整数据集，并基于 Mistral 和 CodeLlama 模型系列训练了一系列名为 StructLM 的模型，参数范围从 70 亿到 340 亿不等。StructLM 系列在 18 个评估数据集中有 16 个超过了特定任务模型，并在 8 个 SKG 任务上建立了新的 SoTA 性能。
阅读更多
本研究提出了一种新的基于 Transformer 的图像生成模型，称为 3D 隐式 Transformer 图像生成（3D-ITR）。3D-ITR 采用 Transformer 架构，将图像表示为三维隐式表示，这使得它能够捕获图像的形 状、纹理和语义信息。此外，3D-ITR 使用 Patch Transformer 编码器来提取图像的局部特征，并使用自注意力机制融合图像的不同部分的信息。在各种图像生成任务上的实验表明，3D-ITR 在图像质量、多模态和多样性方面优于现有的方法。
阅读更多
大型语言模型 (LLM) 的快速发展已经超过了我们准确评估其质量的能力。为了解决这个问题，许多评估现在依赖于使用 LLM 本身作为评判者来对其他 LLM 输出的质量进行评分，通常使用像 GPT4 这样的大型模型。然而，这种方法成本高昂，并且已被证明会引入模型内偏差。本文提出了一种使用 LLM 评估者小组 (PoLL) 来评估模型的方法。研究发现，使用由大量较小模型组成的 PoLL 比使用单个大型评判者表现更好，由于其由不相交的模型家族组成，因此表现出更少的模型内偏差，而且成本降低了七倍多。
阅读更多
这篇论文介绍了 RAGCache，一种专为检索增强生成（RAG）量身定制的多级动态缓存系统。RAGCache 旨在解决 RAG 系统中因知识注入导致的长序列生成问题，从而降低计算和内存成本。该系统通过在知识树中组织检索到的知识的中间状态，并将它们缓存到 GPU 和主机内存层次结构中来实现这一点。RAGCache 提出了一种替代策略，它了解 LLM 推理特征和 RAG 检索模式，并动态重叠检索和推理步骤，以最大程度地减少端到端延迟。实验结果表明，与 vLLM 集成 Faiss 相比，RAGCache 将首个令牌时间 (TTFT) 缩短了 4 倍，并将吞吐量提高了 2.1 倍。
阅读更多