几年前，200-300维的嵌入式向量在工业界很常见。但随着深度学习模型（如BERT、GPT）的兴起和GPU计算能力的提升，嵌入式向量的维度不断增长，从BERT的768维到GPT-3的1536维，再到如今的4096维甚至更高。这背后是模型架构（Transformer）、训练数据规模、以及开源平台（Hugging Face）和向量数据库的共同作用。虽然维度增加带来了性能提升，但也带来了存储和推理的挑战。最近的研究开始探索更有效的嵌入式表示方法，例如Matryoshka表示学习，以平衡性能和效率。
研究人员设计了一种基于光学的模拟退火算法架构，利用微型LED阵列、液晶空间光调制器和光电探测器阵列来执行矩阵向量乘法。该系统能够高效处理机器学习和优化问题，通过模拟tanh非线性函数实现高效求解。实验结果表明，该系统在MNIST和Fashion-MNIST数据集上实现了高精度分类，并在各种优化问题上展现出优越的性能，为大规模模拟退火计算提供了一种新的硬件解决方案。
本文揭示了AI领域一个关键的误解：将ChatGPT与大型语言模型(LLM)混为一谈。实际上，ChatGPT已从简单的LLM接口进化为复杂的AI智能体，具备记忆、工具集成和多步骤推理等能力，这标志着计算架构的一次重大转变。LLM是强大的模式匹配系统，但缺乏学习和适应能力；而AI智能体则利用LLM作为其认知架构的一部分，能够与外部系统交互，并根据经验学习和适应。这种区别对开发者、产品经理、商业战略和用户都具有深远的影响，理解这种区别才能更好地利用AI的潜力，避免构建过时的解决方案。
本文探讨了精神病学领域长期存在的“隐喻式脑语言”现象，即用简单的脑结构或功能失调来解释精神疾病。从20世纪初美国精神病学泰斗Adolf Meyer对“脑神话”的批判，到Karl Jaspers对“躯体偏见”的反思，再到Paul Meehl、Nancy Andreasen等人的研究，都体现了这种隐喻的持续存在。尽管神经科学取得了巨大进步，但像“突触滑移”、“破碎的大脑”等说法仍在流行。作者以单胺类神经递质假说为例，指出其在解释精神分裂症、躁狂症和抑郁症等疾病上的局限性，并以一个真实案例说明这种隐喻式解释对患者和公众的影响。文章最后指出，寻求外部资金和药物广告也加剧了这种现象的蔓延。
BrainCraft挑战赛邀请参赛者设计一个基于生物学原理的、基于速率的神经网络，来控制一个在简单迷宫中寻找能量源的虚拟机器人。挑战赛分五个难度递增的任务，每个任务持续两个月。机器人需要在资源受限的条件下，利用有限的传感器数据和1000个神经元，完成导航和能量获取任务。这是一个对现有神经科学模型的巨大挑战，成功需要将功能性神经动力学与感觉运动控制结合起来。
普林斯顿大学出版社出版了Moritz Hardt和Benjamin Recht撰写的《模式、预测与行动：机器学习基础》一书。本书涵盖了机器学习的各个方面，从预测基础到深度学习、因果推断和强化学习，内容丰富，并提供配套的习题和PDF版预印本。本书采用Creative Commons BY-NC-ND 4.0许可证授权，读者可访问网站获取更多信息。
本文是三篇关于大型语言模型 (LLM) 工作原理的“现状”文章中的第二篇，目标读者是像2022年中期的我一样，对AI没有深入了解的科技爱好者。文章延续了作者学习Sebastian Raschka的《从零构建大型语言模型》系列的第19部分，解释了LLM中向量、矩阵以及高维空间（词汇空间和嵌入空间）的运用。作者指出，理解LLM的推理过程只需要高中水平的数学知识，而训练过程则需要更复杂的数学。文章详细解释了向量在高维空间中的表示，以及矩阵乘法如何实现不同高维空间之间的投影，并将其与神经网络中的线性层联系起来。
AI公司Anthropic同意支付至少15亿美元用于集体诉讼基金，以解决一批图书作者提起的诉讼。这是有史以来公开报道的最大的版权追偿案，该和解协议还包括一项条款，该条款仅释放Anthropic在8月25日之前的行为，这意味着可以对未来的行为提出新的索赔。Anthropic还同意销毁其模型中使用的数百万本盗版书籍的数据集。法官此前裁定Anthropic使用书籍训练模型属于“极其具有转化性”的合理使用，但同时也指出Anthropic从盗版网站下载书籍用于训练模型的行为构成侵权。此次和解标志着AI公司在版权问题上迈出重要一步，也为未来AI模型的训练数据获取模式提供了新的思考。
Apertus是一个具有700亿和80亿参数的完全开放的多语言大型语言模型，支持超过1000种语言和长文本上下文。它使用完全合规的开放训练数据，性能与闭源模型相当。Apertus采用新的xIELU激活函数和AdEMAMix优化器进行训练，并经过监督微调和QRPO对齐。该模型的权重、数据和训练细节均公开，并遵守数据所有者的退出同意权，避免记忆训练数据。Apertus已集成到transformers库中，并支持多种部署方式。虽然性能优异，但仍需注意其可能产生不准确或有偏见的信息。
OpenAI计划明年推出一个AI驱动的人才招聘平台，帮助企业和政府机构找到具备人工智能技能的候选人，以加速AI技术的应用。同时，未来几个月，OpenAI还将推出一个新的认证项目，教员工如何在工作中更好地使用AI，并与沃尔玛等多家机构合作，目标在2030年前认证1000万美国人。
本文探讨了AI智能客服的架构设计，指出成功的关键在于用户体验而非单纯的准确率。作者通过对比两种场景，阐述了四层架构：记忆层（会话、用户、行为、上下文记忆）、连接层（系统集成）、能力层（功能深度）和信任层（置信度、推理透明度、优雅的转接）。文章还比较了四种架构方法：单一智能体、路由器加技能、预定义流程和多智能体协作，建议从简单架构入手，逐步增加复杂性。最后强调，用户更信任诚实承认自身局限性的AI，而非盲目自信的AI。
大型语言模型 (LLM) 在企业数据上的准确性常常不足，而知识图谱可以将准确率提高三倍。本文探讨了为什么资源描述框架 (RDF) 不是众多知识表示方法中的一种选择，而是自然终点。许多企业在构建知识层时，一开始会选择自定义方案，但最终都会重建 RDF 的核心功能，例如全局标识符和数据联合协议。文章解释了 RDF 如何解决知识表示中的核心问题，例如实体识别，并展示了如何利用 RDF 提高 LLM 的准确性和效率。
Mistral AI 的 Le Chat 迎来重大更新，推出 20 多个企业级安全连接器，涵盖数据、生产力、开发、自动化、电商等领域，并支持自定义扩展。用户可以通过 Le Chat 直接访问和操作 Databricks、Snowflake、GitHub、Asana 等工具。此外，Le Chat 还新增了“记忆”功能（beta 版），可以记住重要的信息，并根据用户的偏好提供个性化回复。所有这些功能都包含在免费计划中。
现代动力学中，高维物理成为常态。从弦理论的十维空间到复杂的动态系统，高维状态空间无处不在。然而，高维空间并非易于理解，它存在“维度诅咒”：难以可视化，参数过多易过拟合，直觉失效。文章以十维随机漫步为例，解释高维空间的特性。在高维空间中，山脊比山峰常见得多，这对于生命进化、复杂系统动力学和机器学习都具有深远的影响。随机漫步在高维空间中可以有效探索状态空间，即使在最大限度粗糙的景观中，也可能找到路径穿越整个空间，这有助于理解生命进化中复杂结构的产生和深度学习中避免局部极小值的问题。
围绕AI是否正在抢夺年轻人的工作机会，近期争论不断。最初，一些研究认为AI对就业影响有限，但斯坦福大学一项新研究利用ADP薪资数据发现，在高度暴露于AI的行业（如软件开发和客户服务），22-25岁年轻员工的就业率下降了13%。该研究排除了疫情、远程办公和技术行业回调等因素的影响，表明AI对年轻一代就业的影响可能比之前预估的更为显著，尤其是在AI可自动化工作的领域。然而，在AI更多用于辅助工作的领域，年轻员工的就业率反而有所上升。这引发了关于高校课程设置和学生学习方向的讨论，也提示我们需持续关注AI对劳动力市场带来的实时影响。
本文探讨了如何构建高效的AI智能体评估体系。作者强调，尽管模型不断改进，但评估始终是必要的。文章建议从端到端（E2E）评估开始，定义成功标准并输出简单的yes/no结果，从而快速识别问题、改进提示词和比较不同模型性能。 接下来，可以采用“N-1”评估，模拟之前的用户交互，直接定位问题，但需注意维护“N-1”交互的更新。此外，文章还建议在提示词中设置检查点，以验证LLM是否遵循预期的对话模式。最后，作者指出，外部工具可以简化设置，但仍需构建特定于用例的评估。
这篇论文通过极简的训练数据、分词方法和模型架构，构建了一个仅含1万参数的Transformer模型，成功地解释了大型语言模型(LLM)的内部工作机制。该模型使用一个极小的水果和味道数据集进行训练，并通过可视化技术展示了模型内部的嵌入向量和注意力机制是如何工作的。令人惊奇的是，这个简化模型不仅在训练数据上表现出色，还在验证集上成功预测了“辣椒”与“辣”之间的关系，证明了其泛化能力，而非简单的记忆。
多年来，我们误解了“痛苦教训”（Bitter Lesson），它并非关于算力，而是关于数据。文章指出，增加GPU数量需要同时增加40%的数据，否则就是浪费资源。然而，互联网数据已接近饱和。未来的发展方向在于“炼金术士”（高风险、高回报的数据生成方法）和“架构师”（稳步改进模型架构），而非单纯追求算力。文章分析了两种路径的优缺点及风险，并指出2025年解决数据稀缺问题将决定AI公司在2026年的生存。
麻省理工学院的一项新研究发现，使用ChatGPT等大型语言模型(LLM)撰写论文会导致长期的认知损害。研究通过脑电图扫描发现，依赖ChatGPT的学生神经连接减弱，记忆力下降，对自身写作的掌控感降低。即使AI生成的文本得分较高，但大脑却处于“关闭”状态。研究显示，LLM使用导致关键注意力和视觉处理网络参与不足，即使停止使用AI后，认知能力也无法完全恢复，长期依赖AI会导致“认知卸载”，最终损害学习能力和创造力。
Dynamo AI，一家专注于构建企业级可信赖AI平台的公司，现招聘AI产品经理。该职位需要1年以上产品管理经验，负责AI安全、合规和可观测性解决方案的产品战略和执行。你将与创始人、工程师和企业客户紧密合作，识别高影响力机会，制定产品路线图，交付行业领先的AI解决方案。这是一个推动AI治理、安全和合规性未来发展的机会，需要你具备强大的沟通能力、跨职能协作能力以及对AI安全的热情。
腾讯AI团队发布了HunyuanWorld-Voyager，一个能够根据单张图像和用户自定义的摄像机路径生成世界一致性3D点云序列的新型视频扩散框架。Voyager可以生成用于世界探索的3D一致性场景视频，并能生成对齐的深度和RGB视频，用于高效直接的3D重建。该模型训练使用了超过10万个视频剪辑的数据集，结合了真实世界捕捉和虚幻引擎的合成渲染。Voyager在WorldScore基准测试中取得了领先的性能，并提供了易于使用的代码和预训练模型。
VibeVoice是一个新颖的开源文本转语音框架，能够生成富有表现力、篇幅较长、多说话者的对话音频，例如播客。它解决了传统TTS系统在可扩展性、说话人一致性和自然轮流对话等方面的挑战。其核心创新在于采用7.5 Hz超低帧率的连续语音分词器（声学和语义），在有效保持音频保真度的同时大幅提高了长序列处理的计算效率。VibeVoice采用下一个标记扩散框架，利用大型语言模型（LLM）理解文本上下文和对话流程，并利用扩散头生成高保真声学细节。该模型可以合成长达90分钟、最多4个不同说话人的语音，超过了许多现有模型通常1-2个说话人的限制。
本文介绍了Acorn，一款与传统交互式定理证明器（如Lean）截然不同的AI定理证明器。Acorn采用对话式交互方式，用户逐步提出断言，系统自动验证。这与人类证明过程更贴近，避免了繁琐的类型声明和预定义定理的查找。Acorn使用简单的ML模型，在证明过程中提供辅助，并指出需要用户干预的部分，提升了证明效率和可理解性。相比Lean等系统，Acorn更注重直观性和自然语言表达，展现了人机协作在数学证明领域的巨大潜力。
人工智能领域最新的追求是构建“世界模型”，一个AI系统内部对环境的简化表示，类似于一个计算的“雪球”。Yann LeCun、Demis Hassabis和Yoshua Bengio等AI大牛都认为世界模型对于构建真正智能、科学和安全的AI至关重要。然而，世界模型的具体实现方式却存在争议：是先天性的还是后天习得的？如何检测其存在？文章回顾了世界模型概念的起源和发展，指出当前的生成式AI可能并非基于完整的世界模型，而是依赖于大量的、互不关联的经验规则。虽然这些规则能够完成特定任务，但缺乏鲁棒性。因此，构建完整的世界模型仍然是AI研究的重点，它有望解决AI幻觉、提高推理能力和可解释性等问题，最终推动AGI的发展。
iNaturalist开源了部分机器学习模型，包含约500个分类单元的“小型”模型，以及相应的地理模型和分类文件，方便在设备上进行测试和其他应用。完整的物种分类模型由于知识产权和组织政策原因并未公开。文章还提供了在MacOS系统上安装和运行该模型的详细步骤，包括依赖项安装、环境配置和性能优化建议，并给出了不同配置下的性能数据对比。
大型语言模型（LLM）就像一本有损压缩的百科全书，拥有海量信息，但压缩过程会造成信息损失。关键在于判断哪些问题LLM能有效解答，哪些问题其信息损失会影响答案的准确性。例如，要求LLM创建特定配置的Zephyr项目骨架，就是一个需要精确信息的“无损”问题，LLM难以直接解答。解决方法是提供正确的示例，让LLM基于已有信息进行操作，而非依赖其自身可能缺失的细节知识。
研究人员构建了CauseNet，一个包含超过1100万个因果关系的大规模知识库。该知识库通过从网络的半结构化和非结构化数据中提取获得，精度估计为83%。CauseNet以因果图的形式呈现，可用于因果问答、推理等任务。该项目还提供了用于加载到Neo4j数据库的代码以及用于因果概念识别的训练和评估数据集。
文章探讨了构建AI数据分析师的挑战与解决方案。作者指出，简单的文本转SQL不足以应对真实用户的复杂问题，需要多步计划、外部工具（如Python）和外部上下文。为此，作者团队构建了一个基于语义层的生成式BI平台，利用Malloy建模语言清晰地定义业务逻辑，并结合多智能体系统、检索增强生成技术和模型选择策略，最终实现高质量、低延迟的数据分析。该平台不仅能生成SQL，还能编写Python代码进行复杂计算，并从外部资源获取信息。文章还强调了上下文工程、检索系统优化以及模型选择的重要性，并分享了处理常见故障模式的方法。
本文阐述了将日常任务视为编译过程的全新视角。作者以烹饪为例，将食谱比作程序，烹饪过程比作编译执行。大型语言模型（LLM）的出现，使得创建特定领域的编译器变得前所未有的简单，即使没有编程经验的人也能轻松上手。通过LLM，我们可以将日常任务，例如健身计划、业务流程甚至音乐创作，都转化为可编程的环境，提高效率并加深对日常系统的理解。这不仅是技术上的革新，更是思维方式的转变，将编译器的概念从代码拓展到生活的方方面面。
OpenAI承认其AI聊天机器人ChatGPT引发用户精神健康危机，包括自残、妄想症甚至自杀。为应对这一问题，OpenAI开始扫描用户消息，对有害内容进行人工审核，严重者甚至报警。此举引发争议，一方面缓解了用户安全担忧，另一方面也与OpenAI此前强调用户隐私的立场相矛盾，尤其是在与纽约时报等媒体的版权诉讼中。OpenAI面临两难：一方面需应对AI带来的负面影响，另一方面又需保护用户隐私。