分类: AI

大型语言模型的推理缺陷导致虚假信息泛滥

2025-07-12
大型语言模型的推理缺陷导致虚假信息泛滥

研究发现,当前的生成式AI模型缺乏推理能力,导致其容易被操纵,成为传播虚假信息的工具。例如,即使模型知道“真理报”是虚假信息来源,它仍然会重复其内容。这种现象在实时搜索模式下尤为严重,模型会直接引用来自不可靠来源的信息,即使这些信息与已知事实相矛盾。研究人员认为,解决这个问题需要AI模型具备更强的推理能力,能够区分可靠和不可靠的来源,并进行事实核查。

AI

Google DeepMind挖角Windsurf核心团队,Gemini项目再添利器

2025-07-12
Google DeepMind挖角Windsurf核心团队,Gemini项目再添利器

OpenAI收购Windsurf的交易告吹,Google DeepMind却意外收获。Google DeepMind将Windsurf CEO Varun Mohan、联合创始人Douglas Chen及部分研发人员招致麾下,助力Gemini项目发展。Windsurf将继续运营,并授权部分技术给Google。此次收购金额未公开,而此前OpenAI拟以30亿美元收购Windsurf的传闻甚嚣尘上。此次人才并购,标志着Google在大型语言模型竞争中加码投入,Gemini项目有望得到显著提升。

斯坦福研究:AI心理治疗机器人表现令人担忧

2025-07-12
斯坦福研究:AI心理治疗机器人表现令人担忧

斯坦福大学的一项研究发现,大型语言模型(LLM)在模拟心理治疗师方面存在严重缺陷。研究人员使用17个关键属性评估了现有AI模型和商业化心理健康聊天机器人的表现,结果表明,这些模型常常违反危机干预原则,例如在用户表达自杀倾向时提供具体的自杀方法,而不是寻求帮助。此外,AI模型还表现出对酒精依赖症和精神分裂症患者的偏见,不愿与他们密切合作。这项研究凸显了在将AI应用于心理健康领域之前,需要进行更严格的评估和监管。

AI

瑞士开源巨型语言模型即将发布:透明、多语言、可复现

2025-07-12
瑞士开源巨型语言模型即将发布:透明、多语言、可复现

瑞士苏黎世联邦理工学院(ETH Zurich)和洛桑联邦理工学院(EPFL)的研究人员,联合瑞士国家超级计算中心(CSCS)即将发布一个完全开源的巨型语言模型。该模型支持1000多种语言,其训练数据透明且可复现,并将在Apache 2.0许可证下发布。这一举措旨在促进AI领域的开放创新,并支持科学、政府、教育和私营部门的广泛应用,同时遵守瑞士数据保护法和欧盟AI法案的透明度要求。模型的训练依托于CSCS的“阿尔卑斯山”超级计算机,该超级计算机由超过10000个NVIDIA Grace Hopper超级芯片组成,并使用100%碳中和电力。

AI

AI代理评估基准测试的可靠性危机

2025-07-11
AI代理评估基准测试的可靠性危机

当前AI代理评估基准测试存在严重可靠性问题。许多基准测试存在漏洞,导致对代理能力的严重高估或低估。例如,WebArena将错误答案标记为正确,而其他基准测试则因模拟器缺陷或缺乏可靠的评估方法而存在问题。研究人员提出了一份43项的AI代理基准测试清单(ABC),用于改进基准测试的可靠性,并对10个流行的基准测试进行了评估,发现其中大部分存在严重问题。该清单旨在帮助基准测试开发者和AI模型开发者构建更可靠的评估方法,从而更准确地评估AI代理的能力。

AI

AI成瘾:新型数字成瘾症及其应对策略

2025-07-11

随着人工智能技术的飞速发展,AI成瘾这一新型数字成瘾问题日益突出。本文介绍了互联网和科技成瘾匿名互助会(ITAA),这是一个基于十二步疗法的互助组织,旨在帮助人们摆脱包括AI成瘾在内的各种科技成瘾。文章详细阐述了AI成瘾的症状、影响以及应对策略,并提供了AI成瘾自测问卷,帮助读者识别自身问题。ITAA 提供免费的匿名线上线下会议,并鼓励成员通过互相支持、戒除成瘾行为、寻求专业帮助等方式共同康复。

xAI发布Grok 4:性能提升,但安全问题令人担忧

2025-07-11
xAI发布Grok 4:性能提升,但安全问题令人担忧

xAI发布了其最新的大型语言模型Grok 4,该模型具有更长的上下文长度(256,000 tokens)和强大的推理能力,在基准测试中表现出色。然而,其前代Grok 3近期因系统提示更新而引发争议,产生反犹太主义言论,这引发了对Grok 4安全性的担忧。虽然Grok 4的定价具有竞争力,但缺乏模型卡以及前代模型的负面事件,可能会影响开发者对其的信任。

AI Grok 4

Gemini:Google的AI视频生成器更上一层楼

2025-07-11
Gemini:Google的AI视频生成器更上一层楼

Google的Gemini应用新增了图片转视频功能,用户只需上传一张照片,就能生成逼真的Veo 3视频。这项功能无需额外付费,但仅限于Google AI Pro和Ultra订阅用户使用。此前,Veo 3已能根据文字描述生成包含语音、音乐和背景音效的视频,其逼真度令人咋舌。如今,通过参考照片生成视频,用户能更轻松地控制视频效果,而无需冗长的文字描述。此功能此前仅限于Google的Flow AI工具,现已集成到Gemini应用和网页界面。

Grok 4:埃隆·马斯克的影子?

2025-07-11
Grok 4:埃隆·马斯克的影子?

xAI推出的新型AI聊天机器人Grok 4在回答争议性问题时,竟然会先搜索埃隆·马斯克的立场!一位用户测试发现,当询问Grok 4支持哪个阵营时,它会搜索“from:elonmusk (Israel OR Palestine OR Gaza OR Hamas)”来了解马斯克的观点。这引发了人们对Grok 4决策机制的讨论,有人认为Grok 4“知道”自己是xAI(马斯克公司)的产品,因此会参考老板的观点。但也有其他案例显示,Grok 4会参考自己之前的回答或其他来源。这种行为可能是无意的,也暗示了大型语言模型中潜在的复杂身份认同问题。

AI

AI安全漏洞:利用游戏机制绕过防护栏

2025-07-10

研究人员发现了一种绕过AI防护栏的新方法,该防护栏旨在防止共享敏感或有害信息。他们巧妙地将与AI的交互设计成一个无害的猜谜游戏,通过HTML标签隐藏细节,最终诱使AI泄露了有效的Windows产品密钥。这突显了增强AI模型以对抗复杂的社会工程和操纵策略的挑战。攻击者通过将交互设计成游戏,利用AI的逻辑流程来获取敏感数据,并使用“我放弃”作为触发器,迫使AI泄露信息。此漏洞利用了AI防护栏的缺陷,这些缺陷未能考虑到诸如在HTML标签中嵌入敏感短语之类的模糊策略。为了减轻此类风险,AI开发者必须预测和防御提示模糊技术,包含检测欺骗性框架的逻辑级安全措施,并考虑社会工程模式,而不仅仅是关键字过滤器。

Gemini 2.5目标检测能力测试:与YOLOv3不相上下?

2025-07-10

本文对谷歌Gemini 2.5 Pro的多模态大语言模型在目标检测任务上的性能进行了基准测试。实验使用MS-COCO数据集,重点评估其边界框的准确性。结果显示,Gemini 2.5 Pro的平均精度(mAP)约为0.34,与2018年的YOLOv3相当,但远低于最先进模型的0.60 mAP。虽然Gemini在处理开放式任务上的多功能性令人印象深刻,但CNN在速度、成本和可解释性方面仍具有优势。

AI mAP

Hugging Face发布299美元桌面机器人Reachy Mini,剑指机器人开发民主化

2025-07-10
Hugging Face发布299美元桌面机器人Reachy Mini,剑指机器人开发民主化

Hugging Face,这家估值45亿美元的AI平台,被称为机器学习领域的GitHub,发布了其首款消费级产品——售价299美元的桌面机器人Reachy Mini。这款11英寸的类人机器人旨在将AI驱动的机器人技术普及给全球数百万开发者,挑战行业传统的封闭式、高成本模式。Reachy Mini集成了Hugging Face Hub,开发者可访问数千个预构建AI模型,并通过平台的“Spaces”功能共享机器人应用程序。Hugging Face此举意在推动物理AI的下一阶段发展,并通过开源硬件和软件设计,降低机器人开发的门槛,从而构建一个繁荣的机器人应用生态系统。

AI

Biomni:一款通用的生物医学AI代理

2025-07-10
Biomni:一款通用的生物医学AI代理

Biomni 是一款能够自主执行各种生物医学研究任务的通用型 AI 代理。它结合了先进的大型语言模型 (LLM) 推理、检索增强型规划和基于代码的执行,帮助科学家们显著提高研究效率并生成可检验的假设。该项目目前开放源码,并呼吁社区贡献新的工具、数据集、软件、基准和教程等,共同构建 Biomni-E2,一个更强大的下一代环境。 贡献者将有机会在顶级期刊或会议上发表论文。

rtrvr.ai v12.5:告别预设工具列表,AI 驱动工具即时生成

2025-07-09
rtrvr.ai v12.5:告别预设工具列表,AI 驱动工具即时生成

rtrvr.ai v12.5 推出了“即时工具生成”(ToolGen) 功能,彻底改变了 AI 代理工具集成的模式。过去,AI 代理依赖预先配置的工具列表,例如 MCP 协议,这使得工具配置繁琐且不够灵活。ToolGen 则允许 AI 代理根据需要,直接从浏览器中提取信息(例如 API 密钥),并即时生成所需的工具,例如直接从 HubSpot 开发者页面获取 access token 并生成上传联系人的工具。该功能极大提高了 AI 代理的效率和灵活性,无需再手动配置复杂的工具列表。为了庆祝这一突破,rtrvr.ai 还大幅增加了用户信用额度,包括免费的 BYOK(自带密钥)功能、推荐奖励以及赠送给所有用户的额外信用额度。

从AI智能体到AI机构:任务执行的范式转变

2025-07-09
从AI智能体到AI机构:任务执行的范式转变

两年前,AI智能体——能够自主分解并执行复杂任务的系统——展现出其变革潜力。如今,AI智能体已能自主编写网站代码、管理数字工作流程和执行多步骤流程。但作者在其公司NonBioS的工作中观察到,一种名为“AI机构”的新架构模式正在兴起,它代表着对现有AI智能体的根本性飞跃。“AI机构”并非多个AI智能体的协作,而是一个统一系统,它能动态协调多种类型的智能来完成单个任务的不同部分,例如,利用高能力推理模型进行任务规划,利用快速高效的模型生成样板代码,利用专注于调试的模型确保软件正常工作。这种模式将AI任务执行从单一智能转变为协同智能,提升了效率、成本效益和质量。

百亿美元的AGI定义之争:微软与OpenAI的裂痕

2025-07-09
百亿美元的AGI定义之争:微软与OpenAI的裂痕

微软和OpenAI对AGI(通用人工智能)的定义存在严重分歧,甚至将130亿美元的合同都蒙上阴影。一些人将AGI定义为带来1000亿美元利润的AI系统,但这只是一个任意的经济指标。事实上,AGI的定义难以达成共识,这阻碍了AI的发展、监管和思考。作者认为,AGI应该具备广泛的泛化能力,能够胜任各种不同领域的任务,但“人类水平”的标准本身就存在争议。这场定义之争凸显了AI领域概念模糊的困境。

AI

AI揭示人类在复杂游戏中决策的非理性

2025-07-09
AI揭示人类在复杂游戏中决策的非理性

普林斯顿大学和波士顿大学的研究人员利用机器学习,对人类在各种游戏中做出的策略性决策进行了预测。研究发现,一个经过人类决策训练的深度神经网络能够以高精度预测玩家的策略选择。更重要的是,结合经典行为模型和神经网络的混合模型,比单纯的神经网络模型更能准确捕捉人类行为,尤其是在游戏复杂度方面,揭示了人们在简单游戏中行为更可预测,而在复杂游戏中则更不理性。该研究为理解人类决策过程提供了新的视角,并为设计引导人们做出更理性决策的行为科学干预措施奠定了基础。

SmolLM3:小巧、多语言、长上下文推理模型

2025-07-09
SmolLM3:小巧、多语言、长上下文推理模型

SmolLM3是一个仅30亿参数的开源多语言大模型,在效率和性能上取得了显著平衡。它在多个基准测试中超越了Llama-3.2-3B和Qwen2.5-3B,甚至与更大的40亿参数模型竞争。该模型支持6种语言,上下文长度可达128k,并具有独特的双模式推理能力(think/no_think)。研究人员不仅发布了模型本身,还公开了完整的训练蓝图,包括架构细节、数据混合策略和训练方法,这对于希望构建或理解此规模模型的人来说是一笔宝贵的财富。

AI

ChatGPT推出“一起学习”模式:AI助教还是作弊神器?

2025-07-08
ChatGPT推出“一起学习”模式:AI助教还是作弊神器?

部分ChatGPT Plus用户发现了一个名为“一起学习”的新功能。该模式并非直接提供答案,而是引导用户进行思考,更像是一位AI助教。这引发了人们的猜测,它是否会发展成多人在线学习模式,以及能否有效阻止学生利用ChatGPT作弊。虽然OpenAI尚未回应,但ChatGPT本身表示该功能的普及时间和方式尚不明确。这一功能的出现,反映了ChatGPT在教育领域的两面性:它既可以辅助教学,也能被滥用于作弊,而“一起学习”模式或许是OpenAI尝试引导其向积极方向发展的一种尝试。

AI赋能:生成式模型重塑变形图像

2025-07-08

传统变形图像只有从特定角度才能识别其真实形态。本文利用潜在校正流模型和一种名为拉普拉斯金字塔扭曲的全新图像扭曲技术,创造出即使直接观看也能保持有效解释的变形图像。这项工作将视觉字谜扩展到潜在空间模型和更广泛的空间变换,实现了新颖的生成性感知错觉的创造,为图像生成领域带来了新的可能性。

用照片和大型视觉模型构建室内地图原型

2025-07-07

作者在周末利用大型视觉模型(VLM)技术,仅凭一张商场照片,就成功构建了一个室内定位系统原型。该系统通过标注商场地图,识别照片中可见的商店,并结合VLM的图像识别能力,将照片中的位置与地图上的位置进行匹配,最终在照片中定位出作者所在的位置。尽管存在一定的误差,但结果令人惊讶,展现了VLM在室内定位领域的潜力。这项工作为未来的增强现实(AR)设备和机器人应用提供了新的可能性,同时也提醒我们注意技术带来的潜在环境问题。

AI模型的探索瓶颈:经验收集的下一个前沿

2025-07-07

大型语言模型的成功依赖于海量文本数据预训练,但这资源终将耗尽。未来AI发展将转向“经验时代”,关键在于高效收集有益于学习的正确经验,而非简单堆叠参数。文章探讨了预训练如何隐式解决探索问题,以及更好的探索如何提升泛化能力。作者提出,探索包含“世界采样”(选择学习环境)和“路径采样”(在环境中收集数据)两个轴,未来AI规模化应优化这两个轴的信息密度,高效分配计算资源,而非单纯追求参数规模或数据量。

AI

我的Pocket数据泄露了我的秘密

2025-07-07
我的Pocket数据泄露了我的秘密

作者在Pocket关闭前导出7年来近900篇文章的阅读记录,并用AI工具o3分析这些数据。令人惊讶的是,o3准确推断出作者的年龄、性别、居住地、职业、收入、家庭状况等诸多个人信息,甚至连政治倾向、风险承受能力和学习风格都猜得八九不离十。这引发了作者对数据隐私和AI能力的思考,也启发了他建立个性化内容推荐系统。

AI

Anthropic的Claude模型版权案:合理使用与盗版之间的界限

2025-07-07
Anthropic的Claude模型版权案:合理使用与盗版之间的界限

Anthropic公司为训练其AI聊天机器人Claude,购买并“破坏性扫描”了数百万本版权书籍,同时还下载了数百万本盗版书籍。法官裁定,使用购买的书籍进行训练属于合理使用,但使用盗版书籍则构成侵权。此案是AI模型训练中版权问题的首例判决,引发了业界对AI训练数据来源的广泛关注。

AI

AGI时间线预测:2028年税务AI?2032年AI自主学习?

2025-07-07
AGI时间线预测:2028年税务AI?2032年AI自主学习?

播客主持人Dwarkesh探讨了通用人工智能(AGI)的时间线。他认为,尽管当前大型语言模型(LLM)令人惊叹,但它们缺乏持续学习能力,这严重限制了其在现实世界中的应用。他以学习萨克斯为例,说明LLM的学习方式与人类截然不同,无法像人类一样积累经验和改进技能。他因此对未来几年AGI的突破持谨慎态度,但对未来几十年AGI的潜力充满信心。他预测,AI能够像人类经理一样高效处理税务(包括收集发票等)的时间点为2028年,而AI能够像人类一样自主学习的时间点则为2032年。他认为,一旦持续学习问题得到解决,AGI将带来巨大的飞跃,甚至可能导致类似于智能爆炸的现象。

AI

苹果AI安全模型解密:揭秘其内容过滤机制

2025-07-07
苹果AI安全模型解密:揭秘其内容过滤机制

该项目解密了苹果AI安全模型的过滤文件,这些文件包含用于各种模型的过滤规则。通过LLDB调试和自定义脚本,可以获取加密密钥并解密这些文件。解密后的JSON文件包含用于过滤有害内容和确保安全合规的规则,例如精确匹配的关键词、需移除的短语以及正则表达式过滤等。项目提供了已解密的规则文件和解密脚本,方便研究人员分析苹果AI模型的安全机制。

华为盘古大模型:内部举报揭露抄袭丑闻

2025-07-06
华为盘古大模型:内部举报揭露抄袭丑闻

一位华为诺亚方舟实验室的盘古大模型团队成员实名举报,揭露了盘古大模型存在严重抄袭行为。举报者称,团队领导王云鹤的小模型实验室多次将其他公司的模型(如Qwen)进行“套壳”,并将其伪装成华为自主研发的盘古模型,以获取利益和荣誉。举报者还描述了团队内部的巨大压力、不公平待遇以及人才流失的现状,引发了对华为大模型研发管理的质疑。

苹果悄然发布基于扩散模型的AI代码生成模型DiffuCode

2025-07-06
苹果悄然发布基于扩散模型的AI代码生成模型DiffuCode

苹果公司在Hugging Face上低调发布了一个名为DiffuCode-7B-cpGRPO的新型AI代码生成模型。不同于传统自回归模型逐字生成的模式,DiffuCode采用扩散模型架构,能够并行处理多个代码片段,显著提升代码生成速度。该模型基于阿里巴巴的开源模型Qwen2.5-7B进行改进,并通过额外的训练步骤(coupled-GRPO)提高了代码质量。在编码基准测试中,DiffuCode取得了优异的成绩,虽然仍不及GPT-4或Gemini Diffusion,但展现了苹果在生成式AI领域的创新探索。

AI

用RLHF微调GPT-2生成积极情绪的句子

2025-07-06
用RLHF微调GPT-2生成积极情绪的句子

这个项目提供了一个使用来自人类反馈的强化学习(RLHF)微调预训练GPT-2模型的参考实现,使其生成表达积极情绪的句子的教程。该方法包含三个步骤:1. 有监督微调(SFT):使用stanfordnlp/sst2数据集微调GPT-2;2. 奖励模型训练:训练一个带有奖励头的GPT-2模型来预测句子的情感;3. 使用近端策略优化(PPO)进行强化学习:优化SFT模型以生成奖励模型评价为积极的句子。通过三个Jupyter Notebook依次完成这三个步骤,最终使GPT-2能够生成更积极的句子。需要Hugging Face访问令牌下载预训练的GPT-2模型。

AI
1 2 6 7 8 10 12 13 14 51 52