AMD MI300X 在大语言模型推理方面超越 NVIDIA H100
TensorWave 基准测试表明,AMD 的 MI300X 加速器在离线和在线推理任务中均优于 NVIDIA 的 H100,尤其是在使用 Mixtral 8x7B 等混合专家 (MoE) 架构时。MI300X 不仅吞吐量更高,而且在需要快速响应时间的实际场景中表现出色。结合其具有竞争力的成本和硬件可用性,MI300X 成为寻求扩展 AI 推理能力的企业的绝佳选择。
阅读更多
TensorWave 基准测试表明,AMD 的 MI300X 加速器在离线和在线推理任务中均优于 NVIDIA 的 H100,尤其是在使用 Mixtral 8x7B 等混合专家 (MoE) 架构时。MI300X 不仅吞吐量更高,而且在需要快速响应时间的实际场景中表现出色。结合其具有竞争力的成本和硬件可用性,MI300X 成为寻求扩展 AI 推理能力的企业的绝佳选择。
阅读更多
文章介绍了一项利用开源大型语言模型LLaMA-3对网络图片进行重新标注的研究。研究人员首先微调了一个基于LLaMA-3-8B的LLaVA-1.5模型,然后用它对来自DataComp-1B数据集的13亿张图片进行了重新标注。实验结果表明,使用这个名为Recap-DataComp-1B的增强数据集训练视觉语言模型可以显著提高模型性能。
阅读更多
美国华盛顿州肯特市的 Stoke Space 公司成功完成了其可重复使用运载火箭 Nova 的第一级引擎首次热火测试。该测试于6月5日在华盛顿州摩西湖的 Stoke 测试场进行,持续了两秒钟,引擎达到了目标启动功率水平,在不到一秒钟的时间内产生了相当于 35 万马力的功率。Nova 火箭的第一级助推器将由七台这种发动机提供动力,计划于 2025 年进行首次轨道试飞。
阅读更多
本文介绍了abliteration技术,该技术可以去除大型语言模型(LLM)的审查机制,使其能够响应所有类型的提示。文章详细介绍了abliteration技术的原理和实现步骤,并通过实验验证了其效果。实验结果表明,abliteration技术能够有效去除LLM模型的审查机制,但也可能导致模型性能下降。为了解决这个问题,文章建议使用DPO等技术对abliterated模型进行微调,以恢复其性能。
阅读更多
Sakana AI 的研究人员正在探索利用大型语言模型 (LLM) 来改进 AI 研究本身,尤其是在偏好优化算法方面。他们开发了一种名为“LLM²”的自我参照改进过程,使用 LLM 提出和改进新的偏好优化算法。这种方法减少了对人工干预和计算资源的依赖。研究发现,LLM 可以生成优于人工设计的目标函数,其中一种名为 DiscoPOP 的算法在多个评估任务中均达到了最先进的性能。
阅读更多
VRChat首席执行官Graham Gaylor宣布公司将裁员约30%。Gaylor解释说,由于VR市场增长放缓,导致公司过度招聘,加上管理层架构调整缓慢,导致公司运营成本过高。此次裁员是为了确保公司长期发展,并将集中资源在未来五年的战略目标上。公司将提供优厚的遣散费和职业支持,帮助受影响员工渡过难关。
阅读更多
本文深入探讨了《英雄萨姆》所使用的Serious Engine,特别是其网络多人游戏架构。作者详细分析了引擎如何利用演示录制和回放的概念来实现网络同步,并阐述了其客户端-服务器模型、数据包结构、消息层、游戏会话管理和预测机制等关键技术细节。此外,文章还讨论了浮点数确定性、消息压缩和安全等问题,并将Serious Engine与Doom和Quake等早期射击游戏的网络架构进行了比较。
阅读更多
pg_lakehouse 是 ParadeDB 推出的最新扩展,将 Postgres 转换为 DuckDB 的替代方案。它允许 Postgres 直接查询外部对象存储(如 S3)、表格式(如 Delta Lake)和文件格式(如 Parquet)。pg_lakehouse 利用 Apache DataFusion 实现高性能查询,并使用 Apache OpenDAL 支持多种数据源、表格式和文件格式。目前,pg_lakehouse 仅支持从对象存储读取数据,未来的开发重点将放在添加写入支持、Iceberg 支持和更广泛的对象存储覆盖范围上。
阅读更多
Minuimus 是一款文件优化脚本工具,能够在不影响文件内容的情况下缩小文件大小。它通过多种文件特定优化方法实现这一点,例如解压缩压缩文件中的数据并以更有效的方式重新压缩。 Minuimus 依赖于许多其他实用程序,以及一些专门为其开发的更专业的方法来自动执行调用所有这些实用程序的过程,包括递归处理容器文件并确保正确重组、检测和处理可能发生的各种错误,以及对优化后的文件运行一定级别的完整性检查以防止损坏。
阅读更多
为了应对生成式AI对算力需求的指数级增长,Meta 对其软硬件和网络基础设施进行了重构,包括提高硬件可靠性和快速恢复能力、优化GPU间的连接、改进训练软件和调度效率、选择合适的硬件配置、优化数据中心部署和网络架构、采用高效的数据存储方案等,并详细介绍了在RoCE和InfiniBand网络技术上的探索以及网络、存储等方面的优化经验。
阅读更多
本文是对尼采《道德谱系学》一书的导读,探讨了尼采的道德哲学思想。文章从奴隶道德和主人道德的区分出发,分析了基督教道德如何通过颠倒主人道德价值观,利用奴隶的怨恨心理,以及提供残酷和苦难的出口,最终取得胜利。作者同时指出尼采过度强调权力意志,将个人英雄主义理想化,并以尼采自身经历为鉴,批判其思想的局限性。
阅读更多
日本议会通过了一项法律,强制要求苹果和谷歌允许第三方应用商店在其平台上运营。该法律旨在促进竞争,降低应用价格,并防止科技巨头优先考虑自己的服务。违反规定的公司将面临高达其特定服务国内收入20%的罚款,如果行为持续,罚款可增至30%。该法律预计将于2025年底生效。
阅读更多
来自斯克尔科沃科技学院和中国南开大学的科学家们发现了一种奇特的离子——水合二氢离子 (H4O2+),它可以在天王星和海王星内部的极端条件下稳定存在。该离子由一个水分子和两个额外的质子组成,带两个正电荷。研究人员认为,这种离子可能在天王星和海王星奇特磁场的形成机制中发挥作用,并可能形成未知的矿物质。
阅读更多
Stability AI 发布的 Stable Diffusion 3 Medium 模型因其在生成人体图像方面表现不佳而广受批评。用户普遍反映 SD3 Medium 生成的图像存在严重解剖学错误,尤其是在手部和脚部等部位。一些用户认为,这是由于 Stability AI 在训练数据集中过度过滤成人内容所导致的。
阅读更多
本文介绍了如何使用树莓派将一台无法兼容Windows 11的佳能MP250打印机变成网络打印机。作者详细介绍了安装CUPS打印系统、配置网络打印服务以及在其他设备上连接打印机的步骤,并分享了使用不同设备进行打印测试的经验。
阅读更多
本文介绍了本田公司发明的一种减少轮胎噪音的新技术。该技术利用安装在轮胎内的谐振器来抵消轮胎产生的噪音,类似于降噪耳机的原理。这种谐振器利用亥姆霍兹共振原理,可以有效降低车内噪音,并已发展到第二代,重量更轻。
阅读更多
本文回顾了马丁贝克弹射座椅的历史,该座椅在75年前首次成功挽救了飞行员John Oliver “Jo” Lancaster DFC 的生命。马丁贝克公司最初致力于飞机设计和制造,但在创始人之一Valentine Baker在一次试飞事故中丧生后,公司将重心转向了飞行安全,并开始专注于弹射座椅的研发。如今,马丁贝克已成为全球知名的弹射座椅制造商,其产品已累计挽救了来自107个不同运营商的7722名飞行员,涉及188种飞机。
阅读更多
PowerInfer-2是一个专为在智能手机上快速推理大型语言模型(LLM)而设计的框架,特别是针对模型大小超过设备内存容量的情况。该框架利用智能手机中的异构计算、内存和I/O资源,将传统的矩阵计算分解成细粒度的“神经元簇”计算,并通过分段神经元缓存和细粒度神经元-集群级流水线技术,最大限度地减少和掩盖I/O操作造成的开销。PowerInfer-2能够在两款智能手机上支持各种LLM模型,与最先进的框架相比,速度提高了29.2倍。
阅读更多
Adobe 近日更新了其服务条款,明确表示不会将用户作品用于人工智能训练。此前,Adobe因服务条款中有关人工智能的表述含糊不清,引发了用户的广泛担忧和批评。新的服务条款将于6月18日生效,旨在澄清 Adobe 对用户作品的使用权限,并重申其对用户隐私和数据安全的承诺。Adobe 表示,他们从未将用户内容用于生成式人工智能训练,也从未将用户作品据为己有。此次更新是为了回应用户的关切,并重塑用户对 Adobe 的信任。
阅读更多
本文介绍了如何使用 WebXR 在 visionOS 中为网站添加完全沉浸式的体验。文章解释了如何构建 WebXR 体验,并充分利用 visionOS 的输入功能,以及如何使用模拟器在 macOS 上测试 WebXR 体验。
阅读更多
日本国会周三颁布了一项法律,旨在通过限制科技巨头苹果和谷歌限制第三方公司在其平台上销售和运营应用程序,来促进智能手机应用商店的竞争。该法律将禁止苹果iOS和谷歌Android智能手机操作系统、应用商店和支付平台的提供商阻止销售与其自身原生平台直接竞争的应用程序和服务。
阅读更多
Lazard 的年度报告分析了不同发电技术的成本效率,发现陆上风能和公用事业规模太阳能的平准化电力成本 (LCOE) 最低。尽管某些可再生能源技术的 LCOE 高端有所下降,但在持续的成本压力下,其低端却出现首次上升。陆上风能的新建电力成本最低,为每兆瓦时 27 至 73 美元,其次是公用事业规模太阳能,为每兆瓦时 29 至 92 美元。自 2009 年以来,公用事业规模太阳能的成本下降幅度最大,降幅约为 83%。
阅读更多
美国联邦贸易委员会主席莉娜·汗在 TechCrunch 的 Strictly VC 活动上表示,该机构正集中精力打击大型科技公司。她强调,FTC 的目标是那些造成最大危害的企业,而不是简单地增加案件数量。FTC 将优先考虑对微软与 Inflection AI 的合作关系展开反垄断调查,并已与司法部达成协议,将对微软、Open AI 和英伟达展开调查。此外,FTC 过去几年还调查了 Meta、亚马逊、谷歌和苹果等公司。
阅读更多
摄影师Miles Astray凭借一张真实拍摄的火烈鸟照片,赢得了1839年彩色摄影奖AI类别冠军,并在公众投票中获得第一名。然而,比赛主办方在得知照片并非AI生成后,取消了他的获奖资格。Astray表示他想通过这个行为证明,自然仍然能够战胜机器,真人创作的作品仍然具有价值。
阅读更多
数据代理商Verisk停止向保险公司出售从汽车制造商处获得的驾驶行为数据,而LexisNexis Risk Solutions仍在推广其驾驶行为数据产品,尽管遭到州政府、联邦官员和消费者团体的强烈反对。LexisNexis Risk Solutions表示,他们与汽车制造商合作,将联网汽车数据转化为可衡量的驾驶行为洞察,并强调数据采集的合理性和透明度,以及对消费者选择退出的权利的尊重。
阅读更多
这篇文章批评了Robert Martin(鲍勃大叔)在其著作《代码整洁之道》中所提出的代码重构方法。作者以书中第一个重构示例为例,指出Martin将一个简单的函数过度拆分成一个充斥着状态和副作用的类,反而降低了代码的可读性和可维护性。作者认为Martin过于强调函数拆分和零参数,导致代码逻辑分散,难以理解。此外,作者还对Martin在命名、抽象层次处理等方面的做法提出了质疑,并给出了自己认为更合理的代码版本。
阅读更多
本文介绍了一款旨在帮助会议 attendees 利用AI技术促进交流的应用程序。该应用程序通过分析 attendees 的个人资料和兴趣,为他们匹配潜在的交流对象,并提供个性化的谈话要点,帮助他们打破尴尬,开启对话。此外,该应用程序还提供扫描 badges 功能,方便 attendees 保存联系方式和笔记,以便后续跟进。
阅读更多