大型语言模型能否终结编程?

2024-12-15

近年来,大型语言模型(LLM)在代码生成方面展现出令人印象深刻的能力,引发了“编程终将过时”的讨论。然而,本文作者认为这种观点过于乐观。文章从程序合成(Program Synthesis)的计算复杂性入手,指出生成正确程序代码是一个难题,其复杂度属于PSPACE-complete级别,这意味着即使对于中等规模的输入,算法也可能需要指数级的运行时间。虽然LLM可以作为辅助工具,提高编程效率,但其局限性决定了它不可能完全取代程序员。编程的本质仍然是解决问题和设计系统,而这需要人类的智慧和创造力。

阅读更多
开发 编程未来

控制人工智能日益增长的能源需求

2024-12-01

人工智能模型训练需要巨大的能量,这已成为一个日益受到关注的问题。例如,训练Chat GPT-3大型语言模型消耗的能量与130个美国家庭一年的用电量相当。自2012年以来,训练AI模型所需的能量每3.4个月翻一番。文章探讨了GPU在AI训练中的主导地位及其高能耗问题,并介绍了正在开发的低能耗替代方案,例如神经形态计算机和光学计算机。神经形态计算机模仿人脑的工作方式,能效更高;而光学计算机利用光波传输信息,速度更快且损耗更低。此外,文章还提到了通过使用更小、更精细的模型来提高能源效率的方法。

阅读更多
未分类 神经形态计算

技术视角:魔镜魔镜告诉我,哪种拓扑结构最好?

2024-11-29

本文讨论了为大规模AI系统设计合适的网络拓扑结构。AI工作负载需要兼顾数据并行、流水线并行和算子并行,对网络带宽提出了特殊要求。传统高性能计算网络通常全局带宽过剩,而局部带宽不足。文章介绍了HammingMesh,一种结合了环面拓扑和交换拓扑优点的新型网络拓扑,它通过用交换机连接一组二维网格来形成不同大小的虚拟环面拓扑,既能提供高带宽,又能降低成本,并能灵活应对故障和不同的任务分配。文章还探讨了AI领域向稀疏模型发展的趋势,以及HammingMesh在未来AI系统中的潜力。

阅读更多
未分类 网络拓扑

利用时间计算:微架构怪异机器

2024-11-25

本文介绍了微架构怪异机器 (µWM),这是一种利用CPU微架构组件的副作用和冲突进行计算的代码构造。µWM的计算结果通过指令执行时间的变化来观察,这些指令与这些副作用相互作用。µWM可以用作强大的混淆引擎,使计算操作对传统的反混淆工具不可见。文章演示了如何使用µWM混淆恶意软件代码,使其被动操作对观察者不可见,直到代码收到触发器才解密并执行其有效负载。此外,文章还展示了µWM的通用性,通过实现SHA-1哈希函数来执行非平凡计算。

阅读更多
未分类 混淆

盐粒大小的相机将改变成像技术

2024-11-22

普林斯顿大学和华盛顿大学的研究人员开发了一种“元光学”相机,其大小与一粒盐相当。这款超紧凑相机系统采用了被称为“超表面”的技术,该技术布满了160万个圆柱形立柱,其生产方式与计算机芯片类似。这款相机是同类产品中首个能够生成与传统相机质量相当的全彩图像的设备,而传统相机的体积要大50万倍。研究人员利用纳米结构的“超表面”和新颖的硬件设计方法,并结合AI图像后处理技术,突破了以往元光学成像设备的局限,实现了高质量成像。这项技术为医疗成像、消费电子产品、无人机和望远镜等领域带来了新的可能性。

阅读更多
未分类 成像 元光学

繁荣之间的AI寒冬

2024-11-21

本文回顾了人工智能发展的历史,特别是其如何从20世纪80年代的专家系统热潮转向概率方法和神经网络。文章指出,在经历了一段时间的“AI寒冬”后,人工智能研究变得更加多元化,出现了诸如具身智能、遗传算法和人工生命等新方法。然而,真正改变AI格局的是概率方法的兴起,特别是Judea Pearl的贝叶斯网络,它为AI建立了新的统计推理基础。与此同时,以IBM语音识别研究为代表的“大数据,小程式”方法也开始崭露头角。最终,神经网络在经历了Minsky和Papert的批评后,随着反向传播算法的出现和算力的提升,再次复兴,并引领了深度学习的浪潮。

阅读更多
未分类 AI历史

拉姆齐数的秘密

2024-11-04

本文报道了数学家们在加拿大举行研讨会,讨论由两位研究人员在 2023 年对 Erdős 猜想取得的突破所启发的新思路。两位研究人员将新方法应用于一个四十年来进展甚微的问题,取得了成功,这在研究随机系统中如何形成秩序的数学领域具有更广泛的意义,并对理论和实践计算机科学都有影响。文章探讨了拉姆齐理论,该理论研究在随机模式中,有序结构在什么阈值下会不可避免地出现。文章重点介绍了 Mattheus 和 Verstraete 如何突破“非对角线”拉姆齐数的上限问题,他们结合了伪随机起始结构和基于有限几何的随机技术,证明了如何随着 t 的增加,r(4,t) 的上限会如何增长。本次研讨会汇集了来自不同数学领域的研究人员,促进了思想交流,有望推动拉姆齐理论及其他相关领域的研究进展。

阅读更多

室温超导技术升温

2024-10-27

数十年来,科学家们一直在寻找在室温下实现超导的方法。最近,一个欧洲和南美洲的研究小组宣布,他们利用表面有褶皱的苏格兰胶带裂解热解石墨,在室温下观察到了超导状态。这一发现引起了科学界的广泛关注,因为它可能为解决超导材料中的缺陷和褶皱如何影响电性能和行为这一关键问题提供线索。然而,许多科学家对此持怀疑态度,因为过去曾出现过许多无法复现的结果。实现室温超导仍然是一个巨大的挑战,需要进一步的研究和验证。

阅读更多
未分类

什么是理论计算机科学?

2024-10-18

这篇文章讨论了理论计算机科学的定义和范畴。作者认为,将理论计算机科学视为数学的一个分支是有害的,因为它忽略了计算机科学作为一门技术的本质。作者主张,理论计算机科学应该以解释和预测现实世界的计算现象为目标,就像理论物理学一样。

阅读更多
未分类

你对带宽一无所知

2024-10-10

这篇文章探讨了互联网性能问题,指出带宽并非唯一因素,延迟才是罪魁祸首。文章解释了缓冲膨胀问题,即旧路由器软件如何通过不公平地分配带宽导致延迟。文章介绍了LibreQoS等软件解决方案,可以优化数据包处理、减少延迟,并提供了一种在家中和互联网服务提供商 (ISP) 级别解决此问题的实用方法。

阅读更多
未分类 互联网性能

查询的50年

2024-10-09

本文回顾了过去五十年来数据库行业的发展历程,重点介绍了关系数据库的概念及其持久流行的原因。文章首先介绍了数据库管理系统的起源,接着详细阐述了关系数据库模型的提出、发展以及商业化过程,并探讨了SQL语言的诞生、标准化和广泛应用。文章还分析了SQL语言的特点、优点以及面临的一些批评,并展望了NoSQL数据库的兴起和发展趋势。最后,作者总结了关系数据库和SQL语言取得巨大成功的关键因素,并强调了数据管理的重要性及其对未来社会的影响。

阅读更多
未分类 关系数据库

知识图谱

2024-10-03

本文回顾了知识图谱的历史发展轨迹,从20世纪50年代数字时代的来临开始,讲述了数据和知识如何从相互独立逐渐走向融合。文章探讨了数据管理和知识表示的不同阶段,包括关系型数据库、语义网络、描述逻辑以及专家系统等的兴起。随着互联网的出现,数据和知识的规模急剧增长,推动了语义网、链接数据以及知识图谱等技术的进步。如今,知识图谱作为一种整合数据和知识的强大工具,正在各个领域得到广泛应用。

阅读更多
未分类

技术能解决所有问题吗?

2024-10-01

本文探讨了科技行业普遍存在的“技术至上”理念,即认为所有问题都有技术解决方案。作者Robin K. Hill 通过分析科技领袖的言论和行为,试图揭示这一理念背后的假设和动机,并指出这种理念可能带来的潜在问题。作者认为,科技领袖对技术的过度乐观和推广,缺乏对技术局限性和潜在负面影响的充分考虑。

阅读更多

区块链互操作性的简史

2024-09-29

这篇文章深入探讨了区块链互操作性:它为何必要,已取得的进展,目前的部署和使用方式,以及未来的发展方向。文章指出,互操作性是区块链实现可扩展性的关键,它允许多个区块链系统之间共享数据和传递资产,并催生了跨链桥、预言机等解决方案。文章还分析了当前互操作性面临的挑战,如安全风险、隐私问题和缺乏统一标准等,并展望了未来的发展趋势,包括模块化设计、安全模型选择和通用消息传递协议的整合等。

阅读更多
未分类 跨链技术

更快的整数规划

2024-09-04

整数规划是一种重要的计算方法,用于解决调度、组合和优化问题。长期以来,其求解速度一直受到限制。最近,研究人员通过分析一种名为 Dadush 算法的新方法,证明了所有整数规划在理论上都可以比以前更快地解决。新方法的关键在于对覆盖半径的更好逼近,其将求解时间从 nn 缩短到 (log n)O(n)。尽管新方法还存在内存需求大、实现困难等问题,但其为解决整数规划提供了新的理论依据和方向。

阅读更多
未分类

CrowdStrike引发的全球IT瘫痪事件

2024-09-02

2024年7月19日,网络安全公司CrowdStrike的一次软件更新错误导致全球数百万台Windows电脑瘫痪,医院、机场、股票交易所等关键基础设施受到严重影响。CrowdStrike承认更新代码存在缺陷,导致系统崩溃。专家指出,此次事件凸显了系统弹性和安全软件开发流程的重要性,呼吁企业采取更安全的软件发布策略,并为应对未来类似事件做好准备。

阅读更多
未分类

程序员的迷思

2024-08-27

这篇文章探讨了20世纪50年代计算机领域中“程序员”和“编码员”之间的区别。文章指出,虽然编程和编码活动可以区分,但在实践中,它们通常由同一个人完成。 “编码员”作为一个独立职业的出现,更多是由于自动编程技术的推广,特别是Grace Hopper等人的积极倡导,人为地创造了这一区分,以强调自动编程的优势,而非实际工作场景的反映。

阅读更多

人工智能对计算机科学教育的影响

2024-07-31

本文讨论了人工智能(AI)对计算机科学教育的影响。随着人工智能在各个行业中的应用,计算机科学教育需要做出改变,更加注重基础概念的教学,例如统计学和系统工作原理。新的专业领域将会出现,例如数据科学、机器学习和人工智能伦理。人工智能工具,如聊天机器人,可以作为编程学习的辅助工具,但学生仍然需要学习编程的基本原理。人工智能的普及也将创造新的工作岗位,例如提示工程师、机器学习工程师和人工智能测试员。

阅读更多
未分类

自由和开源软件以及其他市场失灵

2024-07-06

本文回顾了自由和开源软件(FOSS)运动的历史,将其起源追溯到20世纪80年代和90年代商业计算市场的失灵。作者认为,FOSS的兴起是对当时 Unix 供应商无法满足客户对价格合理、高质量的 Unix 系统的需求的回应。文章重点介绍了 SSLUG(世界上最大的 Linux 用户组)的兴衰,并将其作为 FOSS 运动如何失去动力的一个例子。作者认为,尽管 FOSS 取得了胜利,但它不再像过去那样是一场革命性的力量。

阅读更多
未分类 市场失灵

可解释性不是游戏

2024-07-02

机器学习模型的可解释性对于建立信任和调试人工智能系统至关重要,尤其是在影响人类决策的领域。然而,文章指出,最流行的可解释人工智能方法,特别是基于Shapley值的SHAP分数,缺乏严谨性,可能提供误导性信息。文章通过分析决策树分类器和布尔函数,证明了SHAP分数可能无法准确反映特征对预测的实际影响,甚至可能将不重要的特征评为重要特征,从而误导决策者。

阅读更多
未分类 SHAP分数

量子计算在质因数分解领域的飞跃

2024-07-01

本文介绍了量子计算领域的一项重大进展:纽约大学的Oded Regev提出了一种新的量子算法,可以比传统算法更快地进行大数质因数分解,这项技术对破解广泛使用的公钥加密技术至关重要。Regev的新算法在高维空间中寻找周期性,并使用模块化乘法来提高效率。尽管新算法在渐进性能方面有所改进,但它需要更多的量子比特,并且需要重复执行才能获得准确结果。

阅读更多
未分类 质因数分解

如何设计指令集架构

2024-06-23

文章探讨了指令集架构 (ISA) 设计的挑战,强调了ISA 需要针对特定类型的处理器和源语言进行优化,并需考虑商业因素。文章详细分析了小型和大型内核的不同需求,以及如何平衡编码效率、解码复杂性和微架构优化之间的关系。作者还强调了仿真兼容性和性能测量的重要性,指出一个好的ISA 需要在各种因素之间做出权衡。

阅读更多

当无色的绿色DNNs在一个无法解释的幻想中狂怒地沉睡

2024-05-20

本文批判了深度学习领域中的一些常见幻想,包括人工智能将取代程序员、可解释人工智能取得进展、大型语言模型是通向通用人工智能的第一步以及大型语言模型理解语言。作者认为这些说法都缺乏理论依据,并指出深度神经网络存在无法解释、推理错误、复杂问题解决能力不足等根本性问题。作者呼吁关注符号知识和符号推理,以构建可靠、可解释、可预测和可推理的人工智能。

阅读更多
未分类 符号推理

Avi Wigderson: 探索随机性的力量和局限

2024-04-12

本文介绍了2023年ACM A.M. 图灵奖获得者Avi Wigderson的主要工作。Wigderson对计算复杂性理论做出了持久贡献,他的研究兴趣包括密码学、优化、随机性、伪随机性和电路复杂性等。他关于零知识证明的研究表明,任何具有证明的陈述都可以以不透露任何额外信息的方式向他人证明。此外,他还证明了在标准计算假设下,每个高效的随机算法都可以完全去随机化,这意味着随机性对于高效计算来说并非必要。近年来,Wigderson一直致力于非交换优化,将欧几里得空间中的凸优化工具扩展到更一般的黎曼流形环境。

阅读更多