Pydantic处理大型JSON文件的高内存消耗问题

2025-05-22
Pydantic处理大型JSON文件的高内存消耗问题

在使用Pydantic处理大型JSON文件时,内存消耗过高是一个常见问题。文章分析了Pydantic默认JSON加载的高内存占用原因,并提出了两种解决方案:一是使用ijson库进行增量式JSON解析,降低解析过程中的内存占用;二是将Pydantic模型转换为使用`slots`的dataclass,减少对象内存消耗。实验结果表明,结合这两种方法,可以将内存占用降低至原来的1/4,有效解决了大型JSON文件处理的内存瓶颈。

阅读更多
开发

当前AI:死胡同还是新起点?

2024-12-27
当前AI:死胡同还是新起点?

莱斯特德蒙福特大学网络安全教授Eerke Boiten认为,当前基于大型神经网络的AI系统,例如ChatGPT等,由于其内在的复杂性和不可预测性,不应用于关键应用。这些系统缺乏可管理性、透明度和问责制,其行为具有涌现性而非组合性,难以进行有效的验证和纠错。Boiten教授认为,目前AI的发展方向可能是一个死胡同,未来需要探索组合式神经网络或结合符号推理的混合方法,才能构建更可靠的AI系统。

阅读更多
AI

BLM土地:被遗忘的公共土地的隐秘故事

2025-06-22
BLM土地:被遗忘的公共土地的隐秘故事

本文讲述了作者探索美国土地管理局(BLM)管理的公共土地的经历,特别是位于加利福尼亚州博迪山脉的土地。作者亲身经历了在偏远地区车辆受困的困境,并由此深入了解了这些土地的复杂历史和面临的威胁。博迪山脉曾因淘金热而繁荣,但如今面临着新的矿业开发威胁,这可能破坏其生态系统和当地的土著文化遗产。作者呼吁人们关注和保护这些容易被忽视的公共土地,避免重蹈覆辙,让历史的悲剧不再重演。

阅读更多
科技 矿业开发

斯托克豪森歌剧《光明之周五》: 一场关于诱惑与战争的音响盛宴

2025-05-01

卡尔哈因茨·斯托克豪森的歌剧《光明之周五》是其“光明”七日歌剧循环的第五部,讲述了魔鬼路德试图诱惑夏娃加入其反天庭革命的故事。这部歌剧融合了声乐、器乐、电子音乐和舞蹈,通过“真实场景”和“声音场景”交替呈现,展现了一场充满诱惑、战争和最终和解的奇幻旅程。孩子们之间的战争是高潮,象征着人类冲突的残酷。而最终,混合体的诞生和升华则象征着希望和救赎。

阅读更多

轻量级虚拟键盘Unexpected Keyboard登陆安卓

2024-12-12
轻量级虚拟键盘Unexpected Keyboard登陆安卓

Unexpected Keyboard是一款专为开发者设计的轻量级安卓虚拟键盘,它最大的特点是可以通过滑动按键角落来输入更多字符,最初为Termux用户设计,现已适用于日常使用。该应用无广告、无网络请求,并且是开源的。用户可以通过滑动手指至按键角落来使用特殊符号,例如左下角滑动即可打开设置。类似应用包括Calculator++。

阅读更多

Cap:轻量级、私密的开源 CAPTCHA 替代方案

2025-05-30
Cap:轻量级、私密的开源 CAPTCHA 替代方案

Cap 是一款轻量级、现代化的开源 CAPTCHA 替代方案,它使用 SHA-256 工作量证明,速度快、隐私性强,易于集成。它由一个 JavaScript 组件 (@cap.js/widget) 和一个服务器端组件 (@cap.js/server) 组成,并提供多种扩展包,支持多种运行环境和编程语言,甚至可以在 Docker 中独立运行。与 hCaptcha 相比,Cap 的大小仅为其 1/250,并且由于采用工作量证明机制,无需追踪用户数据。Cap 完全开源,并提供多种模式以适应不同的需求,例如隐形模式和浮动模式。

阅读更多
开发

调试利器:差异代码覆盖率分析

2025-04-25

本文介绍了一种强大的调试技巧——差异代码覆盖率分析。通过比较通过测试和失败测试的代码覆盖率,可以快速定位错误代码。作者以Go语言的`math/big`库为例,演示了如何利用`go test`和`go tool cover`工具生成覆盖率报告,并通过`diff`命令比较差异,最终精准地找到了导致测试失败的代码片段,仅需检查少量代码即可解决问题,效率远高于传统方法。

阅读更多
开发

用廉价设备构建基于ADS-B数据的风力模型

2025-08-02
用廉价设备构建基于ADS-B数据的风力模型

作者利用不到100美元的RTL-SDR接收器和天线接收飞机ADS-B数据,并通过处理这些数据构建了一个简易的气象模型。该模型通过分析飞机的航向、空速和地速差异来推算风速,并利用大量飞机数据生成风力可视化效果图。虽然精度与专业气象模型相比略有差距,但该模型成功地模拟了地中海地区的高速气流,展现了利用公共数据进行创新的可能性。

阅读更多

DataFuel:将网站转化为LLM就绪数据的API

2024-12-13
DataFuel:将网站转化为LLM就绪数据的API

DataFuel是一个强大的API,能将网站和知识库一键转换为LLM就绪数据。它能轻松抓取整个网站,并以干净的Markdown格式输出,完美适用于RAG系统和AI模型训练。无需编写复杂的爬虫代码,DataFuel支持多种数据格式输出,并提供基于GPT-4的增强型数据提取功能,确保数据准确性。DataFuel已获得业界领先企业的信赖,并提供免费试用。

阅读更多
AI

IBM键盘专利技术大观:150项专利揭秘百年设计

2025-07-28
IBM键盘专利技术大观:150项专利揭秘百年设计

一个图片库展示了与IBM及其家族键盘、打字机和穿孔机相关的技术或设计的专利。这包括按键开关/致动器设计、装饰设计(整体外观)、集成指向设备(如TrackPoint)以及主机系统(如PC、笔记本电脑、终端、控制台和电子打字机)。所有提供的插图均来自专利本身,这些专利据信属于公共领域。总共记录了150项专利。

阅读更多
硬件

Google Tag Manager:隐秘的网络监控巨兽

2025-07-05

Google Tag Manager(GTM)已成为互联网上最具破坏性的隐私侵犯工具。它以看似无害的面貌隐藏着各种侵入式脚本,并将谷歌分析(GA)的监控能力提升到新的水平。文章揭露了GTM如何通过转向第一方Cookie和服务器端运行等方式绕过内容拦截,并详细介绍了几种禁用GTM监控的方法,包括禁用JavaScript、使用uBlock Origin等浏览器扩展程序,以及使用Lynx浏览器等。作者呼吁用户积极抵抗这种监控行为,维护自身网络隐私。

阅读更多

唐宁街首席捕鼠官Larry:一只猫的政治生涯

2025-07-05
唐宁街首席捕鼠官Larry:一只猫的政治生涯

Larry,一只自2011年以来担任唐宁街10号首席捕鼠官的猫咪,见证了六任英国首相的更迭。它并非首相的私人财产,而是由唐宁街工作人员照料。Larry的职责包括迎接客人、检查安保和测试古董家具的舒适度。虽然最初被描述为“优秀的捕鼠能手”,但Larry的捕鼠能力屡受质疑,甚至被戏称为“懒惰的Larry”。然而,它却凭借其超高人气,成为英国政坛的明星,其受欢迎程度甚至超过了多位首相。

阅读更多
杂项 唐宁街

前特朗普官员使用的Signal克隆版泄露了纯文本聊天记录

2025-05-06
前特朗普官员使用的Signal克隆版泄露了纯文本聊天记录

安全研究人员发现,前特朗普政府官员使用的Signal修改版应用TM SGNL,其制造商TeleMessage可以访问用户的纯文本聊天记录。该应用将消息存储在公共AWS云服务器上,安全漏洞导致黑客获取了大量聊天记录,包括Signal、Telegram和WhatsApp的消息。TeleMessage是一家以色列公司,其创始人曾是IDF情报部门官员,引发了关于数据可能被共享给以色列情报机构的担忧。该事件凸显了使用修改版通讯应用的风险,以及对国家安全的潜在威胁。

阅读更多
科技

Clojure库的惊人稳定性:避免破坏性变更的秘诀

2025-05-08

本文探讨了Clojure库的非凡稳定性,并揭示了其背后的原因并非静态类型,而是社区约定俗成的避免破坏性变更的实践。作者通过分析Clojure代码库的稳定性和流行库的代码保留率,以及一个修复bug的案例,论证了Clojure社区对稳定性的重视。文章指出,Clojure的稳定性源于其对数据结构(不可变性、EDN序列化)和命名方式(命名空间元素)的设计,以及避免重命名、改变函数签名等破坏性变更的策略。作者认为,与其依赖静态类型来避免变更带来的问题,不如从根本上避免破坏性变更,这才是维护库稳定性的关键。

阅读更多
开发 库稳定性

时间旅行的幽灵:1997年大英博物馆的奇遇

2025-05-03

1997年6月3日下午2点10分,作者应导师的“作业”来到大英博物馆圆形阅览室,等待一百年前消失的虚构诗人伊诺克·苏姆斯。这个故事源于马克思·比尔博姆的短篇小说,讲述苏姆斯与魔鬼交易,前往未来查看自己作品评价的故事。作者在阅览室目睹了各种奇异事件:神秘的纸条、古怪的等待者以及一个穿着维多利亚时代服装、与小说描述极其相符的男子出现。最终,这个男子消失得无影无踪,留下一个关于时间旅行、文学虚构与现实交织的谜团。

阅读更多
杂项 超现实

谷歌如何系统性地解决技术债务难题

2025-05-08
谷歌如何系统性地解决技术债务难题

谷歌工程师面临着技术债务导致开发效率低下的问题。他们通过问卷调查、数据分析和跨职能团队合作,定义了十类技术债务,并开发了成熟度模型来评估团队管理技术债务的能力。最终,他们通过教育、工具和流程改进,显著降低了技术债务对工程师工作效率的影响,证明了系统性管理技术债务的重要性,而非追求零债务。

阅读更多
开发

联想发布搭载SteamOS的Legion Go S掌机

2025-01-08

联想在CES上正式发布了Legion Go S掌机,这是全球首款获得Valve官方授权的搭载SteamOS的掌机。它预装了基于Arch Linux的SteamOS系统,拥有云存档、远程游玩等功能,并可访问完整的Steam商店和游戏库。Legion Go S采用AMD Ryzen Z1 Extreme处理器和Radeon 700M显卡,配备8英寸1200p屏幕、最高32GB内存和1TB SSD,售价500美元,5月份上市。值得注意的是,这款掌机采用的是Ryzen Z1 Extreme,而非AMD昨日发布的Ryzen Z2。

阅读更多

AI 狂潮下的压力:2000亿参数的责任与焦虑

2025-01-06
AI 狂潮下的压力:2000亿参数的责任与焦虑

过去两年,AI领域发生了翻天覆地的变化。ChatGPT月活用户逼近2亿,Gemini五月访问量近3.2亿。然而,对于AI从业者,尤其是研究人员来说,这波热潮既是机遇也是挑战。文章作者以自身经历为例,讲述了AI研究的压力:来自社会各界的关注和提问,难以摆脱AI的无处不在,大型公司间的激烈竞争,以及研究成果对公司股价的巨大影响。作者还谈到,巨额财富的突然到来可能带来焦虑和各种问题,学术界和工业界的科学家面临着不同的挑战,例如发表论文的顾虑等。最后,作者鼓励大家坦诚沟通,共同创造一个更友善的AI研究环境。

阅读更多

LLM:便捷的代码助手还是扼杀创造力的元凶?

2025-06-08

本文作者表达了对LLM过度依赖的担忧。他认为,虽然LLM可以辅助编程,提高效率,但过度依赖LLM会削弱程序员的独立思考和问题解决能力,特别是对于初学者而言,这将阻碍他们对编程基础知识的掌握和编程思维的培养。作者还指出,LLM生成的代码质量参差不齐,容易出现错误,且缺乏创造性和艺术性,最终可能会导致代码质量下降,甚至引发学术不端行为。作者呼吁对LLM的使用进行规范和限制,尤其是在教育领域,避免其对学生学习和创造力的负面影响。

阅读更多
开发

大型程序的“理论”:你无法仅从代码中获得

2025-04-28

Peter Naur 的论文探讨了大型程序的“理论”并非代码本身,而是程序员对程序的深刻理解。文章用 Ryle 的比喻阐述:理论如同小路,代码是路本身,而理解程序如同在路上行走。LLM 虽然能生成看似具备理论知识的文本,但这只是表象,并非真正的理解。Naur 强调,理解大型程序需要持续参与其开发和维护,这是一种无法通过简单阅读代码或文档获得的知识。

阅读更多

构建无障碍UI:不仅仅是道德,更是为了提升开发效率

2025-06-17
构建无障碍UI:不仅仅是道德,更是为了提升开发效率

本文作者并非从道德角度出发倡导无障碍UI设计,而是基于自身开发经验,列举了构建无障碍UI的诸多益处:提升代码可调试性,例如使用语义化标签使代码结构清晰易懂;改进命名规范,ARIA属性提供标准化的命名方案;增强测试能力,基于语义化的测试更健壮;提升用户体验,特别是键盘操作效率。作者认为,无障碍UI设计并非难事,且能带来诸多好处,呼吁开发者重视无障碍设计。

阅读更多
开发 无障碍UI

开源实时3D地图引擎Streets GL:构建虚拟世界的基石

2025-01-07

Streets GL是一个强大的开源实时3D地图引擎,为开发者提供构建逼真虚拟世界所需的一切工具。它基于WebGL,性能卓越,能够流畅渲染海量地理数据,并支持自定义材质、灯光和特效。无论是构建城市模拟器、游戏地图还是沉浸式虚拟现实应用,Streets GL都能轻松胜任。其开源特性也使其成为开发者社区的宝贵资源,不断迭代更新,功能日益完善。

阅读更多

亚马逊程序验证教学材料公开:Dafny进阶指南

2025-06-02

亚马逊公开了一套使用Dafny进行程序验证的教学材料,该材料不仅涵盖Dafny编程语言本身,更深入探讨了其作为证明辅助工具的强大功能。课程分为三个部分:第一部分介绍Dafny编程语言基础;第二部分深入讲解Dafny作为证明辅助工具的使用,包括自然演绎等形式化证明方法;第三部分结合前两部分内容,讲解如何使用Dafny进行程序验证,涵盖函数式、命令式和面向对象程序的验证。这套材料不仅适合初学者入门,也为经验丰富的Dafny开发者提供了进阶学习的机会。

阅读更多
开发

Claude用汇编语言绘制分形图

2025-07-02
Claude用汇编语言绘制分形图

作者突发奇想,让Claude AI生成一段x86汇编代码,绘制曼德勃罗集分形图。最初生成的代码无法编译运行,作者利用Claude Code,通过迭代式的调试和修改,最终成功在Docker容器中编译并运行代码,生成了令人满意的ASCII艺术分形图。整个过程展现了Claude Code强大的代码理解和调试能力。

阅读更多
开发

Rapid Storage:基于Colossus的超高速可追加存储

2025-04-10
Rapid Storage:基于Colossus的超高速可追加存储

谷歌的Rapid Storage利用Colossus架构实现了每秒2000万请求的超高吞吐量,并为AI/ML应用提供了亚毫秒级延迟的读写能力。通过gRPC流式传输和状态化协议,Rapid Storage显著提升了数据访问效率,尤其在模型预训练等场景下,避免了存储延迟对加速器的阻塞。其独特的容错机制,即使在客户端或服务器故障的情况下,也能保证数据一致性和连续性,实现了无限追加和断点续传,为大规模数据处理提供了强有力的支持。

阅读更多

苹果AI新突破:Activation Transport (AcT)实现对生成模型的精细控制

2025-04-10
苹果AI新突破:Activation Transport (AcT)实现对生成模型的精细控制

苹果机器学习研究人员开发了一种名为Activation Transport (AcT) 的新技术,该技术能够对大型生成模型(包括语言模型和图像生成模型)的输出进行精细控制,而无需大量的计算资源或数据。与传统的强化学习或微调方法不同,AcT 通过操纵模型的激活来实现对输出的引导,具有模型无关性和低计算开销的优点。实验结果表明,AcT 在减少模型输出中的毒性、提高生成文本的真实性以及控制图像生成风格等方面都取得了显著成效。这项技术为构建更安全、更可靠的生成模型提供了新的途径。

阅读更多

LLM Hacker News 插件:一键获取 Hacker News 内容摘要

2025-04-08
LLM Hacker News 插件:一键获取 Hacker News 内容摘要

一个名为 `llm-hacker-news` 的新 LLM 插件可以让你轻松获取 Hacker News 上的对话内容摘要。只需安装插件,然后使用 `llm -f hn:ID '你的指令'` 命令(例如 `llm -f hn:43615912 '总结并引用关键语句'`),即可获得指定对话 ID (ID可在对话链接中找到) 的摘要。插件安装和本地运行方法也已在README中详细说明。

阅读更多
开发

1950年帕洛玛巡天图像中的神秘瞬变现象:宇宙射线还是人为污染?

2025-02-05
1950年帕洛玛巡天图像中的神秘瞬变现象:宇宙射线还是人为污染?

1950年的帕洛玛巡天图像(POSS-I)中,发现了9个同时出现的类似恒星的瞬变现象,其成因引发了科学家的广泛讨论。文章排除了许多可能性,例如宇宙射线、流星体碎片、飞机闪光灯等。研究人员认为,这可能是由于放射性粒子污染了照相底片,这与当时美国和苏联进行的原子弹试验有关。然而,由于1949年至1951年间没有官方的原子弹试验,研究人员也提出了一种替代解释,即这些瞬变现象可能是来自地球同步轨道上的小型反射物体,例如人造卫星碎片。最终,文章得出结论,由于缺乏原始底片进行微观检查,污染和人造卫星碎片这两种解释都无法被完全排除。这项研究突显了在公民科学项目中发现异常现象的重要性。

阅读更多

Proba-3:首次实现人造日全食,揭秘太阳日冕

2025-06-20
Proba-3:首次实现人造日全食,揭秘太阳日冕

欧洲航天局的Proba-3任务取得重大突破,其两颗卫星通过精准编队飞行,首次在轨道上成功制造了“人造日全食”,并拍摄到太阳外层大气——日冕的图像。这一壮举不仅验证了编队飞行技术的精确性,也为研究太阳风和日冕物质抛射等现象提供了宝贵数据,有助于提升我们对太阳及其神秘大气层的理解。Proba-3搭载的ASPIICS仪器能够捕捉到比传统日冕仪更精细的日冕图像,而DARA仪器则测量太阳的总辐射量。这项任务将帮助科学家解开长期以来关于太阳日冕温度远高于其表面温度的谜团,并为改进空间天气预报模型提供支持。

阅读更多
科技

开源AI平台Onyx:连接企业文档、应用和人员的智能搜索引擎

2025-03-04
开源AI平台Onyx:连接企业文档、应用和人员的智能搜索引擎

Onyx(前身为Danswer)是一个开源的AI平台,能够连接你的公司文档、应用程序和员工。它提供了一个功能丰富的聊天界面,并支持多种大型语言模型(LLM)。Onyx可以通过40多个连接器(如Google Drive、Slack、Confluence等)同步知识和访问控制。你可以创建自定义AI代理,赋予其独特的提示、知识和操作能力。Onyx支持多种部署方式,包括本地部署、私有云部署和公有云部署,并提供社区版和企业版。企业版包含更多功能,例如高级安全特性、知识管理功能和可扩展的部署选项,适合大型组织使用。

阅读更多
开发 企业搜索
1 2 803 804 805 807 809 810 811 1084 1085