内存高效地将数据流式传输到 Parquet 文件
这篇文章介绍了Estuary Flow如何克服将流数据高效写入Parquet文件的内存限制挑战。由于流数据是基于行的,而Parquet是列式存储格式,因此直接写入会导致内存问题。文章详细介绍了Estuary Flow采用的“两阶段写入”解决方案:首先将数据以较小的行组写入临时文件,然后在第二阶段将这些小行组合并成更大的行组,最终生成内存效率高的Parquet文件。
阅读更多
这篇文章介绍了Estuary Flow如何克服将流数据高效写入Parquet文件的内存限制挑战。由于流数据是基于行的,而Parquet是列式存储格式,因此直接写入会导致内存问题。文章详细介绍了Estuary Flow采用的“两阶段写入”解决方案:首先将数据以较小的行组写入临时文件,然后在第二阶段将这些小行组合并成更大的行组,最终生成内存效率高的Parquet文件。
阅读更多
贝尔实验室,20世纪科技创新的摇篮,其辉煌成就离不开其独特的历史环境和科技体制。作为AT&T的子公司,贝尔实验室受益于母公司的垄断地位和对研发的巨额投入,得以进行长期、广泛的科学研究,并吸引了大量顶尖人才。然而,随着科技的进步,贝尔实验室赖以生存的垄断体制逐渐被瓦解,其研发成果也逐渐被其他公司所利用。如今,尽管诺基亚贝尔实验室依然存在,但昔日的辉煌已难以重现。
阅读更多
印度最大的加密货币交易所之一WazirX在遭遇安全漏洞,损失2.3亿美元(近一半储备金)后,暂停了平台上的所有提款。该公司表示,其一个多签钱包遭遇了安全漏洞,攻击者利用Liminal平台显示数据和实际交易内容之间的差异,将钱包控制权转移。WazirX正在尽一切努力追回资金,并与相关方合作进行调查。
阅读更多
Igneous Linearizer是一个将代码存储为超文本的工具,它利用Obsidian的链接、反向链接、重命名、属性和嵌入功能,将代码文件连接在一起,并最终转换为可执行的代码。与将抽象语法树存储在数据库中不同,它不保证语法正确,但提供了更传统的开发体验,可以使用任何文本编辑器和Git。它支持多种编程语言,并特别适用于发布、文化编程和原型设计。
阅读更多
College Pulse 是一家专注于大学生研究和分析的公司,致力于提供准确的数据和见解,为企业、大学和公众提供服务。公司正在招聘研究分析师,负责问卷调查开发、数据分析、报告撰写、客户沟通等工作。应聘者需具备市场研究、调查研究或社会科学等相关领域经验,熟练使用 Qualtrics 等工具,具备良好的数据分析和沟通能力。
阅读更多
Qocker 是一款使用 PyQt5 构建的用户友好型 GUI 应用程序,用于管理 Docker 容器。它提供了一个直观的界面,用于查看和与 Docker 容器进行交互,功能包括容器概览、快速终端访问、容器管理、实时更新以及跨平台支持。
阅读更多
一项新的研究表明,澳大利亚巨蜥可以通过减少绿头苍蝇的数量,每年为澳大利亚养羊户节省数百万美元,因此必须优先考虑将其纳入保护计划,以促进当地野生动物的数量。巨蜥是一种大型食腐蜥蜴,通过清除周围环境中被蛆虫腐蚀的动物尸体来充当天然的清洁队。这减少了绿头苍蝇的出现,绿头苍蝇通过在绵羊背部产卵来攻击绵羊,这些卵孵化成食肉蛆。
阅读更多
N64Recomp项目能够将任天堂64游戏重新编译成本地PC端口,从而实现光线追踪、超宽分辨率、高帧率等图形增强功能。与完全反编译不同,N64Recomp提供了更快捷的移植方式,为游戏保存者和爱好者提供了更好的体验。
阅读更多
龙与地下城发行商威世智宣布,其2024年版规则将采用 Creative Commons 许可证发布。新的系统参考文件(SRD 5.2)将包含2024年版玩家手册、地下城主指南和怪物图鉴中的所有核心内容,包括职业特性、怪物、规则表述等,但不包括被视为知识产权的内容,例如 beholder 或 Baldur's Gate 的设定。SRD 5.2 将在2025年2月发布的2025年版怪物图鉴出版后的几周内发布,并将提供所有龙与地下城书籍语言的版本。
阅读更多
Grafana Labs 发布了开源的 OpenTelemetry Datadog 接收器代码,允许用户将 Datadog 指标格式转换为 OTLP 格式,并发送到任何兼容 OpenTelemetry 的指标系统。该代码已在 Grafana Alloy 中提供,并已提交到 OpenTelemetry 上游进行审查。文章还介绍了如何配置 Datadog Agent 将指标数据转发到 Alloy,以及 Grafana Labs 如何帮助客户将仪表板、警报和 SLO 从 Datadog 迁移到 Grafana Cloud。
阅读更多
一位开发者成功地在运行DOS的古董PC上运行了大型语言模型(LLM)!他利用Andrej Karpathy的llama2.c项目,将Meta的Llama 2模型移植到DOS系统,并在Thinkpad T42(2004)和Toshiba Satellite 315CDT(1996)等老旧电脑上进行了演示。尽管面临着内存映射、浮点运算等挑战,他最终通过Open Watcom编译器和DOS扩展器成功运行了模型,虽然速度较慢,但这项成就令人惊叹,展现了复古计算的魅力。
阅读更多
Ares Industries 正在研发一种新型低成本反舰巡航导弹,目标是以现有巡航导弹十分之一的成本和尺寸,提供美军所需的作战能力。他们认为,在与中国潜在的台海冲突中,美军现有的昂贵且庞大的反舰导弹库存不足,无法有效应对中国大量的小型舰艇和无人水面舰艇。Ares Industries 开发的低成本、小型化巡航导弹旨在填补这一空白,增强美军的反舰作战能力。
阅读更多
由于存在停车或行驶过程中起火的风险,起亚美国公司召回了约46万辆2020年至2024年款的Telluride汽车。召回原因是前排电动座椅电机可能会因电动座椅滑动旋钮卡住而过热,从而可能导致起火。起亚建议车主在维修完成之前,将车辆停放在室外,远离其他车辆和建筑物。
阅读更多
Quary是一个面向工程师的开源商业智能工具,它允许工程师连接到数据库,编写SQL查询以转换、组织和记录数据库中的表,并创建图表、仪表板和报告。Quary支持多种数据库,并允许工程师定义和管理模型、图表、仪表板和报告等资产。
阅读更多
本文介绍了如何在 Nordic nRF9160dk 微控制器上使用 TrustZone-M 技术构建一个简单的安全应用程序。作者从两个简单的裸机示例项目开始,逐步添加代码和配置,实现了安全侧和非安全侧之间的通信。文章详细介绍了如何编写非安全入口函数、配置链接器脚本、设置内存区域以及构建和链接安全和非安全镜像。
阅读更多
本文探讨了如何组织大型Rust代码库,但由于网站需要启用JavaScript才能正常显示内容,无法获取文章具体内容进行总结。
阅读更多
文章讨论了量子密钥分发(QKD)和后量子密码学(PQC)两种量子安全技术。中国在QKD研究和开发方面处于领先地位,而美国则专注于PQC。QKD基于量子物理学,安全性更高,但需要专门的硬件设施;PQC基于复杂的数学算法,可在传统计算机上运行,但其安全性尚未得到完全验证。文章认为,PQC可能会成为未来安全通信的默认标准,而QKD则可能在混合安全通信和量子互联网等方面发挥重要作用。
阅读更多
本文讲述了作者参与 Prefix.dev 开发 resolvo(一种基于 SAT 的依赖解析器)并修复 bug 的经历。作者首先介绍了 bug 的背景,即求解器在遇到预期无法到达的代码时意外崩溃。之后,作者详细描述了他是如何利用 GitHub 用户 sumanth-manchala 提供的最小可复现示例和单元测试来调试和修复 bug 的。最后,作者反思了更好的调试工具的必要性,并表示 resolvo 的内部逻辑已经比较完善,未来出现 bug 的可能性较小。
阅读更多
文章探讨了C语言的奇特语法,展示了如何利用switch语句、goto语句以及GNU扩展等特性,编写出令人困惑但仍然有效的C代码。作者通过一系列示例,揭示了C语言不为人知的语法角落,例如省略switch语句的花括号、在case标签前使用条件语句、以及利用&&运算符获取标签地址等技巧。
阅读更多
本文对三种开源BGP协议栈BIRD、FRRouting和GoBGP进行了简单的性能比较。测试指标包括建立邻居连接的时间、传递路由的时间以及资源使用情况。结果表明,BIRD和FRRouting在性能上较为接近,而GoBGP的性能相对较差,资源消耗较高。文章还分析了不同测试场景下各协议栈的优缺点,并提出了未来测试方向。
阅读更多
谷歌宣布将其安卓地震警报系统扩展到美国所有50个州和6个地区。该系统最初于2020年推出,利用手机内置的加速度计来检测地震,并向用户提供预警。对于加利福尼亚州、俄勒冈州和华盛顿州的用户,警报将继续由ShakeAlert系统提供支持,该系统利用传统的地震仪来检测地震。
阅读更多
本文阐述了人工智能模型的训练和使用方式,以及如何制定有效的监管政策。文章重点讨论了加州SB 1047法案,该法案旨在规范人工智能,但由于缺乏对技术细节的理解,可能阻碍开源人工智能的发展,并最终损害人工智能安全。作者建议将监管重点从发布模型转向部署系统,并强调开源人工智能在安全和创新方面的关键作用。文章还讨论了人工智能模型的双重用途,以及如何平衡安全与创新的关系。
阅读更多
这篇 React Pull Request 提议停止预渲染 Suspense 组件的兄弟组件。其论点是,预渲染兄弟组件的主要理由是为了启动它们可能包含的延迟加载,而延迟加载几乎总是一个坏主意。预渲染兄弟组件发生在显示加载状态之前,这会导致加载状态延迟。为了解决这个问题,应该在某些内容挂起时立即解开堆栈,以解除对加载状态的阻塞。
阅读更多
文章比较了AirGradient和Purple Air两款空气质量监测仪。Purple Air是低成本PM监测仪的先驱,其数据已被广泛研究和应用。AirGradient使用与Purple Air Classic相同的Plantower PMS5003模块,因此两者的精度非常相似。Purple Air的优势在于其功能丰富的应用程序、SD卡存储和RGB LED(Flex型号)。AirGradient Open Air的优势在于其额外的传感器模块(例如CO2传感器)、开源和开放数据许可,以及更低的价格。
阅读更多
本文介绍了一种检测PS2模拟器的方法,该方法利用了PS2浮点运算中一个特殊的错误:1*X不等于X。作者解释了这个错误的原理,并提供了一段代码来检测模拟器是否正确地模拟了这个错误。
阅读更多
Meta 公司宣布计划在 2027 年允许第三方应用向 WhatsApp 和 Messenger 用户拨打电话。这是 Meta 为遵守欧盟《数字市场法案》(DMA) 而采取的措施之一,该法案旨在促进数字市场的竞争。Meta 还计划在 WhatsApp 和 Messenger 中引入通知功能,告知用户有关第三方集成的信息,并在新的兼容第三方消息应用程序上线时向他们发出提醒。此外,Meta 将在 2025 年推出第三方聊天的群组功能,并在未来某个时间点为第三方聊天带来“富消息”功能,例如反应、直接回复、打字指示器和已读回执。
阅读更多
为了评估母马奶在酸奶冰淇淋和合生元冰淇淋生产中的可行性,研究人员开发了四种不同类型的母马奶冰淇淋。研究发现,添加菊粉可以提高酸奶细菌在冰淇淋生产过程中的存活率,并对乳酸菌的活力产生积极影响。所有冰淇淋样品都具有较低的硬度和较高的膨胀率,感官评价良好。研究结果表明,母马奶是生产酸奶冰淇淋和合生元冰淇淋的合适原料,添加菊粉可以进一步提高产品的品质。
阅读更多