llama.cpp 指南:在任何硬件上从零开始本地运行大型语言模型

2024-11-29

本文详细介绍了如何在本地硬件上运行大型语言模型(LLM),重点讲解了llama.cpp。文章首先解答了一些关于硬件需求、性能预期、响应质量以及能否替代在线LLM服务商等常见问题。然后,逐步讲解了如何在Windows和Linux系统上构建llama.cpp,获取和转换HuggingFace模型到GGUF格式,以及如何量化模型以降低资源需求并提高运行速度。文章还介绍了llama.cpp服务器的运行和设置,以及其他工具如llama-bench和llama-cli的使用方法,并深入探讨了LLM的配置选项,包括系统消息、温度、Top-K、Top-P等参数对模型输出的影响。最后,文章提供了一些模型推荐和寻找模型的资源。

阅读更多
未分类

GitHub - NyuB/ocli: OCaml CLI 迷你框架

2024-10-14

ocli 是一个受 Elm 启发的 OCaml CLI 迷你框架,提供了一系列核心库和示例应用。其中,tea 库实现了 Elm 风格的应用结构,tty 库封装了 OCaml Stdlib 的 termios 功能和 ANSI 控制序列,components 库提供了可组合的 ANSI 部件。此外,ocli 还包含一个名为 rebase_edit 的交互式 Git rebase 编辑器,以及一个名为 newbase 的 bash 包装器。

阅读更多
30
未分类 CLI 框架 Elm

改进 Xwayland 窗口大小调整

2024-10-29

本文介绍了KDE Plasma Wayland会话中Xwayland窗口大小调整的改进。X11窗口在Wayland环境下调整大小时存在视觉缺陷,因为Wayland合成器接收XSync请求确认和图形缓冲区之间没有严格的顺序。KWin通过阻止wl_surface提交,直到收到XSync确认和新的图形缓冲区,解决了这个问题,从而实现了更流畅的窗口大小调整体验。

阅读更多
未分类 Xwayland

可调谐超声波在微型超材料中的传播

2024-11-26

麻省理工学院机械工程系的研究人员开发了一种新的设计框架,用于控制超声波在微型声学超材料中的传播。该框架通过精确放置微型球体来调节超声波在三维微型超材料中的传播速度,实现波导或聚焦响应。研究人员通过实验证明了微型材料中可调谐的弹性波速,并展示了一个声学多路复用器。这项工作为超声成像或通过超声传输信息的微型设备和组件的开发铺平了道路,并推进了微型声学超材料的制造和表征能力。

阅读更多
未分类 微型器件

已探测到的最大奥尔特云天体:彗星 C/2014 UN 271 (Bernardinelli-Bernstein) 的大小和反照率

2024-11-23

研究人员利用ALMA在扩展配置下测量了奥尔特云彗星C/2014 UN271 (Bernardinelli-Bernstein)的1287微米连续通量,确定其表面等效直径为137±17公里,红色几何反照率为5.3±1.2%。这证实了C/2014 UN271是迄今为止发现的最大的奥尔特云天体,几乎是彗星C/1995 O1 Hale-Bopp的两倍大,也是太阳系中已知的最大彗星(除具有爆发活动的半人马小行星95P/Chiron外)。该天体的反照率与典型彗星相似,进一步证实了彗核反照率的普遍性。

阅读更多
7

用Python包管理工具解决布尔可满足性问题和整数规划问题

2024-11-26

本文介绍了如何利用Python包管理工具(如pip和uv)解决布尔可满足性问题(SAT)和整数规划问题(IP)。作者将SAT问题转化为包依赖关系问题,利用包版本表示布尔变量,通过pip或uv安装包来判断SAT问题是否可满足。文章还进一步解释了如何将IP问题转化为SAT问题,并通过一系列转换和编码,最终利用pipip(作者开发的工具)解决IP问题。文章提供了多个SAT和IP问题的示例,并讨论了使用pip-compile和uv作为包管理工具时的性能差异。

阅读更多
7
未分类 SAT

研究发现:孤独者思考和说话方式异于常人

2024-11-25

两项神经影像学研究发现,孤独个体的内侧前额叶皮层(大脑中负责编码和检索社会知识的区域)对知名名人的神经表征与群体典型表征存在差异。孤独者更倾向于使用不寻常的语言来描述名人,并且描述方式与其群体不同。研究表明,孤独者对当代文化的认知表征与社会环境中普遍接受的认知表征有所偏差,导致他们认为自己的想法不被他人分享,从而加剧孤独感。

阅读更多
未分类 孤独 社交认知

在 Zep 工作

2024-11-09

Zep 公司致力于构建 AI 的基础记忆层,旨在使 AI 代理能够访问正确的数据,并执行复杂任务。公司提供具有竞争力的薪酬、福利和灵活的办公政策,包括高额的医疗保险、股票期权、无限假期和远程工作选择。招聘流程包括视频面试、团队面试和 CEO 最终面试三个环节。

阅读更多
未分类

图解范畴论——逻辑

2024-10-25

本文介绍了逻辑学的基本概念,包括命题、逻辑运算符、重言式、公理模式/推理规则以及逻辑系统。文章还探讨了经典逻辑和直觉主义逻辑两种不同的逻辑学派,并阐述了它们在真值函数解释和BHK解释下的区别。最后,文章将逻辑与范畴论联系起来,讨论了逻辑命题与蕴涵关系如何构成范畴,并介绍了笛卡尔闭范畴、逻辑与序的关系,以及如何用序理论和范畴论来表示逻辑运算和证明逻辑定理。

阅读更多

HPV疫苗接种:全球如何消除宫颈癌

2024-11-09

宫颈癌每年导致超过30万女性死亡,主要由人乳头瘤病毒(HPV)感染引起。HPV疫苗可有效预防HPV感染,从而降低宫颈癌发病率。部分国家已通过学校疫苗接种项目显著降低了年轻女性宫颈癌患病率。虽然疫苗和筛查手段有效,但许多国家,尤其是非洲和东南亚地区,疫苗接种率仍然较低,这与疫苗供应不足、费用高昂以及公众的误解有关。全球范围内推广HPV疫苗接种和早期筛查,结合对成年人的补种,到2100年可预防近5000万例宫颈癌病例。

阅读更多

你也可以写一本书!

2024-11-09

本文主要针对学者,鼓励他们将讲义整理成书。作者认为,学者们花费大量时间组织课堂内容,这些内容与书籍的差距比想象中要小。一学期30节课,每节课准备4-6页讲义,累积起来就是一本200页左右的书。作者鼓励学者出版自己的书籍,分享观点,并认为这有助于吸引优秀的博士申请者,改进现有教材的不足,推广新的教学工具和理念。作者还建议学者通过免费在线出版、按需印刷等方式降低书籍成本,并定期更新版本,方便读者反馈。

阅读更多
未分类

实现一个小型 CPU 光栅化器

2024-11-02

本文是一个关于用C++从零开始实现一个基本的CPU光栅化引擎的教程系列。它不涉及GPU,而是手动绘制像素,模拟GPU通常为我们执行的操作。该教程分为12个部分,涵盖了引擎的各个方面,从绘制第一个像素到高级内容和优化。该项目的所有代码都可以在GitHub上找到,每个提交对应于系列中的每一篇文章。

阅读更多
未分类 CPU光栅化

她是佛罗里达最致命的蟒蛇猎手之一,但她仍然对这种入侵生物情有独钟

2024-10-18

唐娜·卡利尔是佛罗里达州最早的专业蟒蛇猎手之一,她致力于猎杀入侵佛罗里达大沼泽地的缅甸蟒蛇。缅甸蟒蛇作为外来宠物贸易的一部分来到佛罗里达,并对当地生态系统造成了严重破坏。卡利尔和其他猎手的努力有助于控制蟒蛇的数量,保护了当地的野生动物。

阅读更多
未分类 蟒蛇

编写安全的 Go 代码

2024-11-04

本文介绍了编写安全 Go 代码的几种实践方法,包括订阅 Go 邮件列表获取安全公告、及时更新 Go 版本以修复漏洞、使用静态代码分析工具(如 go vet、staticcheck 和 golangci-lint)检测代码问题、使用 govulncheck 检测漏洞、使用 gosec 查找不安全的代码结构以及使用 fuzzing 进行模糊测试。文章强调了持续应用这些实践的重要性,并鼓励开发者深入学习 CWE 漏洞信息和 OpenSSF 最佳实践。

阅读更多
17
未分类

Java类文件API入门指南

2024-11-16

本文简要介绍了Java类文件API(JEP 484),该API提供了一种解析、生成和转换Java类文件的标准方法。文章以一个简单的示例程序为例,演示了如何使用该API生成JVM字节码,创建新的对象,并基于随机数进行分支。作者详细解释了如何使用API的各种方法和类,例如ClassDesc、MethodTypeDesc、ConstantDescs等,来构建类文件、字段、构造函数和方法。同时,文章还提到了javap工具的使用,以及JVM作为栈基虚拟机的基本原理。

阅读更多

FaCT:Python 中的时序敏感分析

2024-11-17

本文探讨了如何在 Python 中进行时序敏感分析,特别是针对加密等对时间一致性要求严格的应用场景。文章使用了 FaCT DSL 定义具有可预测执行时间的函数,以防止时间泄露。文中通过模拟排序、搜索等不同计算复杂度的函数,并测量其执行时间,演示了如何评估和控制代码的执行时间稳定性。代码示例展示了如何创建一个排序随机数组的函数,并通过引入可选的延迟来模拟时间不一致性,进而测量执行时间,最终绘制了不同输入大小下执行时间一致性的图表。

阅读更多

Jellyfin 10.10.0 发布

2024-10-27

Jellyfin 10.10.0 版本发布,带来了新的功能、改进和错误修复。主要变化包括弃用 Raspberry Pi V4L2 硬件转码支持,计划逐步淘汰 32 位 ARM 支持,使用系统临时存储引擎存储临时文件,服务器启动时强制检查 ffmpeg 版本等。新功能包括支持媒体片段管理、改进 Trickplay 功能、增强转码和播放功能、优化元数据支持以及改进 Web 界面等。

阅读更多
未分类

大型语言模型发展已现瓶颈

2024-11-10

Gary Marcus再次强调大型语言模型(LLM)的扩展效应正在减弱,投资回报率递减。知名风险投资家Marc Andreesen和行业期刊《The Information》的编辑Amir Efrati也证实了这一观点。Marcus认为,单纯依靠扩大数据和算力无法解决LLM的根本缺陷,如“幻觉”和缺乏抽象能力。他警告说,LLM的经济效益可能不佳,因为高昂的训练成本和日益激烈的竞争将导致利润下降。过度依赖LLM的现状也对美国AI政策和投资策略产生了负面影响,其他AI研究方向的资金投入不足。Marcus呼吁重新审视AI发展方向,寻求更可靠、可信的AI解决方案。

阅读更多
未分类 瓶颈

布尔值陷阱

2024-11-10

文章指出,在软件开发中,过度使用布尔值进行领域建模会导致问题。作者以“门”和“公司合同状态”为例,说明了随着需求变化,简单的布尔值无法准确表达复杂的状态,最终导致代码难以维护和测试。作者建议使用枚举和枚举集来替代布尔值,从而更清晰地定义状态,并减少潜在的逻辑错误。虽然布尔值在技术层面仍然有用,但在业务逻辑和领域建模中应谨慎使用。

阅读更多
未分类 领域建模

Oasis:Transformer打造的实时开放世界AI模型

2024-11-01

Oasis是首个可玩的实时开放世界AI模型,它本质上是一个完全由AI生成的电子游戏。该模型接受用户键盘输入并实时生成游戏画面,包括物理引擎、游戏规则和图形,玩家可以在其中移动、跳跃、拾取物品、破坏方块等。Oasis采用Transformer架构,由空间自动编码器和潜在扩散主干组成,并使用Decart的推理引擎实现实时视频生成。虽然Oasis目前仍处于技术演示阶段,但其展现了未来 foundation 模型和消费产品的巨大潜力,例如通过文本、音频等方式控制游戏。目前Oasis已开源5亿参数模型的代码和权重,并提供了一个更大checkpoint的在线试玩demo。

阅读更多
未分类

德法波意西英外长在华沙发表联合声明

2024-11-19

德国、法国、波兰、意大利、西班牙和英国六国外长在华沙举行会议,讨论欧洲安全挑战,并发表联合声明。声明谴责俄罗斯对乌克兰的侵略战争,指出俄罗斯的修正主义和持续侵略行为挑战了欧洲及跨大西洋地区的和平、自由与繁荣。六国决心加强团结,共同应对安全挑战,加强北约和欧盟的合作,增加安全防务支出,支持乌克兰,并对俄罗斯实施制裁。

阅读更多

事件驱动架构中事件的双重性质

2024-11-01

本文探讨了事件驱动架构中事件的双重性:触发动作和携带数据。作者认为事件应该同时包含这两个方面,并建议在事件中包含事件原因、变化数据以及尽可能完整的实体状态快照。这种方法既能满足软件工程师对事件作为触发器的需求,又能满足数据工程师对数据完整性的需求。文章还讨论了不同类型的事件,例如“宽事件”,以及在不同场景下如何选择合适的事件设计策略。

阅读更多
未分类

我们如何用算法开发软件

2024-11-10

本文探讨了软件开发方法论,作者引用了一位科技CEO的经验,即每天从头开始编写功能,如果当天无法完成就删除重写,以此提高代码质量。此外,作者还提出了“反复重写”和“先完成一定代码量”的观点,认为反复重写能加深对代码模式的理解,而一定的代码量是掌握编程技能的基础。文章还介绍了“枪顶着头”启发式方法,通过设定极短的 deadline 来打破思维定势,寻找更优的解决方案。最后,作者将这些方法论与寻路算法进行类比,强调了软件工程师在问题空间中寻找最佳路径的重要性。

阅读更多
未分类

人工智能赋能量子计算

2024-11-16

这篇论文综述了人工智能(AI)技术在量子计算(QC)领域的应用。由于量子计算的复杂性和高维度数学特性,AI的数据驱动学习能力使其成为解决量子计算扩展挑战的关键。文章探讨了AI如何改进量子计算的硬件和软件,涵盖了从设备设计到应用的各个方面,并展望了AI在量子计算领域的未来机遇和挑战。

阅读更多
11
未分类 AI赋能

婴儿的第二个垃圾回收器

2024-11-23

本文介绍了婴儿的第二个垃圾回收器,是对经典垃圾回收教程的改进。文章重点讲解了复制式垃圾回收器的实现,并通过图示详细解释了Cheney算法的步骤。该算法将内存分为两个区域,将活动区域中的存活对象复制到非活动区域,然后清除活动区域。文章还讨论了复制式垃圾回收器的优缺点,例如减少碎片、降低活动对象的工作量,但也存在空间利用率减半、无法处理析构函数和指针不稳定的问题。

阅读更多

使用PEG实现运行时可扩展SQL解析器

2024-11-23

本文讨论了如何利用解析表达式语法(PEG)改进SQL解析器,使其支持运行时扩展。传统SQL解析器基于过时的技术,难以适应新的语法和语言扩展。PEG解析器允许动态修改语法,支持语法扩展、新语句甚至全新查询语言,例如将dplyr集成到SQL解析器中。文章通过实验验证了PEG的可行性,并展示了其在添加UNPIVOT语句、扩展SQL/PGQ图模式以及改进错误消息方面的应用。虽然PEG解析器在原型阶段的性能略逊于传统解析器,但其灵活性和可扩展性为SQL解析器现代化提供了 promising 的方向。

阅读更多

难以掌控的理论:把手理论的难题

2024-11-10

本文探讨了“把手”的概念,并列举了粉笔、香烟、肥皂等难以界定把手的物品。作者从这些“难题”出发,分析了把手的几个关键特征:必须易于抓握、与主体分离、具有服务功能、人造而非自然。文章还探讨了名字作为一种特殊的“把手”的可能性,以及香烟作为一种短暂的“生活把手”的隐喻。最后,作者反思了在日常生活中,一些曾经常见的物品(如粉笔、香烟)逐渐被淘汰的现象,以及它们残留的“把手”所引发的思考。

阅读更多
未分类 把手 日常物品

国际通信卫星33e在轨道上解体

2024-10-21

2024年10月19日,国际通信卫星组织(Intelsat)旗下的Intelsat 33e卫星在静止轨道上解体并失去动力,导致欧洲、非洲和亚太部分地区的客户通信服务中断。美国太空部队报告称,正在追踪与该卫星相关的约20块碎片。Intelsat正在努力将客户转移到其机队中的其他卫星或第三方运营的航天器。Intelsat 33e于2016年8月发射,原计划寿命为15年,但由于推进器问题,实际寿命缩短至约11.5年。

阅读更多
未分类 轨道解体
1 2 79 80 81 83 85 86 87 529 530