BitNet: 微软开源的一比特大语言模型推理框架
BitNet 是微软开源的一比特大语言模型推理框架,支持在CPU上进行快速和无损的1.58位模型推理,未来还将支持NPU和GPU。它在ARM CPU上实现了1.37倍到5.07倍的加速,在x86 CPU上实现了2.37倍到6.17倍的加速,同时显著降低了能耗。BitNet 还可以在单个CPU上运行100B的BitNet b1.58模型,速度可达每秒5-7个token。
阅读更多
BitNet 是微软开源的一比特大语言模型推理框架,支持在CPU上进行快速和无损的1.58位模型推理,未来还将支持NPU和GPU。它在ARM CPU上实现了1.37倍到5.07倍的加速,在x86 CPU上实现了2.37倍到6.17倍的加速,同时显著降低了能耗。BitNet 还可以在单个CPU上运行100B的BitNet b1.58模型,速度可达每秒5-7个token。
阅读更多
Media Popup Player 是一款允许用户在音乐控制栏的专辑插图上观看视频的开源 JavaScript 库。它支持 Windows 和 iOS 系统,并提供绑定视频、设置尺寸、设置帧率和卸载等 API。
阅读更多
本文是 ITX-Llama 电脑的组装指南,介绍了安装 Vortex86EX SOM、配置跳线、使用 PS/2 和 USB HID、音频输入、刷 BIOS、安装 DOS 和 Windows 98 系统及驱动程序、使用风扇和 mt32-pi 等内容。
阅读更多
这篇文章介绍了一个名为“无需搜索的国际象棋大师级模型”的研究项目。该项目训练了一个2.7亿参数的Transformer模型,用于在下棋时进行策略选择和价值评估,并达到了国际象棋大师级的水平。该模型在包含1000万局棋谱的数据集上进行训练,并使用Stockfish 16引擎提供的行动价值进行标注。研究结果表明,模型的棋力随着模型规模和数据集大小的增加而提高,并且在没有使用任何特定领域调整或显式搜索算法的情况下,成功地解决了一系列具有挑战性的棋局。
阅读更多
OpenVMM 是一个用 Rust 编写的新 VMM,适用于 Windows 和 Linux。它包含开发者指南,特别是入门部分,指南以 Markdown 文件的形式发布。OpenVMM 欢迎贡献和建议,但需要同意贡献者许可协议。
阅读更多
Greenmask 是一款功能强大的开源工具,用于逻辑数据库备份转储、匿名化、合成数据生成和恢复。它基于 PostgreSQL 库,可靠且与现有 PostgreSQL 工具向后兼容。Greenmask 提供确定性转换器、动态参数、模式差异、分区表转换继承等功能,适用于备份和恢复、匿名化、数据屏蔽等场景。
阅读更多
🍓 Ichigo(原llama3-s)是一个开源的实时语音AI研究项目,目标是扩展基于文本的LLM,使其具备原生“倾听”能力。它采用受Meta的Chameleon论文启发的早期融合技术,使用WhisperSpeechVQ对连续语音数据进行预训练,并通过在交织的合成数据上进行训练来增强模型的音频指令遵循能力。Ichigo v0.3模型在更清晰、改进的数据集上进行训练,实现了63.79的增强MMLU得分,并展现出更强的语音指令遵循能力,甚至在多轮交互中也是如此。
阅读更多
h2tunnel 是一款类似于 ngrok 或 ssh -L 的隧道工具,它使用 TLS 和 HTTP2 在客户端和服务器之间建立隧道,从而将本地服务器暴露到互联网。它使用自签名证书进行身份验证,并提供命令行工具和 Node.js 库两种使用方式。
阅读更多
Kalmangrad是一个Python包,用于计算非均匀采样时间序列数据的自动化、平滑的N阶导数。该方法利用贝叶斯滤波技术来计算高达任何指定阶数的导数,为对噪声敏感的传统数值微分方法提供了一种强大的替代方案。
阅读更多
这篇文章是对高通 Windows AI PC 中 NPU 性能进行基准测试的代码示例介绍。测试结果显示,NPU 的性能远低于预期,仅达到了宣传的 45 万亿次/秒 的 1.3%。作者分析了可能的影响因素,包括计算绑定、电源设置、模型拓扑结构、配置错误和 Onnx 框架等,并希望通过软件改进或其他 API 来提升 NPU 的性能。
阅读更多
Forscape 是一种面向科学计算的编程语言和编辑器,专注于解决工程问题,具备低成本抽象、安全检查和直观的用户体验。它支持数学渲染,可像科学论文和笔记一样对矩阵、分数和符号等对象进行编程。该编辑器提供矩阵语法高亮、维度检查、悬停显示维度等功能。Forscape 采用 MIT 许可证,核心代码库开源,但部分附加模块将进行商业销售。
阅读更多
Asterinas 是一个安全、快速且通用的操作系统内核,使用 Rust 编写并提供与 Linux 兼容的 ABI。它致力于增强内存安全和开发者友好性,采用 framekernel 架构,使用 Rust 作为唯一编程语言,并将 unsafe Rust 的使用限制在最小范围内。Asterinas 提供更友好的开发体验,允许开发者使用 Rust 语言、OSDK 工具包,并灵活选择内核模块的开源或专有发布方式。
阅读更多
x.md 是一款通用的命令行工具,允许你从一个或多个 Markdown 文件中执行 shell 脚本、JavaScript 和 Python 代码。它可以替代 Makefile 或 package.json 脚本,并通过 Markdown 代码块提供内置语法高亮显示。其主要功能包括:支持 Zsh、JavaScript 和 Python 的多语言执行;使用 Markdown 文件组织和运行命令;利用 Markdown 代码块提高可读性;以及提供 ZSH 命令补全以实现更流畅的工作流程。
阅读更多
Bloxtor是一个面向无代码、低代码和专业开发者的智能Web应用开发框架,它可以将代码转换为可视化环境,反之亦然。该框架旨在提供一个集中的、人工智能驱动的Web开发平台,使技术和非技术开发者都能轻松创建任何类型的Web应用程序,同时为程序员提供强大的开发工具。
阅读更多
Pumpkin 是一个完全用 Rust 编写的 Minecraft 服务器,致力于提供快速、高效和可定制的游戏体验。它专注于性能和玩家体验,同时遵循游戏的核心机制。Pumpkin 旨在实现多线程、兼容性、安全性、灵活性以及可扩展性,但它不会成为原版服务器的替代品,也不兼容其他服务器的插件或模组。
阅读更多
这篇文章详细介绍了如何使用原生C语言创建一个微型张量库,并以此为基础解释神经网络的基本原理和训练过程。文章首先解释了神经网络的概念,将其类比为一个函数,并以图像识别为例展示了神经网络的结构和工作方式。接着,文章介绍了张量的概念,以及如何使用C语言中的结构体表示和操作张量。随后,文章解释了损失函数的作用,以及如何使用梯度下降法优化损失函数以训练神经网络。文章还详细介绍了自动梯度计算的原理和实现方法,并通过矩阵乘法、ReLU和logsoftmax等操作的示例代码展示了如何实现神经网络中的各种操作。最后,文章以MNIST手写数字识别为例,展示了如何使用该微型张量库训练一个简单的神经网络,并解释了训练过程中涉及的超参数选择和训练技巧。
阅读更多
这篇文章详细介绍了如何使用 Metal 渲染 API 在 Apple Vision 上高效绘制图形,涵盖了 compositor services、variable rate rasterization、vertex amplification、渲染线程、帧提交等关键概念,并提供了一些代码示例和注意事项。
阅读更多
Adaline Gateway 是一款用于调用200多种大型语言模型(LLM)的本地生产级超级SDK。它提供简单、统一、强大的接口,具备批处理、重试机制、缓存、回调和OpenTelemetry支持等功能,并支持自定义插件扩展。Adaline Gateway 完全本地化,不依赖代理,支持即插即用的自定义模型,适用于各种基础设施和企业级应用。
阅读更多
Payload 是一款开源全栈 Next.js 框架,提供 TypeScript 后端和管理面板,可用作无头 CMS 或构建应用程序。它具有 GraphQL、REST 和本地 API,可定制的 ReactJS 管理界面,支持本地文件存储和上传、版本历史记录、草稿、字段级本地化、基于块的布局构建器、可扩展的 SlateJS 富文本编辑器等功能。
阅读更多
Gosub 是一款处于开发阶段的网页浏览器,该项目包含 HTML5/CSS3 解析器、文档树、渲染引擎等组件。该引擎旨在解析字节流,生成 HTML5 文档树和 CSS 样式表,并将其渲染到窗口或终端。目前,Gosub 可以解析并渲染简单的 HTML 页面,并支持部分 JavaScript 执行。
阅读更多
Vortex 是一个用于处理内存、磁盘和网络传输中的压缩 Apache Arrow 数组的工具包,旨在成为列式文件格式的 LLVM。它提供可扩展的编码、级联压缩、计算内核、统计信息和序列化功能,同时与 Apache Arrow 完全兼容,目标是成为 Apache Parquet 的继承者,实现更快的随机访问读取和扫描速度。
阅读更多
clipscreen 是一款能够将部分屏幕镜像到虚拟显示器的应用程序,方便用户进行屏幕共享。它会在屏幕上创建一个绿色矩形框,框选区域内的内容会被镜像到虚拟显示器上。用户可以使用任何屏幕共享工具共享虚拟显示器的内容,而无需共享整个屏幕或在不同窗口之间切换。
阅读更多
ocli 是一个受 Elm 启发的 OCaml CLI 迷你框架,提供了一系列核心库和示例应用。其中,tea 库实现了 Elm 风格的应用结构,tty 库封装了 OCaml Stdlib 的 termios 功能和 ANSI 控制序列,components 库提供了可组合的 ANSI 部件。此外,ocli 还包含一个名为 rebase_edit 的交互式 Git rebase 编辑器,以及一个名为 newbase 的 bash 包装器。
阅读更多
Orbidium 是一款使用 NASA MPC 数据库演示小行星轨道的应用程序。它提供基本的 2D 渲染功能,并能够解析 MPC 数据文件。要运行和测试该应用程序,需要安装 Django,使用命令行执行数据库迁移和数据填充,最后运行本地服务器。
阅读更多
Huly平台是一个强大的框架,旨在加速业务应用程序的开发,例如CRM系统。该平台包含聊天、项目管理、客户关系管理(CRM)、人力资源管理(HRM)和招聘管理系统(ATS)等应用程序。 用户可以使用Docker轻松地在自己的服务器上托管Huly。
阅读更多
Web Visual Editor 是一款 Visual Studio Code 插件,允许开发者以可视化的方式实时编辑 HTML 文件。该插件提供了一系列功能,包括元素选择、缩放、移动、对齐、复制、剪切和粘贴,以及脚本和链接管理等,方便开发者进行网页设计和开发。
阅读更多
该文章描述了GitHub用户victorqribeiro提交的一个功能请求,即在项目“isocity”中添加通过历史导航实现撤销和重做功能。用户可以通过后退操作撤销错误放置的图块,并通过前进操作重做。
阅读更多
oryx是一款基于Linux系统的开源终端用户界面(TUI)网络流量分析工具,它使用eBPF技术实时捕获、解析和可视化网络数据包。该工具提供全面的流量统计信息,支持防火墙功能,并允许用户通过模糊搜索快速定位目标流量。
阅读更多
CL-Forth 是 Forth 2012 标准的 Common Lisp 实现,支持 CCL、SBCL 和 LispWorks 等平台,可在 macOS、Linux 和 Windows 上运行。它提供了外部函数接口(FFI)、原生代码支持以及一些额外的实用词汇。
阅读更多
Omni SenseVoice是一款基于SenseVoice构建的语音识别解决方案,主打快速推理和精准时间戳。它在LibriTTS数据集上实现了高达50倍的处理速度提升,同时保持了高准确率。该项目提供了安装指南、使用方法、基准测试结果以及代码贡献步骤等信息。
阅读更多