热门标签：
Mac 多显示器 显示器扩展 requests patch 并发 Alpine Linux BSD Linux 电动汽车 全部标签

Modular发布MAX 24.6：原生GPU生成式AI平台

2024-12-17

Modular发布了MAX 24.6，一个原生GPU生成式AI平台，旨在重新定义AI的开发和部署方式。MAX 24.6的核心是MAX GPU，一个垂直整合的生成式AI服务堆栈，摆脱了对NVIDIA CUDA等厂商专用计算库的依赖。它基于高性能AI模型编译器和运行时MAX Engine以及Python原生服务层MAX Serve，支持整个AI开发流程，从实验到生产部署。MAX 24.6支持多种硬件平台，包括NVIDIA A100、L40、L4和A10加速器，并计划支持H100、H200和AMD GPU。其与Hugging Face模型兼容，并提供OpenAI兼容的客户端API。MAX 24.6在Llama 3.1模型上实现了3860个输出token/秒的吞吐量，与vLLM性能相当，并具有更小的Docker镜像尺寸。

阅读更多
(www.modular.com)
AI AI平台

理解 SIMD：简单问题的无限复杂性

2024-11-29

本文探讨了现代CPU中单指令多数据（SIMD）并行处理的复杂性。尽管SIMD具有强大的并行计算能力，但由于编写并行操作的困难，其潜力并未得到充分利用。文章以余弦相似度计算为例，展示了如何利用SIMD指令（如AVX2、AVX-512和NEON）以及混合精度计算来优化算法性能。文章还讨论了SIMD编程中的挑战，如水平累加、部分加载、CPU特定代码的编写和分发等，并介绍了如何利用CPU指令集特性标志进行动态调度以选择最佳的内核实现。最后，文章强调了SIMD优化的重要性以及SimSIMD库在解决这些挑战方面的作用。

阅读更多
(www.modular.com)
7
未分类

Mojo：深入探讨所有权

2024-06-10

本文深入探讨了Mojo编程语言中的所有权概念。Mojo通过强制执行严格的所有权规则，在确保内存安全的同时，也保证了C/C++的效率。文章详细介绍了Mojo中的三种值类型：RValue（拥有值）、LValue（可变引用）和BValue（不可变引用），以及它们如何通过所有权修饰符（borrowed、inout、owned）在函数参数中传递。文章还阐述了__copyinit__和__moveinit__方法如何自定义值的复制和移动行为，以及三种所有权规则，最后总结了Mojo所有权的目标：内存安全、性能优化、易用性和编译时保证。

阅读更多
(www.modular.com)
39
未分类 所有权