Ubicloud开源云服务利用vLLM V1高效地服务大型语言模型。文章深入剖析了vLLM V1架构，从请求接收、调度、模型执行到输出处理，详细讲解了其异步IPC、连续批处理、KV缓存管理等关键技术。vLLM V1通过异步处理、连续批处理算法和GPU并行计算，最大化GPU利用率，实现大规模高效文本生成。这对于希望部署LLM的AI工程师和对大型语言模型服务机制感兴趣的人来说，都提供了宝贵的参考价值。
阅读更多
云存储技术诞生之初，受限于老旧硬件，采用网络连接磁盘提升持久性和可扩展性。但如今，廉价高效的 NVMe SSD 已经出现，其性能远超旧式方案。文章指出，使用本地 NVMe SSD 的 PostgreSQL 数据库，在 TPC-C 和 TPC-H 基准测试中，性能远胜于 AWS RDS 和 Aurora，速度提升数倍。虽然网络连接存储仍具备弹性和持久性优势，但 NVMe SSD 的可靠性和价格优势已足以弥补，本地 NVMe SSD 有望成为云数据库的未来。
阅读更多.jpg)
Ubicloud，一个开源的AWS替代方案，为了降低成本，推出了可突发型虚拟机。它们利用Linux cgroups v2技术，在共享CPU资源的基础上，允许虚拟机在负载峰值时临时提升CPU使用率。文章详细介绍了cgroups v2的配置和使用方法，包括cpuset和cpu控制器，以及如何通过虚拟文件系统或systemd进行管理。通过测试，可突发型虚拟机在负载较低时能获得约30%的性能提升，但该提升受限于cgroups v2的微间隔限制。
阅读更多
Ubicloud公司在使用Hetzner新一代AX162服务器时遭遇了严重的可靠性问题：崩溃率比前代AX161高出16倍。经过数月的调试，他们发现问题根源可能与Hetzner对服务器功耗的限制以及主板缺陷有关。最终，通过多次硬件升级，特别是更换主板，才解决了这个问题。这次经历使他们深刻认识到，尽早采用新硬件可能存在风险，并改进流程，包括更彻底的验收测试和逐步引入新硬件。
阅读更多
本文深入探讨了云虚拟化技术的核心架构，分别以Red Hat、AWS Firecracker和Ubicloud为例，比较了它们在虚拟机监控器（VMM）、内核虚拟化以及资源隔离方面的差异。文章阐述了KVM、QEMU、libvirt等关键组件的作用，并分析了cgroups、nftables、seccomp-bpf等技术在实现资源和安全隔离中的作用。作者还对比了AWS Nitro系统，总结了云虚拟化技术的发展历程以及开源技术在该领域中的重要性。
阅读更多
文章讨论了为自己和为他人运行PostgreSQL数据库的区别，特别是在管理服务方面的差异。文章重点介绍了四个方面：配置、备份/恢复、高可用性和安全性，并详细解释了为他人管理PostgreSQL时需要考虑的额外步骤和挑战，例如配置扩展、证书管理、DNS记录、数据库池、WAL文件管理、故障转移和安全隔离等。
阅读更多
本文讲述了Ubicloud平台启用ARM64虚拟机的过程，包括标准化CPU架构名称、自动识别和存储CPU架构、更新虚拟机分配逻辑以及添加新的ARM64二进制文件等步骤。此外，文章还探讨了在启用ARM64虚拟机过程中遇到的挑战，例如硬件配置缺乏灵活性以及二进制文件构建和版本控制问题，并提出了一些解决方案。
阅读更多