Ubicloudのオープンソースクラウドサービスは、大規模言語モデルを効率的に提供するためにvLLM V1を利用しています。この記事では、vLLM V1アーキテクチャの詳細を説明し、リクエストの受信、スケジューリング、モデル実行から出力処理までのインференスレクエストの全行程を解説します。非同期IPC、連続バッチ処理、KVキャッシュ管理などの重要な技術についても説明します。vLLM V1は、非同期処理、連続バッチ処理アルゴリズム、GPU並列計算によってGPU使用率を最大化し、大規模で高スループットのテキスト生成を実現します。これは、LLMを展開するAIエンジニアや、大規模言語モデルの効率的な提供方法に関心のある方にとって貴重な洞察を提供します。
続きを読む
クラウドストレージは当初、旧式のハードウェアの制約を考慮して設計され、ネットワーク接続ディスクを使用して耐久性と拡張性を向上させていました。しかし、今日の費用対効果の高いNVMe SSDは、はるかに優れたパフォーマンスを提供します。この記事は、ローカルNVMe SSDを使用するPostgreSQLデータベースが、TPC-CおよびTPC-HベンチマークでAWS RDSおよびAuroraを数倍上回ることを示しています。ネットワーク接続ストレージは、弾力性と耐久性の点で依然として利点がありますが、NVMe SSDの信頼性と手頃な価格により、今では大きく補償されており、ローカルNVMe SSDはクラウドデータベースの将来にとって魅力的な選択肢となっています。
続きを読む.jpg)
AWSのオープンソース代替であるUbicloudは、クラウドコスト削減のためにバースト可能なVMを導入しました。Linux cgroups v2を活用することで、これらのVMは共有CPUリソースの一部で動作し、ピーク負荷時にはより高いCPU使用率にバーストします。この記事では、cpusetコントローラーとcpuコントローラーを含むcgroups v2の設定と使用方法、仮想ファイルシステムまたはsystemdによる管理方法について詳しく説明します。テストでは、バースト可能なVMは軽負荷時に約30％のパフォーマンス向上を実現しましたが、これはcgroups v2のマイクロインターバル制限によって制限されています。
続きを読む
Ubicloud社は、Hetznerの新型AX162サーバーで深刻な信頼性の問題に遭遇しました。クラッシュ率は前世代のAX161と比べて16倍にも上りました。数ヶ月にわたるデバッグの後、彼らはHetznerによる電力制限とマザーボードの欠陥が根本原因であると推測しました。最終的には、マザーボードの交換を中心とした複数回のハードウェアアップグレードによって問題が解決されました。この経験から、早期採用に伴うリスクを認識し、より徹底的な検証や段階的なハードウェア導入など、プロセスの改善を行いました。
続きを読む
この記事では、クラウド仮想化の中核アーキテクチャをRed Hat、AWS Firecracker、Ubicloudをケーススタディとして深く掘り下げ、仮想マシンモニタ（VMM）、カーネル仮想化、リソース隔離における違いを比較します。KVM、QEMU、libvirtなどの主要コンポーネントの役割を説明し、cgroups、nftables、seccomp-bpfなどの技術がリソースとセキュリティの隔離にどのように役立つかを分析します。また、AWS Nitroシステムとの比較を行い、クラウド仮想化技術の進化と、この分野におけるオープンソース技術の重要性をまとめます。
続きを読む