smallpond et 3FS de DeepSeek : mettre DuckDB à l’échelle du pétaoctet

DeepSeek AI a publié smallpond et 3FS, conçus pour étendre la base de données DuckDB afin de gérer des ensembles de données à l’échelle du pétaoctet. smallpond est une infrastructure de traitement de données distribuée et légère qui permet à DuckDB de traiter les données en parallèle sur plusieurs nœuds, tandis que 3FS est un système de fichiers parallèle hautes performances utilisant des SSD et une mise en réseau RDMA pour un débit extrêmement élevé. Cependant, le déploiement et l’utilisation de ces outils sont complexes et nécessitent du matériel spécialisé et une expertise DevOps. Pour les ensembles de données inférieurs à 10 To, une instance DuckDB à nœud unique ou des solutions plus simples sont plus efficaces. Ce n’est que lorsqu’on gère des ensembles de données massifs que smallpond et 3FS révèlent leurs avantages.