smallpond de DeepSeek : Un framework de calcul distribué léger basé sur DuckDB
DeepSeek a publié smallpond, un framework de calcul distribué léger basé sur DuckDB pour gérer des ensembles de données massifs. Il utilise l'évaluation paresseuse et Ray pour le calcul distribué, prend en charge plusieurs stratégies de partitionnement et s'intègre efficacement avec le système de fichiers 3FS propriétaire de DeepSeek. Bien que la dépendance à Ray et 3FS ajoute de la complexité, smallpond équilibre la facilité d'utilisation avec les performances, offrant aux ingénieurs de données une nouvelle option pour traiter des ensembles de données à l'échelle du téraoctet. Comparé à des frameworks lourds comme Spark, smallpond est plus léger, plus facile à apprendre et particulièrement adapté aux petites entreprises qui n'ont pas besoin de gérer des requêtes excessivement complexes.
Lire plus