UIT : Bibliothèque de traitement de fichiers modulaire, peu gourmande en mémoire et performante pour le cloud
UIT est une bibliothèque conçue pour le traitement de fichiers modulaire, peu gourmand en mémoire et performant à grande échelle dans le cloud. Elle utilise un processus en quatre étapes : ingestion, filtrage/transformation, fusion et sortie. Construite sur le streaming et la parallélisation, UIT peut s'exécuter efficacement dans des environnements à faible mémoire comme les Workers Cloudflare. Sa conception modulaire permet la composition et l'ajout de modules personnalisés. Les modules actuels gèrent des tâches telles que l'ingestion de fichiers ZIP, la fusion de données, la conversion de format et la recherche. L'objectif d'UIT est de devenir une norme pour le traitement de fichiers dans le cloud, offrant aux développeurs un outil puissant et extensible.