UIT: Biblioteca de procesamiento de archivos modular, de bajo consumo de memoria y de alto rendimiento para la nube
UIT es una biblioteca diseñada para el procesamiento de archivos modular, de bajo consumo de memoria y de alto rendimiento a escala en la nube. Utiliza un proceso de cuatro pasos: ingestión, filtro/transformación, fusión y salida. Construida sobre streaming y paralelización, UIT puede ejecutarse de manera eficiente en entornos con poca memoria como Cloudflare Workers. Su diseño modular permite la composición y la adición de módulos personalizados. Los módulos actuales manejan tareas como la ingestión de archivos ZIP, la fusión de datos, la conversión de formato y la búsqueda. El objetivo de UIT es convertirse en un estándar para el procesamiento de archivos en la nube, proporcionando a los desarrolladores una herramienta poderosa y extensible.