Au-delà des bases de données vectorielles : traitement efficace des embeddings de texte avec Parquet et Polars
Cet article présente une méthode de traitement efficace des embeddings de texte sans recourir aux bases de données vectorielles. L’auteur utilise des fichiers Parquet pour stocker des données tabulaires contenant les embeddings de cartes Magic : The Gathering et leurs métadonnées, et exploite la bibliothèque Polars pour une recherche rapide de similarités et un filtrage des données. La fonctionnalité de copie zéro de Polars et son excellent support des données imbriquées rendent cette approche plus rapide et plus efficace que les méthodes traditionnelles CSV ou Pickle, en maintenant de hautes performances même lors du filtrage du jeu de données. L’auteur compare d’autres méthodes de stockage, telles que CSV, Pickle et NumPy, et conclut que Parquet combiné à Polars est le choix idéal pour gérer les embeddings de texte de taille moyenne, les bases de données vectorielles n’étant nécessaires que pour les jeux de données extrêmement volumineux.