Construire des bases de données sur un stockage d'objets : maîtriser la latence élevée

Cet article explore les problèmes courants, notamment la latence élevée, rencontrés lors de la construction de bases de données sur un stockage d'objets tel qu'AWS S3. L'auteur souligne que la latence du stockage d'objets suit souvent une distribution log-normale, les latences de queue longue affectant considérablement les performances. Pour y remédier, trois stratégies sont proposées : la couverture des requêtes (envoi de plusieurs requêtes et prise de la réponse la plus rapide), les nouvelles tentatives basées sur la latence (nouvelle tentative après dépassement d'un seuil) et l'utilisation de différents points de terminaison. En outre, l'article préconise l'utilisation d'un cache et d'un scaling horizontal pour optimiser davantage les performances. Le cache réduit le nombre d'accès au stockage d'objets, tandis que le scaling horizontal exploite l'API de lecture de plage du stockage d'objets pour augmenter le débit. L'auteur souligne que la stratégie optimale dépend de l'application spécifique et des considérations de coût. Un programme Rust illustrant ces stratégies est également mentionné.