Métadonnées structurées de Loki : un cauchemar logistique

Grafana Loki, souvent présenté comme le « Prometheus des logs », a initialement adopté un modèle de données similaire à Prometheus. Cependant, cela s'est avéré désastreux pour les journaux système (syslog ou journal systemd). Contrairement à Prometheus, Loki stocke chaque ensemble de valeurs d'étiquette séparément et ne compacte pas le stockage des journaux, ce qui entraîne des explosions de cardinalité. Pour résoudre ce problème, Loki a introduit les « métadonnées structurées », mais à partir de la version 3.0.0, elles restent sous-développées. Les étiquettes de métadonnées structurées ne sont pas traitées comme des étiquettes Loki régulières, ce qui nécessite une syntaxe de requête différente. La migration des étiquettes existantes est complexe et potentiellement catastrophique, avec le risque de créer involontairement des étiquettes à forte cardinalité. La mise à niveau nécessite de la prudence, la migration des données existantes est incroyablement coûteuse et une réflexion approfondie est essentielle avant de l'utiliser dans de nouveaux projets.