Les Threads Virtuels Ont Mangé Ma Mémoire : L'histoire d'un Web Crawler

2025-05-30
Les Threads Virtuels Ont Mangé Ma Mémoire : L'histoire d'un Web Crawler

Cet article détaille l'expérience d'un développeur ayant construit un web crawler avec les Threads Virtuels de Java. Initialement, les performances ont explosé, mais le crawler a planté avec une erreur `OutOfMemoryError`. L'auteur explique comment il a utilisé les Threads Virtuels pour augmenter considérablement la vitesse, puis comment il a corrigé le problème de mémoire en introduisant un sémaphore pour limiter les tâches concurrentes. La comparaison entre les threads de plateforme et les Threads Virtuels souligne la nécessité d'une gestion explicite des ressources lors de l'utilisation de Threads Virtuels, car les mécanismes implicites de contre-pression de la JVM ne s'appliquent plus. L'auteur conclut que, bien que les Threads Virtuels offrent des gains de performance significatifs, les développeurs doivent gérer les ressources avec soin pour éviter les problèmes de mémoire.