Nouveau benchmark révélant le goulot d'étranglement de l'automatisation dans l'OCR : atteindre une précision de 98 %
L'arrivée de nouveaux acteurs de l'OCR comme Mistral et les offres d'Andrew Ng rendent difficile pour les entreprises de distinguer les progrès réels des exagérations. Les benchmarks existants se concentrent sur la précision de l'OCR et l'extraction d'informations, négligeant les niveaux d'automatisation. Nanonets introduit un nouveau benchmark mettant l'accent sur l'automatisation à 98 % de précision. À partir d'un jeu de données de 1000 images et de 16 639 points de données annotés, ils mesurent les performances du modèle en fonction des scores de confiance : la proportion de données traitées avec précision sans intervention humaine. Si les LLM excellent en termes de précision générale, les scores de confiance fiables restent insaisissables. Gemini 2.0 Flash a atteint une précision de 98 %, mais n'a automatisé que 8 % des données. Ce benchmark vise à aider les entreprises à trouver des solutions qui réduisent véritablement l'effort manuel dans le traitement de documents.
Lire plus