Notre première comparaison publiée, en novembre 2024, et la seule accompagnée d'un PDF de méthodologie de dix pages. Dépassée en ampleur par les deux exécutions complètes ci-dessus, et conservée ici parce que ses chiffres tiennent toujours.
Réalisée par Hexagone AI, novembre 2024. Jeu de données public, reproductible.
Presidio est la référence open source de la détection de données personnelles, et la base de comparaison honnête pour qui évalue cette catégorie. Nous avons exécuté les deux systèmes sur 5 000 échantillons du jeu de données public ai4privacy/pii-masking-200k, en français, anglais, allemand et italien.
Score de confidentialité : pourcentage des entités PII de référence effectivement détectées et masquées. Plus c'est haut, mieux c'est.
La seconde expérience compte plus que la première. Les vrais documents contiennent des fautes de frappe, des abréviations et des paraphrases. Nous avons régénéré chaque entité de référence sous quatre formes déformées pour voir quel système tient.
| Expérience | Microsoft Presidio | Hexagone AI |
|---|---|---|
| RéférenceTexte standard du jeu de données. | 75,30 % | 96,95 % |
| AugmentéFautes de frappe, abréviations et paraphrases, plus proche des vrais documents. | 65,89 % | 93,34 % |
| Langue | Référence | Augmenté | ||
|---|---|---|---|---|
| Presidio | Hexagone AI | Presidio | Hexagone AI | |
| Français | 74,74 % | 97,97 % | 65,76 % | 94,42 % |
| Anglais | 72,77 % | 94,66 % | 64,10 % | 91,14 % |
| Allemand | 76,58 % | 96,30 % | 68,03 % | 92,93 % |
| Italien | 76,15 % | 97,39 % | 64,65 % | 93,83 % |
Une bonne moyenne cache les mauvais documents. Sur le jeu de référence, Hexagone AI a un écart-type de 9,12 % contre 20,53 % pour Presidio. En pratique, c'est la différence entre un outil que vous pouvez laisser tourner sur un dossier et un outil qui exige une relecture humaine de chaque fichier.
Entre le jeu propre et le jeu bruité, Hexagone AI perd 3,73 points. Presidio en perd 12,50. L'avantage passe de 28,76 % à 41,65 %, et c'est ce chiffre qui compte, parce que vos documents ressemblent au jeu bruité.
Lisez le rapport complet, méthodologie incluse
PDF, 10 pages. Jeux de données, prompts, distributions et détail par langue. Sans formulaire, sans e-mail.
Un benchmark, ce sont les données de quelqu'un d'autre. Une semaine gratuite, sans carte bancaire, et les fichiers ne quittent jamais votre machine : vous ne risquez rien à vérifier vous-même.