L'IA n'invente pas ce qui n'y est pas
50/50 · 20/20
comment on le mesure 50 questions pièges sur 5 documents connus mot à mot : elle doit dire « ce n'est pas dans le document » sans donner de chiffre. Et 20 avec réponse : la donnée et la bonne page.
Qualité mesurée
Chaque chiffre avec sa date et le document avec lequel il a été mesuré. S'il baisse, on le voit. Et aussi là où nous perdons.
Surveillé en ce moment
Le canari exerce le produit en production toutes les 30 minutes. Dernière ronde : 2026-09-24T01:50:33+00:00 · 30/30 contrôles de qualité · au vert
Core Web Vitals p75 · n=1 · LCP 0.00 s ✓ ≤ 2.0 s · INP 0 ms ✓ ≤ 150 ms · CLS 0.000 ✓ ≤ 0.08
Ce que nous mesurons
Chaque chiffre de l'IA vient du document
7/7
comment on le mesure Un contrat et deux factures dans les 7 outils d'IA qui donnent montants, dates ou délais : chaque chiffre doit figurer dans le document ou en découler par un calcul refait.
Factures Peppol : le même verdict que le validateur officiel
227/227
comment on le mesure Les tests unitaires officiels d'OpenPEPPOL (BIS Billing 3.0), chacun avec ce que doit dire le validateur officiel.
Règles officielles de la norme européenne EN 16931
0 · BR-CO-16 ✓
comment on le mesure Les règles publiées par la Commission européenne, exécutées telles quelles : l'exemple officiel les respecte et, avec le total modifié, la bonne règle se déclenche.
Empreinte Verifactu
3/3
comment on le mesure Les exemples officiels de la spécification de l'empreinte de l'administration fiscale espagnole.
Code de contrôle TicketBAI
161 · 182 · ✓
comment on le mesure L'exemple officiel de l'Ordre foral 521/2020 de Gipuzkoa ; et une falsification cohérente —le même montant modifié sur le papier et dans le QR— que le code de contrôle révèle.
Signature numérique PAdES
PAdES-BASELINE-LT
comment on le mesure Signé en production et validé avec le validateur officiel de la Commission européenne (DSS).
Mille factures d'un coup
1000 · 5.9 s · 37/37
comment on le mesure Un ZIP de 1 000 factures, dont 37 modifiées : le temps en production et si le rapport signale exactement les modifiées.
Sept langues pour de vrai
0
comment on le mesure Les 159 outils exécutés en chinois et comparés à l'espagnol : textes d'interface restés sans traduction.
Tous les outils fonctionnent
159/159 · 159/159
comment on le mesure Les 159 outils, de bout en bout, en espagnol et en chinois, en écoutant aussi les erreurs du navigateur.
Rapide sur un téléphone modeste
0.6 s
comment on le mesure Plus grand affichage de l'accueil avec un processeur 4 fois plus lent et une 4G lente.
Accessible
0
comment on le mesure Manquements graves aux WCAG 2 (A et AA) selon axe, sur les pages principales.
Là où nous perdons
Outils au-delà de leur budget de temps (moyenne sur 7 jours, en direct)
/v1/video/join 77.2 s > 10 s · /v1/ai/translate-office 23.4 s > 10 s · /v1/ai/study 21.1 s > 10 s · /v1/pdf/translate 11.5 s > 10 s
Certains outils perdent quelque chose
Sur 52 outils mesurés, 19 perdent quelque chose (métadonnées, liens, calques…). Nous vous le disons AVANT de traiter, outil par outil.
Une erreur par déploiement
À chaque nouvelle version, la requête qui coïncide avec la bascule reçoit une erreur 502 de l'hébergeur. Le site la relance après 2 secondes ; les utilisateurs de l'API la verront.
Factures européennes : pas encore tout
Les règles Peppol pour les factures CII et les règles propres à chaque pays (comme XRechnung) ne sont pas encore appliquées.
TicketBAI en Biscaye et en Alava
Le code de contrôle est vérifié sur l'exemple officiel de Gipuzkoa ; pour la Biscaye et l'Alava, pas d'exemple officiel vérifié.
Signer sans votre certificat
Sans le vôtre, la signature prouve que le document n'a pas été modifié, pas qui vous êtes : le validateur officiel indique « pas de chaîne de confiance ».
Des modèles d'IA qui ont des années
7 des modèles d'IA utilisés ont 18 mois ou plus. Ils ne tombent pas en panne, mais peuvent répondre moins bien et coûter plus ; on les remplace quand un nouveau gagne sur notre banc.
Refaites-le vous-même
Téléchargez les documents et le résultat attendu, et passez-les dans PAPYR ou dans n'importe quel autre produit.