Regarder aussi ce qui n’a pas été signalé.
Une IA peut produire une fausse alerte ou manquer un défaut réel. Dans les deux cas, la comparaison doit porter sur le même objet et le même état de référence. Une réparation ou une modification survenue ensuite doit être documentée avant de conclure à une erreur.
Exemple illustratif : un rapport ne mentionne aucun défaut sur une partie qu’il prétend couvrir. L’expert y constate une dégradation et documente sa présence à la période pertinente. L’écart est une omission établie. Si l’état initial est impossible à reconstituer, le point reste non vérifié.
Donner un sens à la couverture du contrôle.
Le rapport précise les zones, objets ou points examinés, les accès possibles et les limites rencontrées. Il distingue ce qui est vérifié de ce qui n’a pas pu l’être. Un contrôle ponctuel n’établit pas que tout le produit IA fonctionnera sans erreur dans toutes les situations.
Le Hu-score s’appuie notamment sur l’exhaustivité et la gravité des écarts. Une omission déterminante reste visible dans la conclusion ; elle n’est pas effacée par le nombre de réponses correctes.
Source et portée
Le NIST AI RMF 1.0 présente les tests et l’évaluation dans le contexte d’usage, avec documentation des limites. Huxpert en tire une comparaison limitée au périmètre réellement contrôlé ; le NIST ne prescrit pas notre échelle de score. NIST AI RMF 1.0.
À lire aussi
Faire vérifier un résultat IA
Identifiez le résultat, l’objet réel et les vérifications utiles avant de demander un devis.