Aux États-Unis, le GAO relève le retard des tests pour les outils de cybersécurité à base d’IA
L’organisme d’audit fédéral constate que les outils se diffusent plus vite que les critères d’évaluation communs. Pour une administration, l’enjeu tient à la preuve qu’un service fait mieux une fois intégré au système existant.

Le Government Accountability Office, l’organisme d’audit du Congrès américain, publie le 20 novembre une évaluation sur l’usage de l’intelligence artificielle en cybersécurité. Elle documente une difficulté qui dépasse le choix d’un logiciel. Les outils peuvent aider les équipes à examiner davantage de données, mais le rapport relève l’absence de critères largement acceptés pour mesurer les capacités des systèmes génératifs dans ce domaine. Une administration peut ainsi fixer un prix de contrat et décrire une fonction attendue tout en disposant de peu de mesures comparables pour dire ce que l’outil change réellement dans son service.
Le volume analysé et la qualité des décisions
Les équipes de sécurité doivent trier de grandes quantités d’événements. Une fonction de synthèse ou de classement peut rendre ces informations plus faciles à parcourir. La performance à observer dépend alors de la tâche exacte. Une alerte présentée plus rapidement peut gagner du temps, tandis qu’une alerte mal résumée peut obliger l’équipe à vérifier plusieurs pièces supplémentaires. Dans les deux cas, le volume de données parcourues est un indicateur d’activité. La qualité du traitement repose sur ce que l’équipe a compris et sur la décision qu’elle a effectivement prise.
Des mesures utiles portent notamment sur les incidents correctement reconnus, les faux positifs et le temps consacré à résoudre un cas. Pour les comparer, l’administration a besoin d’une période de référence et d’un périmètre stable. Un changement de logiciel, d’organisation des équipes et de volume d’alertes au cours du même trimestre compliquera l’attribution du gain à une seule cause. Le bilan le plus intelligible documentera les modifications de l’environnement en même temps que les résultats du produit.
Le rapport décrit trois coûts moins visibles
Le GAO relève notamment des difficultés de qualité et de confidentialité des données, d’intégration technique et de gouvernance. Elles entraînent des coûts qui peuvent apparaître après le premier achat. Il peut falloir des équipes pour vérifier les résultats, modifier les procédures internes et encadrer les accès aux données. Ces tâches sont différemment visibles dans les comptes suivant que l’organisation achète un outil, finance une migration ou réaffecte des agents déjà en poste.
L’intégration d’un outil à des systèmes existants détermine aussi les données auxquelles il a accès. Une démonstration peut porter sur des données sélectionnées et propres, alors qu’un service public doit bien souvent travailler avec plusieurs systèmes, des historiques incomplets et des contraintes de conservation. Pour comparer des résultats, le dossier devra préciser le périmètre des informations utilisées et la part des dossiers écartés du test. Cela permettra de savoir si l’outil est évalué sur la charge réelle qu’il est censé venir traiter.
Le NIST donne une structure, le service public doit mesurer les effets
Le cadre de gestion des risques publié par le NIST propose une méthode pour gouverner le système, définir son contexte, mesurer les risques et prendre des décisions de gestion. Il met l’accent sur l’usage concret et sur le suivi au fil du temps. Un service qui utilise l’IA pour aider au classement de signalements et un autre qui lui demande de produire des analyses sur des données sensibles auront des besoins de contrôle différents. La description du contexte fait partie des éléments nécessaires pour lire leurs résultats.
Une administration pourrait documenter séparément les tests du produit, ceux de son intégration et les résultats en exploitation. Les tests du produit concernent ce qu’il accomplit dans un cadre défini. L’intégration renseigne sur sa compatibilité avec les accès, les procédures et les systèmes de l’organisation. L’exploitation indique la part des résultats qui influe réellement sur une décision. Cette séparation faciliterait la comparaison d’achats qui utilisent la même expression commerciale pour des fonctions différentes.
Ce que les contrats et les rapports peuvent rendre vérifiable
La première pièce utile est le cahier des charges, qui indique la tâche attendue et les étapes de réception. Viennent ensuite les résultats des tests et les rapports d’exploitation. Pour l’observateur extérieur, la comparaison sera possible si les indicateurs conservent des définitions identiques d’une année sur l’autre. Des chiffres globaux peuvent être publiés sans révéler les données confidentielles d’un service, en décrivant l’ampleur des échantillons et les limites d’interprétation.
Les modèles et leurs interfaces évoluent. Un outil qui change de version après avoir obtenu de bons résultats demande un suivi pour établir si ces résultats restent comparables. Les documents devraient permettre de relier chaque mesure à la version qui a été utilisée. Une modification du périmètre, de la durée ou de la fréquence des tests mérite également d’apparaître. Pour un budget public, ce suivi aide à distinguer une dépense qui accompagne un gain confirmé d’une dépense dont les effets sont encore à mesurer.
Un échantillon choisi par l’acheteur peut compléter les résultats du fournisseur, à condition de documenter les types de dossiers qu’il contient. Un test qui comporte surtout des situations fréquentes renseignera sur le travail quotidien. La mise en commun de résultats sur des dossiers plus rares peut éclairer la capacité à traiter les cas qui coûtent davantage de temps aux équipes. La comparaison doit indiquer les catégories représentées et le degré d’accord entre les personnes chargées de juger chaque résultat, afin de mesurer les divergences de manière reproductible.
Le contrôle se poursuit après l’achat
Le rapport du GAO envisage plusieurs options de politique publique autour du développement de méthodes d’évaluation, du partage de données et de la coopération entre acteurs. Le degré d’application de ces options dépendra des organisations et des textes qui les reprendront. Une grille commune serait particulièrement utile si elle reconnaît la diversité des tâches. Elle pourrait permettre de comparer des résultats de tri d’alertes entre deux outils et, séparément, de comparer la qualité d’une assistance rédactionnelle pour les équipes qui produisent des comptes rendus.
Le prochain jalon observable réside dans les marchés et les audits d’usage. Il sera possible de voir quelles administrations demandent des mesures vérifiables à la réception, lesquelles suivent les erreurs après le déploiement et comment elles estiment le coût complet de l’outil. Les gains annoncés par un fournisseur comme ceux déclarés par une équipe resteront plus faciles à interpréter quand un rapport indiquera ce qui était mesuré avant et quels éléments ont été maintenus comparables dans le temps.
La question du GAO est donc susceptible de se retrouver dans des décisions ordinaires de gestion publique. Choisir un service utile suppose de savoir quelle charge de travail il reprend et quelles décisions demeurent entre les mains de l’équipe. Les dépenses de logiciel peuvent alors être examinées avec les heures de vérification, les résultats de traitement et les coûts d’intégration. L’ensemble donne un bilan plus précis des ressources mobilisées dans la défense numérique que le seul montant du contrat.
Question ouverte
Quelles administrations publieront des résultats comparables sur les erreurs, les délais et les coûts de leurs outils de défense assistés par IA ?