Le succès de cette démarche impose de prévoir les modalités d’accès
aux modèles et à leurs applications pour les agents en charge du contrôle
et exige de ces derniers une expertise juridique et technique pointue
pour comprendre les systèmes et en mesurer les enjeux. L’efficacité de
ce nouvel axe de contrôle, qui s’inscrit pour la CNCTR dans une démarche
d’appui et de régulation par le droit souple, suppose ainsi une meilleure
transparence des services quant aux outils déployés.
LES PRINCIPES EUROPÉENS DE RÉGULATION
DES SIA À HAUT RISQUE (AI ACT)
Des obligations fortes pour le fournisseur du système :
Le fournisseur doit en particulier :
– mettre en place des systèmes adéquats d’évaluation et d’atténuation
des risques (identification et analyse de risques connus et prévisibles ;
estimation et évaluation des risques potentiels, adoption de mesures
appropriées de gestion des risques, etc.). ;
– assurer la gouvernance des données alimentant le système, en veillant
à ce que les jeux de données de formation, de validation et de test
soient pertinents, suffisamment représentatifs, exempts d’erreurs et complets,
afin de minimiser les risques et les résultats discriminatoires ;
– fournir une documentation détaillée comportant toutes les informations
nécessaires sur le système et son objet, pour permettre aux autorités
d’évaluer sa conformité ;
– prévoir un contrôle humain, afin de minimiser les risques ;
– assumer un haut niveau de robustesse, de sécurité et de précision
des modèles.
Un examen de conformité :
Avant la mise en service du SIA à haut risque, le fournisseur doit
se soumettre à une procédure d’évaluation de la conformité du système
aux obligations prévues par le règlement. Pour la plupart des SIA,
l’évaluation est réalisée dans le cadre d’une procédure de contrôle interne,
sans intervention d’un organisme extérieur. Pour les SIA les plus risqués,
l’évaluation doit relever d’une autorité extérieure indépendante.
172