Pour la Commission nationale consultative des droits de l’homme, certains usages de l’IA doivent être interdits
⏱ 5 minLa Commission nationale consultative des droits de l’homme (CNCDH) considère que le projet de règlement européen sur l’intelligence artificielle va dans le bon sens, mais reste bien trop imprécis ou incomplet sur plusieurs points qui touchent à nos droits fondamentaux.
Identification biométrique, notation sociale, attribution de crédit bancaire, reconnaissance des émotions… Les applications potentielles de l’intelligence artificielle (IA) susceptibles de porter atteinte à nos droits fondamentaux sont légion. Comment les proscrire sans entraver le développement de logiciels et dispositifs reposant sur l’IA qui apportent des réponses pertinentes et vertueuses ? Lesquelles proscrire systématiquement ? « Le cadre juridique est lacunaire, reconnaît Thomas Dumortier, conseiller juridique à la Commission nationale consultative des droits de l’homme (CNCDH). Le projet de règlement européen sur l’intelligence artificielle va dans le bon sens, celui d’encadrer l’IA et ses usages, mais il ne va pas assez loin selon nous ».
Dans son avis rendu public le 7 avril dernier, la CNCDH insiste sur plusieurs points majeurs et formule dix-neuf recommandations à destination des pouvoirs publics français. Elle espère ainsi peser sur les négociations en cours dans l’aboutissement au fameux « Artificial Intelligence Act ». Deux commissions examinent actuellement la proposition législative sur laquelle elles devraient voter fin septembre : la commission du marché intérieur et de la protection des consommateurs (IMCO) et celle des libertés civiles, de la justice et des affaires intérieures (LIBE). Il incombera ensuite au Conseil de se prononcer sur le texte adopté.
PRÉVOIR DES INTERDICTIONS PLUS STRICTES
« Prenons l’exemple de l’identification biométrique, lance Thomas Dumortier. Le projet précise que l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives est interdite. Sauf qu’il prévoit trois situations dans lesquelles elle serait néanmoins autorisée. Or ces situations recouvrent bien trop de cas de figure… Cela vide de sa substance l’interdiction de principe ! » Une seule de ces trois exceptions paraît justifiée pour la CNCDH, qui en propose néanmoins une délimitation plus précise : en cas de menace grave et imminente pour la vie et la sécurité des personnes et celle des ouvrages, installations et établissements d’importance vitale. Concernant les deux autres exceptions, l’une évoque la recherche de victimes potentielles d’actes criminels (y compris des enfants disparus), formulation très vague selon la Commission, quand l’autre renvoie à 32 infractions pénales… ce qui ouvre la porte à beaucoup de situations.
La CNCDH recommande également d’aller plus loin en matière de notation sociale des personnes physiques : « Le projet de règlement européen prévoit de l’interdire pour les administrations, qu’elle soit pratiquée par elles-mêmes ou par d’autres pour leur compte, poursuit Thomas Dumortier. Selon nous, cela doit aussi concerner les entreprises privées comme les réseaux sociaux ou toute entreprise qui a accès à nos données personnelles et pourraient les utiliser à cette fin. » Elle propose par ailleurs une autre interdiction concernant les systèmes de reconnaissance des émotions, et ce dans tous les cas où ils pourraient servir à une évaluation d’authenticité de témoignages etc., par exemple dans le cadre d’embauche. « Les bases scientifiques des théories sous-jacentes sont trop fragiles, justifie le juriste. En revanche, là encore, il ne faut pas s’interdire de les utiliser là où ces systèmes renforcent l’autonomie des personnes comme les robots de compagnie de personnes âgées. »
MIEUX ENCADRER LES USAGES
Autre point majeur : « Il n’y a quasiment rien concernant les utilisateurs qui recourent à des systèmes d’IA, qu’il s’agisse des administrations ou des entreprises privées, regrette Thomas Dumortier. Il est important de les responsabiliser sur les conséquences de ce recours à l’IA, notamment quant aux impacts sur les droits fondamentaux – en particulier discriminatoires – ainsi qu’à leur suivi et leur supervision. » Ce sont surtout les concepteurs d’IA qui sont visés dans le projet de règlement avec des obligations de conformité de leur système, de gestion de sa qualité, de garantie de la procédure d’évaluation et de fourniture de documentation, par exemple sur la sécurité des données.
La CNCDH préconise quant à elle l’obligation de réaliser une étude d’impact pour évaluer en amont les risques d’atteinte aux droits fondamentaux pour les utilisateurs d’un système d’IA. A ce stade, ses recommandations demeurent relativement générales : identifier les droits fondamentaux mis en cause, s’interroger au regard des objectifs poursuivis sur la proportionnalité des atteintes à ces droits, et enfin prévoir des mesures susceptibles d’y remédier. Elle se penchera plus précisément, dans ses avis ultérieurs, sur l’utilisation des systèmes d’IA dans certains secteurs sensibles comme la Justice, la Police, la santé et le monde du travail, que ce soit pour le recrutement, le management, la gestion d’équipe ou encore dans l’administration.
PROTÉGER LES UTILISATEURS
« Il faut également s’interroger au préalable sur les effets de ces systèmes sur la qualité de service, ajoute Thomas Dumortier. Quel est l’objectif poursuivi ? Gagner du temps ? Faire des économies ? Supprimer des postes de travail ? Certaines catégories de population risquent-elles d’être exclues, comme les personnes âgées ou celles qui n’ont pas accès au numérique ? Que prévoir pour elles ? » La CNCDH regrette également que soient très peu évoquées les personnes qui feront l’objet d’une décision fondée sur un système d’IA, même si le RGPD (Règlement général sur la protection des données) précise cela en partie : « Il faut les protéger, insiste le juriste. Toute personne doit être informée, et en termes intelligibles, si une prise de décision la concernant a fait intervenir une IA, et sur quels critères. Cette décision doit aussi pouvoir être reconsidérée par des êtres humains. »
Dans ce contexte, comment considérer les IA connexionnistes basées sur un apprentissage automatique, par opposition aux IA symboliques qui miment le raisonnement humain ? L’IA connexionniste soulève des enjeux inédits, précise la Commission dans son avis, notamment dans des cas extrêmes où les concepteurs sont souvent bien incapables de connaître leur fonctionnement. « Non seulement les résultats auxquels aboutissent ces systèmes doivent faire l’objet d’un réexamen par un agent humain, mais il faut également être en mesure de les auditer par des organismes de contrôle indépendants pour vérifier qu’ils n’ont pas d’impacts négatifs, d’effets discriminants », conclut Thomas Dumortier. Avis aux pouvoirs publics français.
Isabelle Bellin
Les grandes lignes du projet de règlement européen sur l’IA (extrait du texte officiel)
Les objectifs sont les suivants :
• Veiller à ce que les systèmes d’IA mis sur le marché de l’Union et utilisés soient sûrs et respectent la législation en vigueur en matière de droits fondamentaux et les valeurs de l’Union ;
• Garantir la sécurité juridique pour faciliter les investissements et l’innovation dans le domaine de l’IA ;
• Renforcer la gouvernance et l’application effective de la législation existante en matière de droits fondamentaux et des exigences de sécurité applicables aux systèmes d’IA ;
• Faciliter le développement d’un marché unique pour des applications d’IA légales, sûres et dignes de confiance, et empêcher la fragmentation du marché.
La proposition établit des règles harmonisées pour le développement, la mise sur le marché et l’utilisation de systèmes d’IA dans l’Union suivant une approche proportionnée fondée sur le risque.
Elle contient une définition de l’IA unique et à l’épreuve du temps. Certaines pratiques d’IA particulièrement néfastes sont interdites en raison de leur caractère contraire aux valeurs de l’Union, tandis que des restrictions et des garanties spécifiques sont proposées en ce qui concerne certaines utilisations de systèmes d’identification biométrique à distance à des fins répressives.
Le règlement introduit une distinction entre les utilisations de l’IA qui créent i) un risque inacceptable, ii) un risque élevé et iii) un risque faible ou minimal. La liste des pratiques interdites figurant au titre II comprend tous les systèmes d’IA dont l’utilisation est considérée comme inacceptable car contraire aux valeurs de l’Union, par exemple en raison de violations des droits fondamentaux. Les interdictions portent sur les pratiques qui présentent un risque important de manipuler des personnes par des techniques subliminales agissant sur leur inconscient, ou d’exploiter les vulnérabilités de groupes vulnérables spécifiques tels que les enfants ou les personnes handicapées afin d’altérer sensiblement leur comportement d’une manière susceptible de causer un préjudice psychologique ou physique à la personne concernée ou à une autre personne. D’autres pratiques de manipulation ou d’exploitation visant les adultes et susceptibles d’être facilitées par des systèmes d’IA pourraient être couvertes par les actes existants sur la protection des données, la protection des consommateurs et les services numériques, qui garantissent que les personnes physiques sont correctement informées et peuvent choisir librement de ne pas être soumises à un profilage ou à d’autres pratiques susceptibles de modifier leur comportement. La proposition interdit également la notation sociale fondée sur l’IA effectuée à des fins générales par les autorités publiques. Enfin, l’utilisation de systèmes d’identification biométrique à distance « en temps réel » dans des espaces accessibles au public à des fins répressives est également interdite, à moins que certaines exceptions limitées ne s’appliquent.
