#GIEC, #ia

Faut-il créer un GIEC de l’intelligence artificielle ?
Entretien avec Raja Chatila

⏱ 8 min

Quelle est l’ampleur des risques que les systèmes reposant sur l’IA générative font courir à la société ? Font-ils réellement courir un “risque d’extinction” pour l’humanité ? Faut-il réglementer, et de quelle manière ? Entretien avec Raja Chatila.

Raja Chatila est professeur émérite d’intelligence artificielle, de robotique et d’éthique à Sorbonne Université. Il a dirigé l’ISIR (Institut des Systèmes Intelligents et de Robotique), le laboratoire d’excellence SMART sur les interactions humain-machine, ainsi que le Laboratoire d’Analyse et d’Architecture des Systèmes (LAAS). Il est président de l’Initiative mondiale de l’IEEE (Institute of Electrical and Electronics Engineers) sur l’éthique des systèmes autonomes et intelligents et en France membre du Comité national pilote d’éthique du numérique (CNPEN).

Data Analytics Post : Vous étiez le seul chercheur français signataire de la lettre ouverte du 22 mars 2023 appelant à un mémorandum sur les recherches concernant les très grands modèles de langage (LLM). Dans quel objectif ?

Raja Chatila : La lettre du 22 mars visait à soulever la question du développement de systèmes extrêmement puissants comme GPT4, utilisé par ChatGPT, qui posent de nombreux problèmes. Tout d’abord celui de la vérité, de l’exactitude de ce que ces systèmes produisent. En second lieu, l’absence de sémantique : ne comprenant pas le monde réel, ils peuvent produire des suggestions ou recommandations infondées ou dangereuses. Enfin, dans la forme, la qualité de leur expression est proche de l’humain. On peut croire que leurs réponses sont produites par un être humain, et l’impression est renforcée par le fait qu’ils parlent à la première personne. Ce qui amène l’utilisateur à leur accorder une certaine confiance, voire à leur attribuer une autorité.

Ces nouveaux systèmes ont provoqué un engouement. Ils ont été utilisés par le public sans qu’il en comprenne les limites ou les risques. On entendait même des entreprises dire qu’elles allaient les utiliser pour leur business, et des enseignants pour l’éducation… La situation était devenue un peu grave, il était nécessaire de réagir. Il fallait que quelqu’un lève un carton rouge.

J’ai trouvé que cette pétition pouvait jouer ce rôle, même si je n’étais pas forcément d’accord avec tout le texte, ni avec tous les signataires. C’était un cri d’alarme. Sur le papier, le but affiché était non pas l’arrêt des recherches en IA, mais d’obtenir un moratoire de six mois sur l’entraînement de grands systèmes plus puissants que GPT-4, le temps de développer quelques mesures de gouvernance. Je n’y croyais pas tellement.

En revanche, vous n’avez pas signé cette nouvelle “Déclaration sur le risque lié à l’IA” du 30 mai 2023, qui a été adoubée par de prestigieux chercheurs comme Geoffrey Hinton ou Yoshua Bengio ainsi que des patrons d’entreprises de l’IA comme Demis Hassabis (Google DeepMind) et Sam Altman (OpenAI). Ce texte affirme : « L’atténuation du risque d’extinction de l’IA devrait être une priorité mondiale aux côtés d’autres risques à l’échelle de la société tels que les pandémies et la guerre nucléaire. »

Je ne suis pas d’accord avec cette notion de risque d’extinction. Cette idée repose sur l’hypothèse que l’on va produire une IA générale, proche de l’intelligence humaine, qui pourra ensuite inventer une IA encore plus puissante qu’elle-même. On retrouve ici le mythe de la singularité. Je n’y souscris pas. J’ai beaucoup de respect pour quelques collègues qui ont signé. Mais plusieurs autres signataires sont ceux-là même qui développent et diffusent ces systèmes tout en déclarant qu’ils sont tellement dangereux qu’il y a un risque d’extinction pour l’humanité. Mais alors, pourquoi développent-ils ces systèmes ? On peut penser qu’ils veulent obtenir une réglementation pour qu’on ne leur reproche rien. À condition que cette réglementation soit influencée par eux.

Le secteur de l’éducation a très tôt réagi à l’irruption de ChatGPT. Qu’en pensez-vous ?

On peut, quand on interroge ChatGPT, obtenir des réponses intéressantes voire impressionnantes. Par exemple, si je n’ai aucune idée sur un sujet, je peux demander à ChatGPT de me produire trois pages sur ce sujet, et je peux les trouver pas trop mauvaises, même si elles incluent parfois des platitudes. Cela peut me donner des idées, surtout si je ne suis pas un spécialiste. Mais si je suis un spécialiste, alors je peux détecter des anomalies. Et je dois alors prendre mon clavier, pour retrouver les sources, vérifier, corriger… Bref, passer du temps au lieu d’en gagner.

Peut-on utiliser cela dans l’éducation ? Pour un professeur, s’il n’a aucune idée sur un sujet qu’il doit enseigner… alors il devrait changer de métier. La pédagogie ce n’est pas juste répéter des mots. Côté étudiant ? Il a besoin d’un interlocuteur adapté à sa situation d’apprenant, d’un pédagogue. ChatGPT ne procède pas d’une manière pédagogique.

Quel rapport entre un outil qui produit un ensemble d’informations plus ou moins exactes et l’interaction entre enseignant et enseigné ? Un étudiant doit apprendre à réfléchir et à comprendre. En posant des questions à ChatGPT, il ne va pas réfléchir ni comprendre, mais obtenir des affirmations plus ou moins solides. D’ailleurs, la formation consiste à former un esprit, ce qui suppose un cheminement. Même l’accès à la meilleure encyclopédie ne permettrait pas, à lui seul, à un étudiant d’intégrer des connaissances complexes.

Les nouveaux outils d’IA générative (texte et image) facilitent la désinformation. Pensez-vous comme Yoshua Bengio que c’est un risque majeur pour la démocratie ?

En effet, et Bengio n’est pas le seul à le dire. On le disait déjà avant ChatGPT et Dall-E. Et les réseaux sociaux facilitent la circulation des deepfakes, amplifient leur impact. L’assaut du Capitole n’a pas été perpétré par les réseaux sociaux. Mais ils ont joué un rôle majeur pour propager des informations toxiques, qui ont contribué à le provoquer.

La démocratie est fondée sur des principes, dont le fait que les citoyens sont d’accord sur un certain nombre de choses. Un fonds commun. Si ce fonds commun est remis en question par un déferlement de messages porteurs de contrevérités, mais néanmoins convaincants, au moins pour une partie importante de la population… alors il y a un risque pour la démocratie. En clair, on peut parler de propagande. Elle peut aller jusqu’à désigner des ennemis qui n’en sont pas. Oui, c’est une menace, mais il ne faut pas l’exagérer non plus.

Les métiers de la création seraient également en danger…

Je ne sais pas trop. Par définition, la création est multiple. Bien sûr, on peut utiliser ces outils par exemple pour générer des scénarios… qui seront insipides. Le risque, je le vois dans le fait qu’ils peuvent permettre d’explorer et de piller massivement le net. Et de faciliter le plagiat. Mais il ne sera peut-être pas simple de prouver le plagiat. Cela dit, je ne crois pas que la créativité humaine elle-même soit en danger. Le problème, c’est le respect de la propriété intellectuelle.

D’autres activités humaines sont-elles menacées par ces outils relevant de l’IA générative ?

Il y a par exemple la médecine… La question de l’utilisation de ces systèmes est posée. Pour des comptes rendus de réunion ? Pourquoi pas, dans certains cas ? Mais il y aura toujours le risque de rater des choses trop subtiles. Il faudra être prudent et vérifier.

Méfiance, a fortiori, dans le cas d’un chatbot d’interaction avec des clients ou patients. Un outil de recommandation reposant sur l’IA générative risque de produire un mélange de vrai et de faux. Mais pourquoi réaliser ce type d’outil ? Moi, il m’arrive de Googler des symptômes. Mais je cherche les sources et j’en tiens compte. Une consultation via ChatGPT, qui est incapable de donner ses sources, sera pire qu’une recherche à l’aide de Google…

L’historien israélien Yuval Harari estime que « l’IA a piraté le système d’exploitation de la civilisation humaine. » Que pensez-vous de cette formule ?

Dans une lecture littérale d’abord, l’humanité n’a pas de “système d’exploitation”. C’est une image qui tend à dire que l’humanité fonctionnerait comme un ordinateur, ce qui est inexact. De plus, à force de parler de l’IA en faisant appel à ce genre d’image, on finira par faire croire que l’intelligence artificielle existe vraiment et qu’elle a une volonté propre. Dans un sens figuré, l’IA n’a pas non plus pris le dessus sur l’humanité et elle ne contrôle pas notre intelligence individuelle ou collective.

Je préfère le message « L’intelligence artificielle n’existe pas » de Luc Julia [titre d’un livre¹ publié par ce chercheur-entrepreneur en IA et cocréateur de Siri, ndlr]. Les outils dont nous parlons sont des systèmes algorithmiques utilisés pour atteindre un objectif donné. Des outils qui peuvent être utiles, mais pour cela il faut apprendre à les utiliser.

Par ailleurs, l’IA n’est pas une nécessité, pas la solution à tout, pas une fatalité.

Que faut-il faire pour limiter les risques ?

Il y a un avertissement² sur la fenêtre de ChatGPT, qui rappelle ses limitations. Pourtant, on fonce tête baissée. Mais je ne crois pas que l’interdiction soit une solution. Il est tout d’abord indispensable de faire comprendre les limites de ChatGPT et plus généralement des outils de ce genre. Il faut éduquer les utilisateurs. Ils doivent aussi intégrer l’idée que, non, le problème n’est pas que ChatGPT n’est pas au point : il ne le sera jamais. Il faut insister sur les limites inhérentes à cette technologie. Il faut développer des méthodologies pour introduire les utilisateurs à ces outils.

En second lieu, oui, il faut une réglementation. Et il faut définir un certain nombre d’obligations aux concepteurs tout au long de la chaîne de valeur. Actuellement, dans certains textes européens en discussion pour la réglementation sur l’IA, le créateur de modèles dits de fondation, comme OpenAI, n’a aucune responsabilité, alors qu’un développeur qui utiliserait sa technologie dans un système de recommandation médicale serait en revanche responsable. J’estime que la responsabilité devrait être au contraire répercutée tout au long de la chaîne de valeur !

Faut-il imposer que toute production de l’IA générative soit marquée au fer rouge ?

C’est l’idée du filigrane. Je suis parmi ceux qui le préconisent. Cela répond au principe de transparence. Ce qui est produit par une machine doit être perçu comme tel. Mais ce n’est pas si simple. On sait le faire pour l’image, c’est plus compliqué pour le texte. Et tout compte fait, cela reste une solution partielle. Cela peut aider pour protéger les droits d’auteur, pour lutter contre les plagiats. Mais il ne faut pas croire que c’est une solution magique.

Quel rôle peut jouer l’AI Act que prépare l’Union européenne ?

Je ne sais pas à quoi aboutira la réglementation européenne. Le vote final doit avoir lieu en fin d’année. Sur un texte qui ne sera pas applicable avant deux ans. Le texte initial de la Commission classe les systèmes reposant sur l’IA en quatre catégories, selon le risque qu’ils font courir. Risque inacceptable, élevé, limité et minimal ou nul. Mais comment évalue-t-on ce niveau de risque ? Et puis : risque pour quoi ? Pour l’intégrité humaine ? Pour les droits humains ? Ce n’est pas trivial à qualifier. Question : est-ce que ChatGPT est un système à risque ? Cela dépend-il des circonstances et des applications ou bien est-ce inhérent au système en soi ? Comment répondre ?

À votre connaissance, est-ce que l’on va vers une régulation sérieuse de l’IA aux États-Unis ?

Les États-Unis ne se doteront jamais d’une régulation forte sur l’IA. Il existe bien un “AI Bill of Rights”, mais il est facultatif de l’appliquer, il n’a pas valeur de loi. Il existe aussi un cadre d’évaluation des risques, mais il n’est pas obligatoire. En revanche, les Chinois sont partisans d’une régulation plus forte, respectant des principes conformes à ceux du parti communiste.

Faut-il une régulation à l’échelle de la planète ?

Au sommet du G7 à Hiroshima, on a évoqué une régulation au niveau international. Il est aussi question de créer une agence internationale sous l’égide de l’ONU, calquée sur le modèle de l’AIEA, qui enquête et informe sur la sûreté des installations nucléaires, et pour cela mène des inspections pour s’assurer de leur usage pacifique. Je ne crois pas que l’AIEA soit une bonne source d’inspiration. Les questions sont différentes.

Je pense plutôt au GIEC. Le groupe d’experts intergouvernemental dont la vocation est de synthétiser l’état des connaissances scientifiques, techniques et socio-économiques sur le dérèglement climatique. Et de faire des recommandations. C’est plutôt de ce modèle qu’il faut s’inspirer. D’ailleurs, nous n’avons pas seulement besoin d’un GIEC pour l’IA, mais sans doute aussi pour d’autres technologies dites émergentes, qui présentent des risques, comme la génomique ou les nanotechnologies. Une organisation qui ferait des évaluations, fondées sur des études et des appréciations des experts de tous horizons, et qui produirait des recommandations. Je suis pour un GIEC de l’IA et des technologies dites émergentes.

Propos recueillis par Pierre Vandeginste

1. L’intelligence artificielle n’existe pas. Luc Julia. First Éditions, 2019.

2.On peut lire, tout en bas de la fenêtre de dialogue avec ChatGPT, en tout petits caractères : “ChatGPT may produce inaccurate information about people, places, or facts”, soit : « ChatGPT peut produire des informations inexactes sur des personnes, des lieux ou des faits. »

Photo en une : ©Isir