La réglementation de l'IA et les limites de la transparence

Contenu orginal: le Fonds AXA pour la Recherche

L'une des premières définitions de l'intelligence date du 19e siècle, lorsque nous essayions de déterminer quels animaux étaient intelligents ou non : c'est la capacité de faire la bonne chose au bon moment, ce qui est une forme de calcul. Il s'agit de transformer des informations sur le contexte en action. Cette définition très générale inclut les plantes et les thermostats. Avec cette définition, il est facile de définir l'IA comme tout ce qui se comporte de manière intelligente et que quelqu'un a délibérément construit. Par conséquent, les thermostats sont acceptés et les plantes sont exclues.

Ce qui est important pour la transparence, c'est que cette délibération implique une responsabilité, au moins chez les adultes humains. Nous ne parlons que des adultes humains car eux seuls peuvent réellement être tenus légalement responsables. L'éthique est la manière dont une société se définit et se sécurise, et les composants fondamentaux d'un système éthique sont les agents moraux. Ce sont ceux que notre société considère comme responsables. Les patients moraux sont ceux dont ils sont responsables, et cela peut inclure des choses comme l'écosystème. Les sociétés définissent différemment les agents moraux et les patients moraux. Certaines ne reconnaissent pas les capacités d'agence morale des femmes ou des minorités, par exemple. Nous construisons notre société à partir de la manière dont nous définissons ces agents et ces patients.

Ces définitions ne fonctionnent que dans la mesure où les agents moraux sont à peu près des pairs. Il y aura des leaders - rois ou présidents - mais il y a toujours plus ou moins d'égalité. Même un leader autocratique ne peut pas complètement déterminer ce que les gens font. C'est la clé lorsque nous réfléchissons à la façon dont les TIC changent la société. Comment allons-nous gérer l'application des lois lorsque nous les promulguerons?

Je ne parle pas d'IA digne de confiance car ce n'est pas le genre de chose à laquelle on fait confiance. On ne peut faire confiance qu'à ses pairs. Nous pouvons exploiter la sensation psychologique de la confiance et parler de la confiance dans les gouvernements ou les robots, mais ce n'est pas cohérent. La confiance est une relation de pair à pair dans laquelle vous dites "je ne vais pas essayer de vous microgérer". Lorsque nous pensons à l'application, qui est importante pour comprendre la transparence, nous devons penser aux pairs.

Ce n'est pas que nous devions faire confiance aux entreprises et aux gouvernements. Nous devons leur demander des comptes. C'est pourquoi nous voulons de la transparence. Et c'est l'objet de la nouvelle loi sur les services numériques : comment faire en sorte que nous sachions ce qui se passe avec les artefacts numériques.

L'IA n'est pas un pair. Les moyens que nous appliquons, le droit et la justice, ont à voir avec la dissuasion bien plus qu'avec la récompense. Si le robot lui-même ou une entreprise d'IA fait quelque chose de mal, on lui ordonne simplement de payer une amende, mais découvrir et prouver le problème est malheureusement très improbable. Nous devons donc aussi dissuader, et cette dissuasion est basée sur ce que les humains aiment ou n'aiment pas. Nous tenons vraiment à ne pas aller en prison ou à ne pas perdre notre argent, mais nous ne pouvons pas intégrer cela dans l'IA. Nous ne pouvons pas garantir qu'un système que nous construisons ressentira une aversion systémique comme les animaux le font pour l'isolement. Une IA sûre est modulaire. C'est ainsi que nous pouvons être sûrs de savoir comment elle fonctionne ; nous construisons des systèmes qui nous permettent de rendre des comptes ou de retracer les responsabilités.

Si nous laissions l'IA elle-même être un agent légal, elle serait l'ultime société écran. Mais qu'en est-il des robots ? Cela nous ramène au travail qu'AXA a financé : même vos robots ne sont pas vos pairs. Et je trouve cela stupéfiant. Regardons l'un des robots qu'AXA a financé pour nous. Ce robot ne peut rien faire pour aider ce monsieur, par exemple, à se lever du canapé. Il est trop fragile. Et je trouve incroyable que l'on puisse même envisager de laisser un robot s'occuper des personnes âgées.

Les robots sont conçus et possédés, ce qui signifie que nous ne pouvons même pas penser à des relations consensuelles. Nous ne parlons pas de confiance. Un robot est en fait une extension d'une société avec des caméras et des microphones dans votre maison. Est-ce une bonne idée ? L'anthropomorphisme signifie que nous voyons une chose et commençons à penser que c'est une personne comme nous, que nous utilisons. On s'accommode du fait qu'on le trouve pratique et qu'on ne s'inquiète pas trop de la sécurité. Nous commençons à le considérer comme un membre de notre foyer. Il ne s'agit pas nécessairement d'une décision consciente. Certains chercheurs en traitement du langage naturel pensent que nous ne pouvons pas introduire le langage naturel dans la maison de quelqu'un de manière éthique, car tous ces jouets parlant le langage affectent la manière dont les familles interagissent entre elles. Ils affectent le langage que nous utilisons parce que les humains anthropomorphisent naturellement. Nous essayons naturellement de nous adapter. Le revers de la médaille est la déshumanisation, ce que nous faisons malheureusement aussi. Lorsque nous nous sentons menacés, nous pouvons décider de ne pas nous occuper de quelque chose qui est trop différent de nous. Au lieu de cela, nous l'excluons. Je me suis lancée dans l'éthique de l'IA parce que j'étais stupéfaite par ce phénomène et que je ne comprenais pas, en tant que constructeur de robots, pourquoi les gens pensaient qu'ils avaient des obligations éthiques envers les robots. Cela a à voir avec ce processus d'inclusion/exclusion.

L'anthropomorphisme nuit-il à la transparence ? Pouvons-nous aider les humains à comprendre qu'un robot est un artefact, qu'il est le prolongement d'une entreprise, et à s'assurer qu'ils peuvent l'avoir chez eux en toute sécurité ? Ou les préjugés sont-ils trop ancrés ? Nous avons joué avec cette idée. Le simple fait de mettre un costume d'abeille sur un robot modifie la façon dont les gens le comprennent. Nous avons un système pour montrer aux gens comment les robots fonctionnent. Nous savons que cela augmente la compréhension humaine. Faire comprendre aux gens les objectifs du robot les aide à comprendre et à raisonner sur ceux-ci, mais pas parfaitement, malheureusement. 

Les systèmes numériques sont facilement transparents. Cela ne signifie pas que tous les systèmes numériques sont transparents. Il est également facile de les rendre non transparents. Le fait est que, puisqu'il s'agit d'un artefact, nous pouvons le concevoir et nous pouvons garder une trace de la façon dont nous le concevons. Ce que nous essayons de vérifier, ce ne sont pas les micro-détails du fonctionnement de l'IA, mais plutôt le comportement des humains lorsqu'ils construisent, forment, testent, déploient et surveillent l'IA. L'essentiel est de montrer que les humains ont fait les bonnes choses lorsqu'ils ont construit, déployé et testé le logiciel.

Nous essayons de maintenir l'ordre dans notre propre société. Un bon système maintenable qui devrait être un produit légitime comprend des choses comme une architecture. Nous avons une idée des modules qui s'y trouvent et de leur provenance. Comme le montre l'exemple de Solar Winds, vous devez connaître la provenance de votre logiciel, mais vous devez également connaître les composants.

Si vous planifiez un bâtiment ou tout type de processus, vous concevez et documentez ses composants, ses processus de développement, d'utilisation et de maintenance. Pour un système numérique, y compris un système doté d'IA, vous devez également le sécuriser : cela inclut les journaux de développement et d'exploitation, ainsi que la provenance des logiciels et des bibliothèques de données. Si vous utilisez l'apprentissage automatique, vous devez être sûr de la provenance des données. Toutes ces choses doivent être cybersécurisées et garder tout cela en ordre s'appelle le développement et les opérations. Cela nous aide à mieux écrire nos logiciels. Les bonnes entreprises de logiciels le font depuis des décennies.

Mais les entreprises d'IA ne le font souvent pas et on ne sait pas très bien pourquoi. Vous pouvez documenter avec un contrôle de révision sécurisé chaque modification apportée à la base de code. Il est utile pour les programmeurs de pouvoir voir qui a changé quoi et pourquoi. Pour l'apprentissage automatique, vous devez garder la trace de vos bibliothèques de données et des paramètres du modèle. Aussi incroyable que cela puisse paraître, les personnes travaillant dans le domaine de l'apprentissage automatique ne peuvent souvent pas revenir en arrière et reproduire leurs propres résultats. Vous devez également tenir un journal des tests. Au cours des dernières décennies, dans le domaine des logiciels, nous avons "programmé pour tester". Vous pensez à l'avance comment vous voulez que le système fonctionne, puis vous documentez si vous avez atteint ces objectifs. Vous écrivez les tests avant d'écrire le code.

Si votre système n'évolue pas, ni par l'apprentissage automatique, ni par la corrosion, vous pouvez ne tester qu'au départ, avant de lancer la version. Sinon, les tests doivent être fréquents, voire continus. Des entreprises comme Facebook font tourner un nombre énorme de processus pour s'assurer qu'il n'y a pas l'impression que quelque chose ne va pas en temps réel. Normalement, les tests sont effectués à l'avance et la surveillance/les tests sont continus pendant le déploiement. Là encore, des enregistrements doivent être conservés à l'intention des développeurs et des auditeurs ultérieurs.

Si vous êtes doué avec la technologie numérique, la transparence devrait être facile. Les meilleures entreprises d'IA devraient avoir des processus simples et transparents. Chez Google, des personnes ont été recrutées spécifiquement pour s'occuper d'éthique et elles ont été licenciées pour avoir écrit un article sur l'éthique du traitement du langage naturel. Pour moi, le plus gros problème de transparence s'est posé à ATEAC, lorsque Google a réuni un groupe d'experts externes et qu'ils n'ont même pas pu communiquer en interne sur ce qu'ils faisaient et pourquoi. Et ils ont également eu des problèmes avec les relations extérieures. Je me suis demandée pourquoi l'une des plus grandes entreprises de communication du monde ne pouvait pas faire preuve de transparence!

J'ai pensé à trois raisons:

1. La première est la combinatoire. L'intelligence est la computation, une transformation de l'information. Le calcul est un processus physique qui prend du temps, de l'espace et de l'énergie. Ce n'est pas une abstraction ; ce ne sont pas des mathématiques. Trouver la bonne chose à faire au bon moment nécessite une recherche. Même si vous n'êtes capable de faire qu'un petit nombre de choses, l'espace possible de ce que vous pourriez faire globalement explose. C'est ce qu'est la combinatoire. Ce sont des exponentielles sur des exponentielles. La base de l'informatique est de comprendre ce qui est calculable. Nous avons trouvé quelques solutions. L'une d'elles s'appelle la concurrence, où plusieurs ordinateurs travaillent en même temps. Cela ne résout pas tous les problèmes, mais permet de gagner du temps. Mais elle ne permet pas d'économiser de l'énergie et nécessite plus d'espace. Le quantum permet de gagner de l'espace pour certains algorithmes, ainsi que du temps, mais coûte encore plus d'énergie que prévu. Si nous, les humains, sommes capables de faire autant de choses que n'importe quelle autre espèce, c'est en partie parce que nous sommes très doués pour communiquer des solutions. Une fois que nous les avons trouvées, nous faisons des recherches concurrentes massives en permanence pour trouver de bonnes réponses. Et plus nous mettons de gens en ligne grâce à l'éducation et à la connectivité Internet, plus vite nous sommes capables de trouver des solutions intéressantes et de changer les choses. Cela comporte certains risques, mais c'est fantastique en termes d'autonomisation. 
   Il existe des préjugés implicites dans le langage en raison de notre capacité de recherche simultanée. Les stéréotypes, le fait de penser par exemple que "les hommes ont plus de chances de faire carrière et les femmes plus de chances de rester à la maison" n'est pas quelque chose que nous croyons explicitement mais implicitement, lorsque nous faisons des choses comme appuyer sur des boutons pour voir à quelle vitesse nous pouvons associer des idées, ces préjugés implicites émergent. Cela arrive à tout le monde. C'est en nous. Les stéréotypes sont là. Mais lorsque nous capturons le sens des mots pour l'IA à l'aide d'incorporations de mots, comme on les appelle, elles reflètent non seulement ces préjugés, mais aussi la façon dont le monde réel fonctionne. Et nos préjugés sont une conséquence de cette recherche simultanée que nous faisons. Ensuite, nous nous transmettons simplement notre expérience du monde réel. Cela signifie que les préjugés implicites reflètent la réalité.
   Notre comportement implicite n'est pas notre idéal. Lorsque nous décidons que nous ne voulons pas de racisme ou de sexisme, nous choisissons une cible et essayons de nous améliorer. Nous faisons évoluer notre société dans cette direction. Vous ne parviendrez pas à atteindre cette cible en utilisant l'apprentissage automatique sur des données existantes. Il n'est pas possible d'avoir de bonnes données sans biais. Il est important de comprendre d'où vient le biais implicite. Il n'est pas possible d'obtenir des données sur un monde parfait car nous ne vivons pas dans un tel monde. Le finnois, comme le turc, n'a pas de pronoms de genre. Le mot "Hän" est le même quel que soit le sexe, mais selon les mots qui suivent, Google Translate le traduit par "he" ou "she" en anglais. Cela se produit par exemple parce que le mot "investit" est plus souvent utilisé pour parler d'un homme et le mot "laundry" est plus souvent utilisé pour parler d'une femme dans le monde réel. Google Translate vous indique simplement comment fonctionne votre société. Comment gérer cela ? Nous sommes tous d'accord pour dire que ce n'est pas bien. Nous n'aimons pas que Google Translate nous fasse ça. Certains ont suggéré que nous changions le résultat en déformant l'apprentissage automatique, mais ce n'est pas transparent. Si vous utilisez un algorithme d'apprentissage automatique simple et clair, vous obtiendrez ce genre de problème. Nous pouvons nous attendre à ce qu'il reproduise l'expérience vécue ou le monde réel. Vous obtenez un résultat stéréotypé. Ce n'est pas acceptable. 
   Rappelez-vous que j'ai dit plus tôt que nous devrions écrire notre logiciel de programme pour le tester. Faisons un test sur ce que nous pensons être une sortie juste. Ce n'est pas facile non plus. L'équité n'est pas vraiment une chose naturelle. Nous devons négocier et argumenter sur ce qui serait juste. Mais une fois que vous l'avez défini, vous pouvez revenir en arrière et dire comment corriger le résultat du système d'IA simple. Nous pouvons utiliser soit une IA "explicable", lisible par l'homme, soit l'apprentissage automatique pour y remédier. Mais vous n'avez pas terminé tant que vous n'avez pas conçu l'ensemble du système. Il ne faut pas que les entreprises se contentent de pirater la première boîte, car si cette boîte est totalement impénétrable, comment pouvez-vous revenir en arrière avec la comptabilité et dire qu'elles ne la piratent que pour des raisons de sexisme et de racisme ? Et s'ils la modifiaient aussi pour qu'elle vous pousse davantage vers les personnes qui leur rapportent le plus d'argent ? C'est pourquoi nous voulons avoir quelque chose que nous pouvons tester par rapport au monde réel et quelque chose d'autre que nous pouvons tester par rapport aux résultats souhaités. Et nous devrions avoir un processus transparent qui nous permette de voir comment le développement a été fait pour les deux, comment les deux parties fonctionnent. Chaque étape doit être auditable et reproductible. Chaque étape doit manifestement répondre aux critères.
   
2. Un deuxième problème pour la transparence est la polarisation. Nous connaissons la polarisation politique. Elle est mauvaise en Amérique. Elle est meilleure dans la plupart des pays de l'UE. L'axe X, c'est l'inégalité des revenus, et l'axe Y, les problèmes sociaux, y compris les résultats en matière de santé. Nous savons que la polarisation et l'inégalité sont corrélées l'une à l'autre. Pourquoi ces deux éléments sont-ils corrélés ? Ce n'est pas vraiment l'inégalité qui est le problème. C'est la menace d'une économie en déclin. Et cela tend à être corrélé avec l'inégalité si vous ne soutenez pas le bas de l'échelle alors que l'inégalité augmente de toute façon. Mais en période de polarisation, les idées ne sont pas utilisées pour le raisonnement mais pour l'identité. De plus, la mobilité sociale est plus faible, il est donc moins probable qu'une personne que vous connaissez et en qui vous avez confiance comprenne le fonctionnement d'un système. La polarisation et l'inégalité sont donc des obstacles à la transparence.
   
3. Le troisième problème pour la transparence, ce sont les objectifs contradictoires. Pour en revenir à ce qui s'est passé avec Google, on peut supposer qu'ils peuvent bien communiquer dans les limites du temps, de l'espace et de l'énergie. Mais qu'en est-il si la priorité absolue de certains acteurs est de maintenir l'agence pour leur entreprise. Et s'ils croient sincèrement qu'ils sont menacés par Bing ? Et que le maintien du statut de "first mover" est existentiellement nécessaire ? Et s'ils engageaient d'autres acteurs pour garantir leur intégrité éthique ? Alors bien sûr, ces deux groupes d'acteurs se retrouveraient dans ce que nous appelons une impasse. Ces deux choses pourraient entrer en conflit l'une avec l'autre. Et il se peut que l'apparente rupture de la transparence soit en fait cette impasse logique. Cette impasse, combinée à la polarisation, pourrait expliquer pourquoi les gens ont du mal à se comprendre. 

Que pouvons-nous faire ? Nous faisons des choses étonnantes avec la combinatoire. Le travail que nous accomplissons dans le domaine quantique et pour amener les gens à communiquer entre eux est en train de changer le monde. En ce qui concerne la polarisation, nous devons réduire la vulnérabilité. Si les gens ont l'impression qu'ils vont faire faillite, perdre leur maison ou leurs enfants, il est plausible que la réduction de leur profil de risque soit plus importante que la possibilité de faire mieux, ce qui est le résultat du travail avec des groupes plus diversifiés. Ce problème peut être résolu grâce aux infrastructures et aux investissements. Quant aux objectifs multiples et contradictoires, la meilleure façon de les résoudre est de procéder par itération, par le biais de la conception itérative. C'est l'essence même de la gouvernance et de la politique. Les gens ont tendance à penser que nous avons fait quelque chose de mal parce que nous sommes dans une situation de rupture. Mais il est naturel que les innovations conduisent à de nouveaux problèmes à résoudre. Lorsque nous parlons de régulation en biologie, il s'agit de maintenir les choses en marche et cela implique souvent des oscillations. Nous ne cherchons pas nécessairement une solution qui soit éternelle. Nous recherchons une solution que nous pouvons appliquer régulièrement. Si c'est tous les cinq ans ou tous les dix ou trente ans et que nous pouvons nous maintenir dans un équilibre plus ou moins durable, alors c'est parfait. En fin de compte, une perpétuation est également insoluble, mais faisons en sorte qu'elle dure encore un milliard d'années. 

À propos du Prof. Joanna Bryson

Joanna Bryson est professeur d'éthique et de technologie à la Hertie School de Berlin. Ses recherches actuelles portent sur l'impact de la technologie sur la coopération humaine et sur la gouvernance de l'IA et des TIC.  De 2002 à 19, elle a fait partie de la faculté d'informatique de l'université de Bath. Elle a également été affiliée au département de psychologie de l'université de Harvard, au département d'anthropologie de l'université d'Oxford, à l'école des sciences sociales de l'université de Mannheim et au Princeton Center for Information Technology Policy. Au cours de son doctorat, elle a observé la confusion générée par l'IA anthropomorphisée, ce qui a conduit à sa première publication sur l'éthique de l'IA, "Just Another Artifact", en 1998. En 2010, elle a co-rédigé la première politique d'éthique de l'IA au niveau national, les "Principles of Robotics" du Royaume-Uni. Elle est diplômée en psychologie et en intelligence artificielle de l'université de Chicago (BA), de l'université d'Édimbourg (MSc et MPhil) et du Massachusetts Institute of Technology (PhD). Depuis juillet 2020, le professeur Bryson est l'un des neuf experts nommés par l'Allemagne au sein du Partenariat mondial pour l'intelligence artificielle. Le professeur Bryson a reçu un prix AXA sur l'intelligence artificielle responsable pour son projet sur la gestion des robots humanoïdes.