Pourquoi les IA approfondies sont-elles si faciles à tromper

Une voiture autonome se rapproche d'un panneau d'arrêt, mais au lieu de ralentir, elle accélère jusqu'au carrefour très fréquenté. Un rapport d'accident révèle plus tard que quatre petits rectangles avaient été collés au visage. Ceux-ci ont dupé l’intelligence artificielle embarquée de la voiture en lui donnant une interprétation erronée du mot «stop» comme «limite de vitesse 45».

Un tel événement n’a pas eu lieu, mais le potentiel de saboter l’IA est bien réel. Les chercheurs ont déjà démontré, en posant soigneusement les autocollants dessus. Ils ont en collant un motif imprimé sur des lunettes ou des chapeaux. Et ils entendent des phrases fantômes en insérant des motifs de bruit blanc dans l'audio.

Ce ne sont là que quelques exemples de la facilité avec laquelle on parvient à briser la technologie de pointe en reconnaissance de formes de l’IA, connue sous le nom de réseaux neuronaux profonds (DNN). Celles-ci se sont avérées incroyablement efficaces pour classer correctement tous les types d’informations, y compris les images, la parole et les données relatives aux préférences du consommateur. Ils font partie de la vie quotidienne, allant des systèmes téléphoniques automatisés aux recommandations des utilisateurs sur le service de diffusion en continu Netflix. Cependant, modifier les entrées – sous la forme de modifications minuscules qui sont généralement imperceptibles pour l'homme – peut rendre flummox les meilleurs réseaux de neurones existants.

Ces problèmes sont plus préoccupants que les bizarreries idiosyncratiques d'une technologie pas tout à fait parfaite, explique Dan Hendrycks, étudiant au doctorat en informatique à l'Université de Californie à Berkeley. Comme beaucoup de scientifiques, il en est venu à considérer comme l'illustration la plus frappante de la fragilité fondamentale des DNN: brillants dans leur travail jusqu'à ce que, pris dans un territoire inconnu, ils se cassent de manière imprévisible.

Cela pourrait entraîner des problèmes substantiels. Les systèmes d'apprentissage en profondeur quittent de plus en plus le laboratoire pour entrer dans le monde réel, de et vers. Mais des pixels ajoutés malicieusement aux scanners médicaux pourraient tromper un DNN en lui demandant de détecter à tort le cancer, a rapporté une étude cette année. Un autre a suggéré qu’un pirate informatique pourrait utiliser ces faiblesses pour pirater un système en ligne basé sur l’IA afin qu’il exécute ses propres algorithmes..

Dans leurs efforts pour comprendre ce qui ne va pas, les chercheurs ont beaucoup découvert pourquoi les DNN échouent. "Il n'y a pas de solution pour la fragilité fondamentale des réseaux de neurones profonds", affirme François Chollet, ingénieur en intelligence artificielle chez Google à Mountain View, en Californie. Selon lui et d'autres, pour aller au-delà des failles, les chercheurs doivent augmenter les DNN de correspondance de modèles avec des capacités supplémentaires: par exemple, créer des IA capables d'explorer le monde de manière autonome, d'écrire leur propre code et de conserver des mémoires. Certains experts pensent que ce type de système constitue l’histoire de la recherche sur l’IA dans la prochaine décennie.

Vérification de la réalité

En 2011, Google a révélé un système capable de reconnaître les chats dans les vidéos YouTube et peu de temps après est arrivé. «Tout le monde disait:« C'est incroyable, les ordinateurs sont enfin capables de comprendre le monde », a déclaré Jeff Clune de l'Université du Wyoming à Laramie, qui est également directeur principal de la recherche chez Uber AI Labs à San Francisco, en Californie. .

Mais les chercheurs en intelligence artificielle savaient que les DNN ne comprenaient pas vraiment le monde. Lâchement modelés sur l'architecture du cerveau, ce sont des structures logicielles constituées d'un grand nombre de neurones numériques disposés en plusieurs couches. Chaque neurone est connecté aux autres en couches au-dessus et au-dessous.

L'idée est que les caractéristiques de l'entrée brute entrant dans les couches inférieures – telles que les pixels d'une image – déclenchent certains de ces neurones, qui transmettent ensuite un signal aux neurones de la couche supérieure selon des règles mathématiques simples. Former un réseau DNN implique de l'exposer à une multitude d'exemples, chaque fois que l'on modifie la manière dont les neurones sont connectés, de sorte que la couche supérieure donne finalement la réponse souhaitée – par exemple en interprétant toujours l'image d'un lion comme d'un lion. , même si le DNN n’a pas vu cette image auparavant.

Une première grande vérification de la réalité a eu lieu en 2013, lorsque le chercheur Google Szcedy et ses collègues ont publié une pré-impression intitulée "Propriétés intrigantes des réseaux de neurones".. L’équipe a montré qu’il était possible de prendre une image – d’un lion par exemple – qu’un DNN pouvait identifier et, en modifiant quelques pixels, convaincre la machine qu’elle cherchait quelque chose de différent, comme une bibliothèque. L’équipe a appelé les images fouillées «des exemples contradictoires».

Un an plus tard, Clune et son étudiant au doctorat de l'époque, Anh Nguyen, ainsi que Jason Yosinski de l'Université Cornell à Ithaca, dans l'État de New York, ont montré qu'il était possible de faire en sorte que les DNN découvrent des choses qui n'existaient pas, comme un manchot. lignes ondulées. «Quiconque a déjà joué à l'apprentissage automatique sait que ces systèmes commettent parfois des erreurs stupides», déclare Yoshua Bengio de l'Université de Montréal au Canada, pionnier de l'apprentissage en profondeur. "Ce qui était une surprise était le type d'erreur", dit-il. «C'était assez frappant. C’est un type d’erreur que nous n'aurions pas imaginé. »

De nouveaux types d'erreur sont venus rapidement et rapidement. L'année dernière, Nguyen, qui est maintenant à l'Université Auburn en Alabama, a montré que la simple rotation d'objets dans une image suffisait à écarter certains des meilleurs classificateurs d'images du monde.. Hendrycks et ses collègues ont déclaré cette année que même des images naturelles et non altérées pouvaient encore amener les classificateurs à la pointe de la technologie à créer des gaffes imprévisibles, telles qu'identifier un champignon comme un bretzel ou une libellule comme une plaque d'égout.

Le problème dépasse la simple reconnaissance d'objet: toute IA qui utilise des DNN pour classer les entrées – telles que la parole – peut être trompée. Les IA qui jouent à des jeux peuvent être sabotées: en 2017, l'informaticienne Sandy Huang, doctorante à l'Université de Californie à Berkeley, et ses collègues se sont concentrées sur les DNN formés pour battre les jeux vidéo Atari selon un processus appelé apprentissage par renforcement.. Dans cette approche, l'IA se voit attribuer un objectif et, en réponse à une gamme d'entrées, apprend par essais et erreurs ce qu'il faut faire pour atteindre cet objectif. C’est la technologie à la base des IA surhumaines telles que et. Malgré tout, l’équipe de Huang a réussi à faire perdre des jeux à leurs IA en ajoutant un ou deux pixels aléatoires à l’écran.

Un peu plus tôt cette année, Adam Gleave, étudiant en doctorat à l’Université de Californie à Berkeley, et ses collègues ont démontré qu’il est possible de présenter un agent à un environnement d’Am qui simule une «politique contradictoire» conçue pour confondre les réponses d’Amnesty International.. Par exemple, un footballeur en IA entraîné à frapper une balle devant un gardien de but dans un environnement simulé perd sa capacité de marquer lorsque le gardien de but commence à se comporter de manière inattendue, comme s’effondrer au sol.

Savoir où se trouvent les points faibles d’un DNN pourrait même laisser un pirate informatique prendre le contrôle d’une puissante IA. Un exemple de cela est apparu l'année dernière, lorsqu'une équipe de Google a montré qu'il était possible d'utiliser des exemples contradictoires non seulement pour obliger un DNN à commettre des erreurs spécifiques, mais également pour le reprogrammer entièrement – en réaffectant efficacement un AI formé à une tâche à accomplir. un autre.

De nombreux réseaux de neurones, tels que ceux qui apprennent à comprendre le langage, peuvent, en principe, être utilisés pour coder tout autre programme informatique. "En théorie, vous pouvez transformer un chatbot en un programme de votre choix", déclare Clune. «C’est là que l’esprit commence à perdre la tête.» Il imagine une situation dans laquelle les pirates pourraient détourner des réseaux de neurones dans le nuage pour exécuter leurs propres algorithmes d’évitement des spams.

Pour l'informaticienne Dawn Song de l'Université de Californie à Berkeley, les DNN sont comme des canards assis. «Il y a tellement de façons différentes d'attaquer un système», dit-elle. "Et la défense est très, très difficile."

Avec une grande puissance vient une grande fragilité

Les DNN sont puissants car leurs nombreuses couches leur permettent de cerner des modèles dans de nombreuses fonctionnalités différentes d’une entrée lorsqu’ils tentent de la classifier. Une IA expérimentée à reconnaître les aéronefs pourrait constater que des caractéristiques telles que des taches de couleur, de texture ou d’arrière-plan sont des prédicteurs aussi puissants que les éléments que nous considérons comme saillants, tels que les ailes. Mais cela signifie également qu'un très petit changement dans l'entrée peut basculer dans ce que l'IA considère comme un état apparemment différent.

Une solution consiste simplement à envoyer plus de données à l'IA; en particulier, exposer à plusieurs reprises l'IA à des cas problématiques et corriger ses erreurs. Dans cette forme de «formation contradictoire», alors qu’un réseau apprend à identifier des objets, un second tente de modifier les entrées du premier réseau afin qu’il fasse des erreurs. De cette manière, les exemples contradictoires deviennent partie intégrante des données de formation d’un DNN.

Hendrycks et ses collègues ont suggéré de quantifier la résistance d’un DNN contre les erreurs en testant ses performances par rapport à un large éventail d’exemples contradictoires. Cependant, former un réseau pour résister à un type d'attaque, disent-ils. Et les chercheurs dirigés par Pushmeet Kohli à Google DeepMind à Londres sont. Beaucoup d'attaques contradictoires fonctionnent en modifiant très légèrement les composants d'une entrée – par exemple en modifiant subtilement la couleur des pixels d'une image – jusqu'à ce que cela fasse basculer un DNN dans une classification erronée. L’équipe de Kohli a suggéré qu’un DNN robuste ne devrait pas changer de sortie à la suite de petits changements d’entrée, et que cette propriété pourrait être mathématiquement incorporée au réseau, ce qui limiterait son apprentissage.

Pour le moment, cependant, personne ne sait comment résoudre le problème global des IA fragiles. Selon M. Bengio, le fond du problème est que les DNN n’ont pas un bon modèle pour déterminer ce qui compte. Quand une IA voit une image falsifiée de lion comme une bibliothèque, une personne voit toujours un lion parce qu’elle a un modèle mental de l’animal qui repose sur un ensemble de traits de haut niveau – des oreilles, une queue, une crinière, etc. – qui leur permet d’abstraire des détails mineurs, arbitraires ou accidentels. «Nous savons d'expérience quels sont les éléments les plus saillants», déclare Bengio. "Et cela vient d'une compréhension profonde de la structure du monde."

Une tentative pour remédier à cela consiste à combiner les DNN avec l'IA symbolique, qui était le paradigme dominant de l'IA avant l'apprentissage automatique. Avec l'IA symbolique, les machines raisonnaient en utilisant des règles codées en dur sur la manière dont le monde fonctionnait, telles qu'elles contiennent des objets discrets et qu'elles sont liées les unes aux autres de différentes manières. Certains chercheurs, comme le psychologue Gary Marcus de l'Université de New York, affirment que les modèles hybrides d'IA sont la voie à suivre. «L’apprentissage en profondeur est tellement utile à court terme que les gens ont perdu de vue le long terme», déclare Marcus, critique de longue date de l’approche actuelle de l’apprentissage en profondeur. En mai, il a cofondé une jeune entreprise appelée Robust AI à Palo Alto, en Californie, qui vise à mélanger un apprentissage approfondi à des techniques d'IA basées sur des règles afin de développer des robots pouvant fonctionner en toute sécurité aux côtés des personnes. Exactement ce sur quoi la société travaille reste caché.

Même si les règles peuvent être intégrées aux DNN, elles ne sont toujours aussi bonnes que les données dont elles tirent des enseignements. Bengio dit que les agents d'intelligence artificielle doivent apprendre dans des environnements plus riches qu'ils peuvent explorer. Par exemple, la plupart des systèmes de vision par ordinateur ne parviennent pas à reconnaître qu'une canette de bière est cylindrique car ils ont été formés à des ensembles de données d'images 2D. C'est pourquoi Nguyen et ses collègues ont trouvé si facile de tromper les DNN en présentant des objets familiers sous différentes perspectives. Apprendre dans un environnement 3D – réel ou simulé – aidera.

Mais la manière dont les IA réalisent leur apprentissage doit également changer. «L’apprentissage de la causalité doit être réalisé par des agents qui font des choses dans le monde, qui peuvent expérimenter et explorer», explique Bengio. Jürgen Schmidhuber de l’Institut Dalle Molle de recherche sur l’intelligence artificielle à Manno (Suisse), autre pionnier de l’apprentissage en profondeur, va dans le même sens. La reconnaissance des formes est extrêmement puissante, a-t-il déclaré – assez bon pour avoir fait des entreprises comme Alibaba, Tencent, Amazon, Facebook et Google les plus précieuses au monde. "Mais il y a une vague beaucoup plus grosse à venir", dit-il. "Et il s'agira de machines qui manipulent le monde et créent leurs propres données par leurs propres actions."

En un sens, les IA qui utilisent l'apprentissage par renforcement pour battre les jeux informatiques le font déjà dans des environnements artificiels: par essais et erreurs, elles manipulent les pixels à l'écran de manière autorisée jusqu'à atteindre un objectif. Mais les environnements réels sont bien plus riches que les ensembles de données simulés ou programmés sur lesquels la plupart des DNN s’entraînent actuellement.

Des robots qui improvisent

Dans un laboratoire de l'Université de Californie à Berkeley, un bras de robot fouille dans l'encombrement. Il prend un bol rouge et l'utilise pour pousser un gant de four bleu à quelques centimètres à droite. Il laisse tomber le bol et prend un flacon pulvérisateur en plastique vide. Ensuite, il explore le poids et la forme d'un livre de poche. Au cours de plusieurs jours de tamisage continu, le robot commence à avoir une idée de ces objets extra-terrestres et de ce qu'il peut en faire.

Le bras du robot utilise l'apprentissage en profondeur pour apprendre à utiliser des outils. À partir d’un plateau d’objets, il les relève et les regarde tour à tour, en voyant ce qui se passe quand il les déplace et en fait tomber un objet dans un autre.

Lorsque les chercheurs donnent un objectif au robot – par exemple, en lui présentant l’image d’un plateau presque vide et en précisant que le robot arrange les objets pour correspondre à cet état – il improvise et peut travailler avec des objets qu’il n’avait pas vus auparavant, tels que une éponge pour essuyer des objets sur une table. Il a également compris que nettoyer avec une bouteille d'eau en plastique pour éliminer les objets est plus rapide que de ramasser ces objets directement. «Comparée à d'autres techniques d'apprentissage automatique, la généralité de ce qu'elle peut accomplir continue de m'impressionner», déclare Chelsea Finn, qui travaillait au laboratoire de Berkeley et qui se trouve maintenant à l'Université Stanford en Californie.

Ce type d'apprentissage donne à l'IA une compréhension beaucoup plus riche des objets et du monde en général, dit Finn. Si vous n'aviez vu une bouteille d'eau ou une éponge que sur des photographies, vous pourriez peut-être les reconnaître sur d'autres images. Mais vous ne comprendriez pas vraiment ce qu’ils étaient ou à quoi ils pourraient servir. «Votre compréhension du monde serait beaucoup moins profonde que si vous pouviez réellement interagir avec eux», dit-elle.

Mais cet apprentissage est un processus lent. Dans un environnement simulé, une IA peut faire défiler des exemples à la vitesse de l'éclair. En 2017, AlphaZero, la dernière version du logiciel de jeu autodidacte de DeepMind, a été formée pour devenir un joueur surhumain de Go, puis d’échecs puis de shogi (une forme d’échecs japonais) en un peu plus d’une journée. Durant cette période, il a joué plus de 20 millions de parties d’entraînement par événement.

Les robots IA ne peuvent pas apprendre cela rapidement. Selon Jeff Mahler, cofondateur d’Ambidextrous, une société d’intelligence artificielle et de robotique basée à Berkeley, en Californie, presque tous les résultats importants de l’apprentissage en profondeur reposent largement sur de grandes quantités de données. "La collecte de dizaines de millions de points de données coûterait des années d'exécution continue sur un seul robot." De plus, les données risquent de ne pas être fiables, car l'étalonnage des capteurs peut évoluer avec le temps et le matériel.

Pour cette raison, la plupart des travaux de robotique impliquant un apprentissage en profondeur utilisent encore des environnements simulés pour accélérer la formation. «Ce que vous pouvez apprendre dépend de la qualité des simulateurs», déclare David Kent, étudiant au doctorat en robotique au Georgia Institute of Technology d'Atlanta. Les simulateurs ne cessent de s’améliorer et les chercheurs parviennent de mieux en mieux à transférer les enseignements tirés des mondes virtuels au réel. De telles simulations ne sont toujours pas compatibles avec les complexités du monde réel.

Finn soutient que l'apprentissage à l'aide de robots est finalement plus facile à développer que l'apprentissage avec des données artificielles. Il a fallu quelques jours à son robot utilisateur d'outils pour apprendre une tâche relativement simple, mais cela ne nécessitait pas une surveillance lourde. «Vous ne faites que lancer le robot et simplement vérifier de temps en temps avec lui», dit-elle. Elle imagine un jour avoir beaucoup de robots dans le monde laissés à eux-mêmes, apprenant jour et nuit. Cela devrait être possible – après tout, c’est ainsi que les gens acquièrent une compréhension du monde. «Un bébé n’apprend pas en téléchargeant des données depuis Facebook», explique Schmidhuber.

Apprendre avec moins de données

Un bébé peut également reconnaître de nouveaux exemples à partir de quelques points de données: même s'il n'a jamais vu de girafe auparavant, il peut toujours apprendre à en repérer un après l'avoir vue une ou deux fois. Cela s'explique en partie par le fait que le bébé a vu de nombreux êtres vivants, si ce n'est des girafes, il est donc déjà familiarisé avec leurs traits saillants.

Un apprentissage fourre-tout pour attribuer ce type de capacités à des IA est l'apprentissage par transfert: l'idée est de transférer les connaissances acquises lors de sessions de formation précédentes vers une autre tâche. Une façon de procéder consiste à réutiliser tout ou partie d'un réseau pré-formé comme point de départ lors de la formation à une nouvelle tâche. Par exemple, la réutilisation de parties d'un DNN ayant déjà été formées pour identifier un type d'animal – telles que les couches reconnaissant la forme de corps de base – pourrait donner l'avantage à un nouveau réseau lors de l'identification d'un girafe.

Une forme extrême d’apprentissage par transfert vise à former un nouveau réseau en ne lui montrant que quelques exemples, et parfois un seul. Connu sous le nom d'apprentissage "one-shot" ou "shot-shot", il s'appuie fortement sur des DNN pré-formés. Imaginez que vous souhaitiez créer un système de reconnaissance faciale qui identifie les personnes dans une base de données criminelles. Une solution rapide consiste à utiliser un DNN ayant déjà vu des millions de visages (pas nécessairement ceux de la base de données), de manière à avoir une bonne idée des caractéristiques essentielles, telles que la forme des nez et des mâchoires. Désormais, lorsque le réseau examine uniquement une instance d'un nouveau visage, il peut extraire un ensemble de fonctionnalités utiles de cette image. Il peut ensuite comparer les caractéristiques de cet ensemble à celles d'images uniques dans la base de données criminelles et trouver la correspondance la plus proche.

Avoir une mémoire pré-formée de ce type peut aider les IA à reconnaître de nouveaux exemples sans avoir à voir beaucoup de modèles, ce qui pourrait accélérer l'apprentissage avec des robots. Mais ces DNN peuvent encore être désemparés face à quelque chose de trop éloigné de leur expérience. On ne sait toujours pas à quel point ces réseaux peuvent généraliser.

Même les systèmes d’intelligence artificielle les plus performants tels que l’AlphaZero de DeepMind ont une expertise extrêmement étroite. L'algorithme d'AlphaZero peut être entraîné à jouer à la fois à Go et aux échecs, mais pas à la fois. Le fait de recycler les connexions et les réponses d’un modèle afin qu’il puisse gagner aux échecs réinitialise toute expérience antérieure de Go. "Si vous réfléchissez à cela d'un point de vue humain, c'est ridicule", déclare Finn. Les gens n’oublient pas ce qu’ils ont appris si facilement.

Apprendre à apprendre

Le succès d’AlphaZero à jouer à des jeux n’est pas simplement dû à un apprentissage par renforcement efficace, mais également à un algorithme qui l’a aidé (en utilisant une variante d’une technique appelée recherche d’arbres de Monte Carlo) pour affiner ses choix à partir des prochaines étapes possibles.. En d'autres termes, l'IA a été guidée dans la meilleure façon d'apprendre de son environnement. Chollet pense qu'une prochaine étape importante de l'IA consistera à donner aux DNN la possibilité d'écrire leurs propres algorithmes, plutôt que d'utiliser du code fourni par des humains.

Compléter la correspondance des motifs de base par des capacités de raisonnement aiderait les IA à traiter les entrées en dehors de leur zone de confort, soutient-il. Les informaticiens étudient depuis des années la synthèse de programmes dans laquelle un ordinateur génère automatiquement du code. La combinaison de ce domaine avec un apprentissage en profondeur pourrait conduire à des systèmes avec des DNN beaucoup plus proches des modèles mentaux abstraits que les humains utilisent, estime Chollet.

En robotique, par exemple, Kristen Grauman, informaticienne chez Facebook AI Research à Menlo Park en Californie, et à l’Université du Texas à Austin, enseigne aux robots comment explorer au mieux de nouveaux environnements. Cela peut impliquer de choisir les directions dans lesquelles regarder lorsque de nouvelles scènes sont présentées, par exemple, et la manière de manipuler un objet pour mieux comprendre sa forme ou son but. L'idée est de permettre à l'IA de prédire quel nouveau point de vue ou angle lui donnera les nouvelles données les plus utiles pour apprendre.

Les chercheurs sur le terrain affirment qu’ils progressent dans la correction des défauts de l’apprentissage en profondeur, mais reconnaissent qu’ils cherchent toujours de nouvelles techniques pour rendre le processus moins fragile. Il n'y a pas beaucoup de théorie derrière l'apprentissage en profondeur, dit Song. "Si quelque chose ne fonctionne pas, il est difficile de comprendre pourquoi", dit-elle. «Tout le domaine est encore très empirique. Vous devez juste essayer des choses. "

Pour le moment, bien que les scientifiques reconnaissent la fragilité des DNN et leur dépendance vis-à-vis de grandes quantités de données, la plupart affirment que la technique est là pour rester. La prise de conscience au cours de cette décennie que les réseaux de neurones, associés à d’énormes ressources informatiques, peuvent être entraînés à reconnaître les modèles si bien reste une révélation. «Personne ne sait vraiment comment l'améliorer», déclare Clune.