Combler le fossé entre la vision artificielle et le toucher

L'étude et la réplication des capacités sensorielles humaines, telles que la perception visuelle, auditive et tactile (tactile), dépendent de la disponibilité de données appropriées. En règle générale, plus le jeu de données est vaste et riche, plus les modèles peuvent imiter ces fonctions. Les progrès des systèmes visuels et vocaux artificiels reposent sur des modèles puissants, connus sous le nom de modèles d'apprentissage en profondeur, et sont alimentés par l'omniprésence de bases de données d'images numériques et de son parlé (voir, par exemple). En revanche, les progrès dans le développement de capteurs tactiles – des dispositifs qui convertissent un stimulus de contact physique en un signal mesurable – ont été limités, principalement en raison de la difficulté d'intégrer l'électronique dans des matériaux souples.. Dans, Sundaram et al. déclarent avoir utilisé un gant tactile peu coûteux pour résoudre ce problème.

Le gant de l’auteur est constitué d’un manchon de détection en forme de main fixé à la paume d’un gant tricoté (Fig. 1). Le manchon contient un film sensible à la force sur lequel est cousu un réseau de 64 fils électriquement conducteurs: 32 dans une direction du gant et 32 ​​dans la direction perpendiculaire. Chacun des 548 points de chevauchement de ces fils est un capteur de pression, car la résistance électrique du film entrelacé diminue lorsque ces points sont enfoncés. La sortie du gant peut être traitée comme une matrice 32 × 32 de pixels en niveaux de gris, dans laquelle la couleur de chaque pixel indique la pression appliquée de bas (noir) à élevé (blanc). Ces cartes de pression sont enregistrées à environ sept images par seconde.

Dans l’étude de Sundaram et de ses collègues, le gant était utilisé pour enregistrer plusieurs vidéos de cartes de pression au cours de sessions de 3 à 5 minutes sur la manipulation d’une seule main de 26 objets de la vie quotidienne. Cette procédure a abouti à une base de données de cartes de pression détaillées qui, à ma connaissance, est l’un des plus importants ensembles de données de ce type. Les auteurs ont constaté que le gant était flexible, robuste et sensible aux faibles changements de pression, malgré un coût de fabrication de seulement 10 USD environ.

Pour démontrer que le gant capture différentes interactions de la main avec chaque objet, Sundaram et al. utilisé les données enregistrées pour effectuer l'identification automatique des objets. Ils ont montré comment un modèle d'apprentissage en profondeur de pointe, conçu à l'origine pour la classification d'images à grande échelle, pouvait tirer parti des cartes de pression rassemblées pour réidentifier les 26 objets lors d'une manipulation à l'aveugle. Le grand nombre de cartes et leur résolution spatiale se sont révélés essentiels pour une identification réussie des objets.

Ensuite, les auteurs ont utilisé le gant pour ramasser des objets et ont montré qu'un modèle similaire d'apprentissage en profondeur pouvait estimer le poids d'objets inconnus. Le gant était également porté lors de différentes poses de la main et le signal lu par les capteurs était suffisamment détaillé pour permettre la distinction entre chaque pose. Enfin, Sundaram et ses collègues ont analysé les collaborations entre différentes régions de la main lors de la saisie d’objet en examinant les corrélations de signaux.

En plus de fournir des preuves expérimentales de principes bien étudiés sous-jacents à la compréhension humaine, cette exploration basée sur les données pourrait améliorer notre compréhension de la fonction du toucher lors de la manipulation d'objets. Les modèles d'apprentissage en profondeur ont considérablement amélioré nos connaissances des mécanismes neuronaux à la base de la reconnaissance des objets visuels. À cet égard, une approche similaire pourrait être appliquée à l'interprétation du traitement de l'information tactile dans le cerveau.

Sundaram et ses collègues ont simultanément produit des cartes de pression et des photographies correspondantes de la main lors de la manipulation d'un objet, générant une grande quantité d'informations visuelles et tactiles synchronisées. Les ensembles de données de formes multiples de perception sensorielle sont rares, et représentent une étape fondamentale dans le développement de systèmes d’intégration multisensorielle et dans la compréhension de la manière dont le cerveau développe une perception cohérente de l’environnement.

Un tel dispositif de détection flexible pourrait avoir diverses applications – par exemple, dans le diagnostic médical, les soins de santé personnels et le sport. Mais cela pourrait aussi avoir un impact sur le développement de mains prothétiques et robotisées actives (à alimentation externe). La rétroaction tactile a un rôle crucial à jouer dans le contrôle des mouvements de la main et des forces exercées, de sorte que le manque d'informations en question empêche les humains et les robots de maîtriser la stabilité.^,. De plus, le sens du toucher permet directement une exploration tactile visant la reconnaissance et la localisation d'objets. Il est également connu que fournir des prothèses actives avec retour tactile pourrait aider à soulager la douleur du membre fantôme (la perception de la douleur d'un membre manquant), augmenter le sentiment d'appartenance à la prothèse et réduire le stress cognitif impliqué dans le contrôle du dispositif, en: permettant un fonctionnement plus naturel.

Les capteurs tactiles peuvent être intégrés à un gant enveloppant un membre artificiel ou fixés directement sur des pièces mécaniques^,. À cet égard, la technologie de Sundaram et de ses collègues peut être adaptée à différentes formes pour être intégrée dans des bras robotiques ou prothétiques. Actuellement, les principales limitations sont les inconvénients de la couverture de capteur dense requise du gant. Le câblage étendu est un inconvénient – bien que les auteurs aient utilisé une conception de lignes et de colonnes pour maintenir ce câblage raisonnablement contraint. Un autre aspect est la vitesse d'enregistrement des cartes de pression, qui peut nécessiter une augmentation en fonction de l'application (par exemple, si le retour tactile a été utilisé pour contrôler une main robotique). Néanmoins, je pense que le gant, dans sa forme actuelle ou dans des versions améliorées, offre des perspectives intéressantes pour les applications de robotique.

Un type émergent de modèle d’apprentissage automatique s’est avéré efficace pour imiter la capacité humaine à apprendre à effectuer des actions par expérience – un processus appelé apprentissage par renforcement. Au cours des dernières années, les chercheurs ont utilisé des gants particuliers pour enregistrer les données de pose de la main lors de la manipulation d'un objet et ont intégré cette expérience enregistrée dans un modèle tirant parti de ces données pour générer des manipulations efficaces.. Cette approche de transfert d’expérience humaine à robot pourrait tirer profit de l’utilisation du gant d’acquisition de données de Sundaram et de ses collègues.

Enfin, la présente étude ouvre la voie à la réutilisation de plusieurs modèles de vision par ordinateur pour le traitement du signal tactile, ce qui permet d’appliquer des décennies de recherche en vision par ordinateur. Cette approche offre de nombreux avantages, tels que l’élimination de divers problèmes liés à la sélection de modèles qui ont ralenti les progrès de l’apprentissage en profondeur à ses débuts. Les gants Sundaram et ses collègues pourraient donc entraîner des progrès rapides dans la détection tactile. Je suis convaincu que le faible coût du gant facilitera la réplication et le partage de la méthodologie utilisée pour fabriquer le dispositif et de la configuration de l'acquisition des données. Cela favoriserait l'utilisation de grands ensembles de données standard dans la recherche par détection tactile – actuellement une limitation majeure en matière de vision par ordinateur.