Les jeux vidéo peuvent-ils apprendre aux robots à bouger ? Au cœur du pari d'un « moment ChatGPT » pour la robotique

L'intelligence artificielle a transformé la manière dont les machines traitent les mots et les images, mais elle peine sur une chose qu'un tout-petit maîtrise sans effort : se déplacer dans le monde physique. Une start-up nommée General Intuition, présentée par TechCrunch, pense avoir trouvé un terrain d'entraînement improbable pour cette compétence manquante, et il se niche dans les vastes archives de parties de jeux vidéo enregistrées.

Le pari de l'entreprise est que des millions d'heures de séquences de jeu peuvent servir à entraîner des modèles de fondation pour l'IA physique. Le raisonnement est que les jeux vidéo sont des mondes simulés pleins de mouvement, de cause à effet et de conséquences, et qu'une IA qui apprend à s'y déplacer pourrait acquérir des intuitions sur l'espace, le mouvement et l'interaction, transférables au moins en partie au pilotage de vrais robots.

Pour saisir l'enjeu, il faut voir pourquoi la robotique a pris du retard. Les modèles de langage ont appris d'un corpus de texte d'une ampleur presque inimaginable, aspiré sur internet. Cette abondance de données est précisément ce qui manque à l'IA physique, car il n'existe pas d'archive équivalente, à l'échelle d'internet, d'un robot saisissant une tasse, ouvrant une porte ou rattrapant un objet qui tombe.

Recueillir des données de robots dans le monde réel est lent, coûteux et souvent dangereux. Un robot doit tenter physiquement une tâche des milliers de fois, et chaque tentative demande de vraies secondes, du vrai matériel et un vrai risque de casse. Ce goulot d'étranglement des données est l'une des raisons centrales pour lesquelles les robots restent maladroits sur des tâches que les humains trouvent triviales, et c'est le problème que General Intuition cherche à contourner.

Les jeux vidéo offrent un raccourci tentant car ils sont, de fait, des simulateurs de physique que les humains ont déjà explorés de fond en comble. Chaque session enregistrée est une démonstration d'un agent poursuivant des objectifs, réagissant aux obstacles et apprenant de l'échec, produite à une échelle énorme et pour ainsi dire gratuitement. Si ces démonstrations peuvent enseigner des intuitions générales sur l'action dans un monde, la sécheresse de données pourrait s'atténuer.

L'expression que tout le monde emploie est un moment ChatGPT, l'instant où une technologie bondit soudain du laborieux au vraiment utile. Pour le langage, ce bond est survenu quand des modèles entraînés sur assez de données ont franchi un seuil de capacité. L'espoir en robotique est qu'un seuil similaire existe, et que la bonne approche d'entraînement pourrait déclencher un saut comparable.

Un scepticisme sain est de mise, et TechCrunch présente cela comme un pari plutôt qu'une certitude. L'écart entre un monde de jeu simulé et la réalité physique désordonnée est précisément là où bien des rêves robotiques ont sombré. Les jeux ont leur propre physique, souvent simplifiée ou exagérée, et les compétences apprises dans un environnement rendu ne survivent pas automatiquement au contact du frottement, de la gravité et d'objets imprévisibles.

Ce défi porte un nom dans le domaine : le fossé sim-to-real, la difficulté de transférer au monde réel un comportement appris en simulation. Le combler est un problème de recherche ancien, et la promesse d'une start-up de le faire à grande échelle est justement le genre d'affirmation à surveiller de près plutôt qu'à croire sur parole. L'idée est élégante ; savoir si elle fonctionne est une question empirique.

L'approche reflète néanmoins une intuition plus large et de plus en plus influente en IA. Plutôt que de collecter laborieusement des données réelles de robots, pourquoi ne pas exploiter les énormes trésors existants de comportements humains, dans les jeux, les vidéos ou les simulations, et laisser les modèles en extraire des principes généraux ? Plusieurs pistes de recherche partagent désormais cet instinct, et General Intuition en est un pari visible.

Si cela réussit, le gain est considérable. Des robots apprenant des intuitions physiques générales à partir de données abondantes pourraient devenir bien plus faciles et moins chers à construire, se répandant au-delà des usines dans les foyers, les hôpitaux et les entrepôts. Sinon, cela aura tout de même mis à l'épreuve une idée réellement intéressante. Dans tous les cas, l'effort résume l'état actuel de la robotique : un domaine longtemps bloqué sur les données, en quête de la source improbable qui pourrait enfin le libérer.