Pendant une décennie maintenant, bon nombre des systèmes d’intelligence artificielle les plus impressionnants ont été enseignés à l’aide d’un vaste inventaire de données étiquetées. Une image peut être étiquetée « chat tigré » ou « chat tigre », par exemple, pour « entraîner » un réseau de neurones artificiels à distinguer correctement un chat tigré d’un tigre. La stratégie a été à la fois spectaculairement réussie et terriblement déficiente.
Une telle formation « supervisée » nécessite des données laborieusement étiquetées par les humains, et les réseaux de neurones prennent souvent des raccourcis, apprenant à associer les étiquettes à des informations minimales et parfois superficielles. Par exemple, un réseau de neurones peut utiliser la présence d’herbe pour reconnaître une photo d’une vache, car les vaches sont généralement photographiées dans les champs.
« Nous élevons une génération d’algorithmes qui ressemblent à des étudiants de premier cycle [who] ne sont pas venus en classe pendant tout le semestre et puis la veille de la finale, ils bachotent », a déclaré Alexei Efros, informaticien à l’Université de Californie à Berkeley. « Ils n’apprennent pas vraiment la matière, mais ils réussissent bien le test. »
De plus, pour les chercheurs intéressés par l’intersection de l’intelligence animale et de la machine, cet « apprentissage supervisé » pourrait être limité dans ce qu’il peut révéler sur les cerveaux biologiques. Les animaux, y compris les humains, n’utilisent pas d’ensembles de données étiquetées pour apprendre. Pour la plupart, ils explorent l’environnement par eux-mêmes et, ce faisant, ils acquièrent une compréhension riche et solide du monde.
Maintenant, certains neuroscientifiques computationnels ont commencé à explorer des réseaux de neurones qui ont été formés avec peu ou pas de données étiquetées par l’homme. Ces algorithmes « d’apprentissage auto-supervisé » se sont avérés extrêmement efficaces pour modéliser le langage humain et, plus récemment, la reconnaissance d’images. Dans des travaux récents, des modèles informatiques des systèmes visuels et auditifs des mammifères construits à l’aide de modèles d’apprentissage auto-supervisé ont montré une correspondance plus étroite avec la fonction cérébrale que leurs homologues à apprentissage supervisé. Pour certains neuroscientifiques, il semble que les réseaux artificiels commencent à révéler certaines des méthodes réelles que notre cerveau utilise pour apprendre.
Supervision défectueuse
Les modèles cérébraux inspirés des réseaux de neurones artificiels sont arrivés à maturité il y a environ 10 ans, à peu près au même moment où un réseau de neurones nommé AlexNet a révolutionné la tâche de classification des images inconnues. Ce réseau, comme tous les réseaux de neurones, était constitué de couches de neurones artificiels, des unités de calcul qui forment des connexions entre elles dont la force ou le « poids » peuvent varier. Si un réseau de neurones ne parvient pas à classer correctement une image, l’algorithme d’apprentissage met à jour les poids des connexions entre les neurones pour rendre cette mauvaise classification moins probable lors du prochain cycle de formation. L’algorithme répète ce processus plusieurs fois avec toutes les images d’entraînement, en ajustant les poids, jusqu’à ce que le taux d’erreur du réseau soit suffisamment faible.
Alexei Efros, informaticien à l’Université de Californie à Berkeley, pense que la plupart des systèmes d’IA modernes dépendent trop des étiquettes créées par l’homme. « Ils n’apprennent pas vraiment la matière », a-t-il déclaré.Avec l’aimable autorisation d’Alexei Efros
À peu près à la même époque, les neuroscientifiques ont développé les premiers modèles informatiques du système visuel des primates, en utilisant des réseaux de neurones comme AlexNet et ses successeurs. L’union semblait prometteuse : lorsque des singes et des réseaux de neurones artificiels ont vu les mêmes images, par exemple, l’activité des vrais neurones et des neurones artificiels a montré une correspondance intrigante. Des modèles artificiels d’audition et de détection des odeurs ont suivi.
Mais au fur et à mesure que le domaine progressait, les chercheurs ont réalisé les limites de la formation supervisée. Par exemple, en 2017, Leon Gatys, un informaticien alors à l’Université de Tübingen en Allemagne, et ses collègues ont pris une image d’un Ford Model T, puis ont superposé un motif de peau de léopard sur la photo, générant une image bizarre mais facilement reconnaissable. . Un réseau de neurones artificiels de premier plan a correctement classé l’image originale comme un modèle T, mais a considéré l’image modifiée comme un léopard. Il avait fait une fixation sur la texture et n’avait aucune compréhension de la forme d’une voiture (ou d’un léopard, d’ailleurs).
Les stratégies d’apprentissage auto-supervisé sont conçues pour éviter de tels problèmes. Dans cette approche, les humains n’étiquetent pas les données. Au contraire, « les étiquettes proviennent des données elles-mêmes », a déclaré Friedemann Zenke, neuroscientifique informatique à l’Institut Friedrich Miescher pour la recherche biomédicale à Bâle, en Suisse. Les algorithmes auto-supervisés créent essentiellement des lacunes dans les données et demandent au réseau de neurones de combler les blancs. Dans un soi-disant grand modèle de langage, par exemple, l’algorithme d’apprentissage montrera au réseau de neurones les premiers mots d’une phrase et lui demandera de prédire le mot suivant. Lorsqu’il est formé avec un corpus massif de textes glanés sur Internet, le modèle semble apprendre la structure syntaxique de la langue, démontrant une capacité linguistique impressionnante, le tout sans étiquettes ni supervision externes.
