L’intelligence artificielle de Facebook les chercheurs ont un plan pour rendre les algorithmes plus intelligents en les exposant à la ruse humaine. Ils veulent votre aide pour fournir la supercherie.

Jeudi, le laboratoire d’IA de Facebook a lancé un projet appelé Dynabench qui crée une sorte d’arène de gladiateurs dans laquelle les humains essaient de faire trébucher des systèmes d’IA. Les défis incluent l’élaboration de phrases qui causent des ratés à un système de notation des sentiments, la lecture d’un commentaire comme négatif alors qu’il est réellement positif, par exemple. Un autre consiste à tromper un filtre de discours de haine – un attrait potentiel pour les adolescents et les trolls. Le projet se concentre dans un premier temps sur les logiciels de traitement de texte, bien qu’il puisse être étendu ultérieurement à d’autres domaines tels que la parole, les images ou les jeux interactifs.

Soumettre l’IA à des provocations de la part de personnes vise à donner une mesure plus vraie de l’intelligence (et de la stupidité) de l’intelligence artificielle, et à fournir des données qui peuvent l’améliorer. Les chercheurs comparent généralement les algorithmes en notant la précision avec laquelle ils étiquettent les images ou répondent à des questions à choix multiples sur des collections standard de données, appelées références.

Le chercheur de Facebook, Douwe Kiela, affirme que ces tests ne mesurent pas vraiment ce qui lui tient à cœur et à d’autres sur le terrain. «Ce qui nous intéresse vraiment, c’est la fréquence à laquelle il fait des erreurs lorsqu’il interagit avec une personne», dit-il. «Avec les benchmarks actuels, il semble que nous soyons incroyables pour faire du langage en IA et c’est très trompeur car nous avons encore beaucoup à faire.»

Les chercheurs espèrent que l’analyse des cas où l’IA a été snookée par des gens rendra les algorithmes moins dupables.

Douwe espère que les experts en IA et les internautes ordinaires trouveront amusant de se connecter avec l’IA et de gagner des badges virtuels, mais la plate-forme permettra également aux chercheurs de payer leurs contributions via le service de crowdsourcing d’Amazon Mechanical Turk. Les laboratoires d’IA de Stanford, de l’Université de Caroline du Nord et de l’University College London maintiendront tous des tests d’intelligence artificielle sur la plate-forme Dynabench.

Le projet de Facebook intervient alors que de plus en plus de chercheurs en IA, y compris le vice-président de l’intelligence artificielle du réseau social, disent que le domaine doit élargir ses horizons si les ordinateurs doivent devenir capables de gérer des situations complexes et réelles.

Au cours des huit dernières années, des percées dans une technique d’IA appelée apprentissage en profondeur ont apporté aux consommateurs une reconnaissance vocale qui fonctionne principalement, des téléphones qui trient automatiquement les photos de chiens et des filtres Snapchat hilarants. Les algorithmes peuvent défaire un texte étrangement limpide.

Pourtant, le logiciel d’apprentissage en profondeur trébuche dans des situations en dehors de sa formation étroite. Les meilleurs algorithmes de traitement de texte peuvent encore être déclenchés par les nuances du langage, telles que le sarcasme, ou par la façon dont le contexte culturel peut changer le sens des mots. Ce sont des défis majeurs pour les détecteurs de discours haineux de Facebook. Les générateurs de texte crachent souvent des phrases absurdes à la dérive de la réalité.

Ces limites peuvent être difficiles à voir si vous regardez les points de repère standard utilisés dans la recherche sur l’IA. Certains tests de compréhension de lecture de l’IA ont dû être repensés et rendus plus difficiles ces dernières années, car les algorithmes ont compris comment obtenir des scores aussi élevés, même surpasser les humains.

image de l'article

Le guide WIRED de l’intelligence artificielle

Les algorithmes supersmart ne prendront pas tous les emplois, mais ils apprennent plus vite que jamais, allant des diagnostics médicaux à la diffusion d’annonces.

Yejin Choi, professeur à l’Université de Washington et directeur de recherche à l’Allen Institute for AI, dit que de tels résultats sont trompeurs. La puissance statistique des algorithmes d’apprentissage automatique peut découvrir de minuscules corrélations dans des ensembles de données de test indétectables par les personnes qui révèlent des réponses correctes sans nécessiter une compréhension plus large du monde par l’homme. «Nous assistons à une situation de Clever Hans», dit-elle, faisant référence au cheval qui a simulé la numératie en lisant le langage corporel humain.

De plus en plus de chercheurs en IA recherchent maintenant d’autres moyens de mesurer et de stimuler les progrès. Choi a testé certains des siens, dont un qui évalue les algorithmes de génération de texte en fonction de la qualité de leurs réponses aux publications de Reddit par rapport à celles des personnes. D’autres chercheurs ont essayé de faire essayer aux humains de tromper des algorithmes de texte et ont montré comment les exemples collectés de cette manière peuvent améliorer les systèmes d’IA.

Les algorithmes ont tendance à paraître moins intelligents lorsqu’ils sont confrontés à ces tests plus difficiles et Choi s’attend à voir un modèle similaire sur la nouvelle plate-forme Dynabench de Facebook. Les projets qui dépouillent les vêtements des empereurs de l’IA pourraient inciter les chercheurs à explorer des idées plus fraîches menant à des percées. «Cela mettra la communauté au défi de réfléchir davantage à la manière dont l’apprentissage devrait vraiment avoir lieu avec l’IA», déclare Choi. «Nous devons être plus créatifs.»


Plus d’histoires WIRED

LAISSER UN COMMENTAIRE

Rédigez votre commentaire !
Entrez votre nom ici