Les nouvelles: Un nouveau modèle d’IA pour résumer la littérature scientifique peut désormais aider les chercheurs à parcourir et à identifier les derniers articles de pointe qu’ils souhaitent lire. Le 16 novembre, l’Institut Allen pour l’intelligence artificielle (AI2) a déployé le modèle sur son produit phare, Semantic Scholar, un moteur de recherche d’articles scientifiques alimenté par l’IA. Il fournit un résumé tl; dr (trop long; pas lu) sous chaque article informatique (pour l’instant) lorsque les utilisateurs utilisent la fonction de recherche ou accèdent à la page d’un auteur. Le travail a également été accepté à la conférence Empirical Methods for Natural Language Processing cette semaine.

Une capture d'écran de la fonctionnalité TLDR dans Semantic Scholar.
Une capture d’écran de la fonctionnalité tl; dr dans Semantic Scholar.

AI2

Le contexte: À une époque de surcharge d’informations, l’utilisation de l’IA pour résumer du texte est un problème populaire de traitement du langage naturel (PNL). Il existe deux approches générales pour cette tâche. L’un est appelé «extractif», qui cherche à trouver une phrase ou un ensemble de phrases du texte textuel qui capture son essence. L’autre est appelé «abstractif», qui consiste à générer de nouvelles phrases. Alors que les techniques d’extraction étaient plus populaires en raison des limites des systèmes PNL, les progrès de la génération du langage naturel ces dernières années ont rendu l’abstractive beaucoup mieux.

Comment ils l’ont fait: Le modèle abstractif d’AI2 utilise ce que l’on appelle un transformateur – un type d’architecture de réseau neuronal inventé pour la première fois en 2017 et qui a depuis alimenté tous les progrès majeurs de la PNL, y compris le GPT-3 d’OpenAI. Les chercheurs ont d’abord formé le transformateur sur un corpus générique de texte pour établir sa familiarité de base avec la langue anglaise. Ce processus est appelé «pré-formation» et fait partie de ce qui rend les transformateurs si puissants. Ils ont ensuite affiné le modèle – en d’autres termes, l’ont perfectionné – sur la tâche spécifique de la synthèse.

Les données de réglage fin: Les chercheurs ont d’abord créé un ensemble de données appelé SciTldr, qui contient environ 5400 paires d’articles scientifiques et des résumés d’une phrase correspondants. Pour trouver ces résumés de haute qualité, ils sont d’abord allés les chercher sur OpenReview, une plateforme publique de soumission d’articles de conférence où les chercheurs publieront souvent leur propre synopsis d’une phrase de leur article. Cela a fourni quelques milliers de paires. Les chercheurs ont ensuite embauché des annotateurs pour résumer davantage d’articles en lisant et en condensant davantage les synopsis qui avaient déjà été rédigés par des pairs évaluateurs.

Pour compléter encore plus ces 5 400 paires, les chercheurs ont compilé un deuxième ensemble de données de 20 000 paires d’articles scientifiques et leurs titres. Les chercheurs ont eu l’intuition que les titres eux-mêmes étant une forme de résumé, ils aideraient davantage le modèle à améliorer ses résultats. Cela a été confirmé par l’expérimentation.

Fonction TLDR de Semantic Scholar sur mobile.
La fonction tl; dr est particulièrement utile pour l’écrémage de papiers sur mobile.

AI2

Résumé extrême: Alors que de nombreux autres efforts de recherche ont abordé la tâche de synthèse, celui-ci se distingue par le niveau de compression qu’il peut atteindre. Les articles scientifiques inclus dans le jeu de données SciTldr comptent en moyenne 5 000 mots. Leurs résumés d’une phrase en moyenne 21. Cela signifie que chaque article est compressé en moyenne à 238 fois sa taille. La deuxième meilleure méthode abstraite est formée pour compresser les articles scientifiques en moyenne seulement 36,5 fois. Au cours des tests, les examinateurs humains ont également jugé les résumés du modèle plus informatifs et plus précis que les méthodes précédentes.

Prochaines étapes: Il existe déjà un certain nombre de façons dont AI2 travaille maintenant pour améliorer son modèle à court terme, explique Daniel Weld, professeur à l’Université de Washington et directeur du groupe de recherche Semantic Scholar. D’une part, ils prévoient de former le modèle à gérer plus que de simples documents informatiques. D’autre part, peut-être en partie à cause du processus de formation, ils ont constaté que les résumés tl; dr chevauchent parfois trop le titre du papier, ce qui diminue leur utilité globale. Ils prévoient de mettre à jour le processus de formation du modèle pour pénaliser ce chevauchement afin qu’il apprenne à éviter les répétitions au fil du temps.

À long terme, l’équipe travaillera également à la synthèse de plusieurs documents à la fois, ce qui pourrait être utile pour les chercheurs entrant dans un nouveau domaine ou peut-être même pour les décideurs souhaitant se mettre rapidement à jour. «Ce que nous sommes vraiment ravis de faire, c’est de créer des briefings de recherche personnalisés», déclare Weld, «où nous pouvons résumer non seulement un article, mais un ensemble de six avancées récentes dans un sous-domaine particulier.»

LAISSER UN COMMENTAIRE

Rédigez votre commentaire !
Entrez votre nom ici