Les humains apprennent des représentations fondées et compositionnelles pour des mots nouveaux à partir de quelques exemples de grammaire. Nous nous appuyons sur des contextes, tels que la perception visuelle, et nous savons comment ces mots sont liés les uns aux autres pour composer le sens d’une phrase.
Crédit image : Pixel maximumCC0 Domaine public
Un article récent sur arXiv.org s’appuie sur ces idées pour les machines apprenant à partir du langage.
L’apprentissage du lexique ancré basé sur la grammaire, un cadre neuro-symbolique pour l’acquisition ancrée du langage, est proposé. Les chercheurs étudient l’apprentissage conjoint d’entrées de lexiques ancrées neuro-symboliques et l’ancrage de concepts individuels à partir de données linguistiques ancrées, par exemple en regardant simultanément des images et en lisant des paires question-réponse parallèles.
L’évaluation systémique montre que la méthode permet d’apprendre avec une forte efficacité des données et une généralisation compositionnelle à de nouvelles constructions linguistiques et à des structures linguistiques plus profondes.
Nous présentons l’apprentissage du lexique ancré basé sur la grammaire (G2L2), une approche lexicaliste de l’apprentissage d’une représentation de la signification compositionnelle et ancrée du langage à partir de données ancrées, telles que des images et des textes appariés. Au cœur de G2L2 se trouve une collection d’entrées de lexique, qui associent chaque mot à un tuple de type syntaxique et à un programme sémantique neuro-symbolique. Par exemple, le mot brillant a un type syntaxique d’adjectif ; son programme sémantique neuro-symbolique a la forme symbolique {lambda}x. filter(x, SHINY), où le concept SHINY est associé à un encastrement de réseau de neurones, qui sera utilisé pour classer les objets brillants. Étant donné une phrase d’entrée, G2L2 recherche d’abord les entrées de lexique associées à chaque jeton. Il dérive ensuite le sens de la phrase en tant que programme neuro-symbolique exécutable en composant des significations lexicales basées sur la syntaxe. Les programmes de sens récupérés peuvent être exécutés sur des entrées mises à la terre. Pour faciliter l’apprentissage dans un espace compositionnel à croissance exponentielle, nous introduisons un algorithme d’analyse conjointe et d’exécution attendue, qui effectue une marginalisation locale sur les dérivations pour réduire le temps d’apprentissage. Nous évaluons G2L2 sur deux domaines : le raisonnement visuel et la navigation pilotée par le langage. Les résultats montrent que G2L2 peut généraliser de petites quantités de données à de nouvelles compositions de mots.
Document de recherche: Mao, J., Shi, H., Wu, J., Levy, RP et Tenenbaum, JB, « Apprentissage du lexique ancré basé sur la grammaire », 2022. Lien : https://arxiv.org/abs/2202.08806
