Hitzen adiera-desanbiguazioa

Gure hizkuntza anbiguoa da. Hitz batek hainbat interpretazio ditu agertzen den testuinguruaren arabera, eta zein adiera hartzen duen asmatzea ez da lan erraza, nahiz eta guk era naturalean egin. konputazio-metodoak erabiliz hitzen agerpenei adiera egokia ematea hitzaren adiera-desanbiguazioa (HAD) deritzo. HAD automatikoa ezagutzan oinarritzen da, eta ezagutza hori hainbat iturritatik lor dezake: adierez etiketatutako corpus batetik hasita ontologietaraino. Zoritxarrez, baliabide hauen sortze-prozesua garestia da eta ezagutza bereganatzearen arazo bezala ezagutzen da. Eragozpenak gaindituta HAD teknologiak heldutasuna lortzen duen unean informazioa atzitzeko dugun modua erabat aldatuko da, Web Semantikoari ateak zabalduz. Lengoaia Naturalaren Prozesamendurako tresnetan ere lagungarri da HAD automatikoa, Itzulpen Automatikoan adibidez, izan ere, bai polisemia eta bai sinonimia arazoak automatikoki gainditzeko balio baitezake. Artikulu honetan hitzen adiera-desanbiguazioaren sarrera orokor bat egiten dugu eta, bereziki, adierez etiketatutako corpusetan oinarritzen diren metodoei erreparatuko diegu. Erakutsiko dugu hitzen adiera-desanbiguazioa ataza zaila dela, hizkuntzaren konplexutasunari aurre egin eta testu hutsetik egitura semantikoa antzeman behar duelako

Image captioning for effective use of language models in knowledge-based visual question answering

Integrating outside knowledge for reasoning in visio-linguistic tasks such as visual question answering (VQA) is an open problem. Given that pretrained language models have been shown to include world knowledge, we propose to use a unimodal (text-only) train and inference procedure based on automatic off-the-shelf captioning of images and pretrained language models. More specifically, we verbalize the image contents and allow language models to better leverage their implicit knowledge to solve knowledge-intensive tasks. Focusing on a visual question answering task which requires external knowledge (OK-VQA), our contributions are: (i) a text-only model that outperforms pretrained multimodal (image-text) models of comparable number of parameters; (ii) confirmation that our text-only method is specially effective for tasks requiring external knowledge, as it is less effective in standard a VQA task (VQA 2.0); and (iii) our method attains results in the state-of-the-art when increasing the size of the language model. We also significantly outperform current multimodal systems, even though augmented with external knowledge. Our qualitative analysis on OK-VQA reveals that automatic captions often fail to capture relevant information in the images, which seems to be balanced by the better inference ability of the text-only language models. Our work opens up possibilities to further improve inference in visio-linguistic tasks.Ander is funded by a PhD grant from the Basque Government (PRE_2021_2_0143). This work is based upon work partially supported by the Ministry of Science and Innovation of the Spanish Government (DeepKnowledge project PID2021-127777OB-C21), and the Basque Government (IXA excellence research group IT1570-22)

Hitzen adiera-desanbiguazioa

Gure hizkuntza anbiguoa da. Hitz batek hainbat interpretazio ditu agertzen den testuinguruaren arabera, eta zein adiera hartzen duen asmatzea ez da lan erraza, nahiz eta guk era naturalean egin. konputazio-metodoak erabiliz hitzen agerpenei adiera egokia ematea hitzaren adiera-desanbiguazioa (HAD) deritzo. HAD automatikoa ezagutzan oinarritzen da, eta ezagutza hori hainbat iturritatik lor dezake: adierez etiketatutako corpus batetik hasita ontologietaraino. Zoritxarrez, baliabide hauen sortze-prozesua garestia da eta ezagutza bereganatzearen arazo bezala ezagutzen da. Eragozpenak gaindituta HAD teknologiak heldutasuna lortzen duen unean informazioa atzitzeko dugun modua erabat aldatuko da, Web Semantikoari ateak zabalduz. Lengoaia Naturalaren Prozesamendurako tresnetan ere lagungarri da HAD automatikoa, Itzulpen Automatikoan adibidez, izan ere, bai polisemia eta bai sinonimia arazoak automatikoki gainditzeko balio baitezake. Artikulu honetan hitzen adiera-desanbiguazioaren sarrera orokor bat egiten dugu eta, bereziki, adierez etiketatutako corpusetan oinarritzen diren metodoei erreparatuko diegu. Erakutsiko dugu hitzen adiera-desanbiguazioa ataza zaila dela, hizkuntzaren konplexutasunari aurre egin eta testu hutsetik egitura semantikoa antzeman behar duelako

Erantzunen kalifikazio automatikorako lehen urratsak

This work describes the first steps towards automatic response analysis. To explain these steps, we describe two systems from the education al domain: on the one hand, a system that uses hierarchical structures to grade answers; and, on the other hand, a system capable of comparing answer segments in order to try to explain the grading. In addition, we analyze an international educational domain task and describe the principal techniques used.; Lan honetan erantzunen kalifikazio automatikorako lehen urratsak azaltzen ditugu. Urrats horiek azaltzeko irakaskuntzaren domeinuko bi sistema deskribatzen ditugu:bata, erantzunak hierarkikoki antolatzen eta kalifikatzen dituena; eta, bestea, kalifikazioaren azalpena emateko asmoz, erantzunaren zatiak erreferentzia baten aurka alderatzeko gai dena. Horretaz gain, irakaskuntzaren alorreko ataza internazional bat aztertuz alorreko teknika erabilienak mahairatzen ditugu