Este artigo apresenta uma aproximação preliminar de uma vertente pouco explorada do processamento de linguagem natural para
a líıngua Portuguesa, a classificação de argumentos sintácticos.
Primeiro é dada uma introdução à classificação de argumentos sintácticos,
posteriormente são explicados os passos necessários à criação de um classificador utilizando a ferramenta MinorThird. O desempenho foi verificado nos argumentos sintácticos mais frequentes (predicado, sujeito e complemento directo) num subconjunto do Bosque 8.0. A mesma abordagem foi aplicada a um corpus da língua Inglesa utilizado no CONLL 2004 e os resultados foram comparados com os obtidos na tarefa conjunta do CONLL 2004

Gonçalves, Teresa

Quaresma, Paulo

Sequeira, João

Este artigo apresenta uma aproximação preliminar de uma vertente pouco explorada do processamento de linguagem natural para a língua Portuguesa, a classificação de argumentos sintácticos. Primeiro é dada uma introdução a` classificação de argumentos sintácticos, posteriormente são explicados os passos necessários à criação de um clas- sificador utilizando a ferramenta MinorThird. O desempenho foi verificado nos argumentos sintácticos mais frequentes (predicado, sujeito e complemento directo) num subconjunto do Bosque 8.0. A mesma abor- dagem foi aplicada a um corpus da língua Inglesa utilizado no CONLL 2004 e os resultados foram comparados com os obtidos na tarefa conjunta do CONLL 2004

Repositório Científico da Universidade de Évora

Classificação de argumentos sintácticos - Aproximação preliminar

Classificac¸a˜o de Argumentos Sinta´cticosAproximac¸a˜o preliminarJoa˜o Sequeira, Teresa Gonc¸alves, and Paulo QuaresmaUniversidade de E´voram5071@alunos.uevora.pt, tcg@uevora.pt, pq@uevora.ptResumo Este artigo apresenta uma aproximac¸a˜o preliminar de umavertente pouco explorada do processamento de linguagem natural paraa l´ıngua Portuguesa, a classificac¸a˜o de argumentos sinta´cticos.Primeiro e´ dada uma introduc¸a˜o a` classificac¸a˜o de argumentos sinta´cticos,posteriormente sa˜o explicados os passos necessa´rios a` criac¸a˜o de um clas-sificador utilizando a ferramenta MinorThird. O desempenho foi verifi-cado nos argumentos sinta´cticos mais frequentes (predicado, sujeito ecomplemento directo) num subconjunto do Bosque 8.0. A mesma abor-dagem foi aplicada a um corpus da l´ıngua Inglesa utilizado no CONLL2004 e os resultados foram comparados com os obtidos na tarefa conjuntado CONLL 2004.1 Introduc¸a˜oActualmente existe uma grande quantidade de conteu´dos digitais de cariz acade´-mico, pessoal, noticioso entre outros dispon´ıveis para consulta na Internet. Atarefa de obter informac¸a˜o de conteu´dos na˜o tratados de fontes ta˜o disparestornou-se praticamente imposs´ıvel [14,15].Com o incremento de conteu´dos digitais publicados existiu tambe´m um aumentona pesquisa de aplicac¸o˜es que consigam analisar e extrair informac¸a˜o automa-ticamente dos mesmos. Este factor tem proporcionando nos u´ltimos anos umacrescente procura de aplicac¸o˜es de processamento de linguagem natural1 [4].A classificac¸a˜o de argumentos sinta´cticos2 tem vindo a ser uma a´rea de cada vezmais interesse, devido a` sua crescente importaˆncia em sistemas de extracc¸a˜o deinformac¸a˜o, pergunta-resposta, sumarizac¸a˜o de documentos entre outras aplica-c¸o˜es que necessitam de informac¸a˜o semaˆntica [3]. Esta vertente do processamentode linguagem natural ja´ possui va´rios recursos dispon´ıveis para l´ınguas como oIngleˆs, produto de va´rios projectos apresentados ou implementados para con-fereˆncias internacionais [3]. Mas ainda existe muita mate´ria a ser explorada noaˆmbito de outras l´ınguas, estando o Portugueˆs entre elas.Este trabalho explora a utilizac¸a˜o da ferramenta MinorThird3 [5] na tarefa de1 Do Ingleˆs Natural Language Processing (NLP), sendo poss´ıvel para o portugueˆs usartambe´m a sigla PLN2 Nas confereˆncias internacionais normalmente e´ usado o termo semantic role labelling,retratando as relac¸o˜es semaˆnticas entre os diferentes constituintes duma frase3 http://sourceforge.net/apps/trac/minorthird/wikiclassificac¸a˜o de argumentos sinta´cticos para a l´ıngua Portuguesa. Para possuirum meio de comparac¸a˜o com os resultados obtidos internacionalmente e´ feita amesma tarefa com o corpus em Ingleˆs usado no CONLL4 2004 [3].2 Classificac¸a˜o de Argumentos Sinta´cticosA classificac¸a˜o de argumentos sinta´cticos e´ actualmente um dos subgrupos maisactivos na a´rea de processamento de linguagem natural. Nos u´ltimos 10 anoso grupo SIGNLL5 e todos os sistemas participantes abordaram este tema nasedic¸o˜es 2004 [3], 2005 [4], 2008 [22] e 2009 [9] das conferencias CONLL.Consiste em identificar os verbos presentes numa frase e os seus argumentossinta´cticos [4], tais como sujeito da acc¸a˜o, objecto da acc¸a˜o entre outros.Figura 1. Frase do Bosque classificada com os respectivos argumentos sinta´cticos.E´ vis´ıvel na Figura 1 a classificac¸a˜o de uma frase presente no corpus usadopara a l´ıngua Portuguesa, Bosque6 [1]. Ao analisar a frase verifica-se que possuium sujeito (”Vera”), um verbo que compo˜e o predicado (”apagou”) e um com-plemento directo que sofre a acc¸a˜o realizada pelo sujeito (”a luz”).Gildea e Jurafsky, pioneiros na classificac¸a˜o de argumentos sinta´cticos, enume-ram dois me´todos proeminentes para realizar a ana´lise de textos, um baseadoem grama´ticas7 e outro orientado a dados. O processo de criar grama´ticas e´muito moroso visto serem criadas a` ma˜o e necessitarem de incluir uma descric¸a˜opara cada caso existente na l´ıngua[8]. Para os sistemas orientados a dados sa˜onecessa´rios corpora classificados, e aplicac¸o˜es capazes de criar modelos a partirdos mesmos. Esses modelos sa˜o posteriormente usados para classificar textos semmarcac¸o˜es. Exemplos dessas aplicac¸o˜es sa˜o os participantes nas tarefas conjun-tas8 das edic¸o˜es enumeradas anteriormente das confereˆncias CONLL [3,4].4 Conference on Computational Natural Language Learning, http://ifarm.nl/signll/conll/5 Special Interest Group on Natural Language Learning6 http://www.linguateca.pt/Floresta/corpus.html7 Do Ingleˆs grammar based systems8 Do Ingleˆs Shared Task3 Classificador de Argumentos Sinta´cticos3.1 Pre´-Processamento dos CorporaO corpus usado para criar o modelo baseia-se no Bosque 8.09 incorporado noprojecto Floresta Sinta´(c)tica[1]. A Floresta Sinta´(c)tica consiste em texto cor-rido dividido em frases analisadas sintacticamente em estruturas de a´rvore peloanalisador sinta´ctico PALAVRAS [2] [1]. O Bosque 8.0 e´ composto por 9368frases dos primeiros 1000 extractos do CETEMPu´blico e do CETEMFolha, pri-orizando a qualidade em detrimento da quantidade [12]. Para o CETEMPu´blicoforam usados excertos de noticias retiradas do jornal Pu´blico [20] e para o CE-TEMFolha foram usados excertos de noticias retiradas do jornal Folha de S.Paulo [6].’source’ => ’CP429-7 Vera apagou a luz.’,’number’ => 1,’cod’ => ’CETEMPu´blico n=429 sec=clt sem=96a’,’t’ => [’fcl||STA’,[’np||SUBJ’,’prop(\’Vera\’ F S)||H::Vera’],[’vp||P’,’v-fin(\’apagar\’ PS 3S IND)||MV::apagou’],[’np||ACC’,’art(\’o\’ <artd> F S)||>N::a’,’n(\’luz\’ <np-def> F S)||H::luz’],’jjpunct(-.-)’]Figura 2. Representac¸a˜o da frase ’Vera apagou a luz.’ presente no Bosque.Neste trabalho foi usado o CETEMPu´blico, tendo sido removidas as frasesconsideradas t´ıtulos de noticias. O pre´-processamento do corpus, no final domesmo com 4416 frases, foi dividido nos seguintes passos:1. extraiu-se as palavras e respectivas categorias sinta´cticas das frases. As frasesestavam dispostas na forma vis´ıvel na Figura 2;9 Obtido em: http://www.linguateca.pt/Floresta/corpus.html2. converteu-se as categorias sinta´cticas em etiquetas XML10, formando umconjunto de frases com a forma vis´ıvel na Figura 3.<SUBJ>Vera<\SUBJ> <P>apagou<\P> <ACC>a luz<\ACC>.Figura 3. Representac¸a˜o da frase ’Vera apagou a luz.’ com etiquetas XML.Um processamento similar foi realizado com o corpus utilizado na tarefa con-junta do CONLL de 200411 [3]. Foi seleccionado o corpus do CONLL 2004 vistoter sido a primeira abordagem a` tarefa de classificac¸a˜o de argumentos sinta´cticosrealizada nestas confereˆncias. Como este artigo documenta uma primeira apro-ximac¸a˜o a` mesma tarefa mas para o Portugueˆs achou-se por bem tentar estarno mesmo patamar para obter uma melhor medic¸a˜o do desempenho do classi-ficador. Este corpus foi composto por seis secc¸o˜es do jornal de Wall Street [7](15 a 18 para treino (8936 frases), 20 para desenvolvimento (1671 frases) e 21para teste (2012 frases)) presentes no Penn Treebank [17,13] ao qual foi acrescen-tado a informac¸a˜o de estruturas sinta´cticas de predicado-argumento presentesno PropBank [10,16].3.2 MinorThirdO MinorThird e´ um conjunto, em co´digo aberto, de classes implementadas nalinguagem de programac¸a˜o Java para realizar tratamento de textos como porexemplo guardar, anotar e categorizar textos, aprendizagem e extracc¸a˜o de enti-dades mencionadas. Foi criado pelo professor William W. Cohen da Universidadede Carnegie Mellon e actualmente e´ mantido Frank Lin [5].O MinorThird usa colecc¸o˜es de documentos para criar uma base de dados de-nominada TextBase sobre a qual sa˜o realizadas afirmac¸o˜es lo´gicas para poste-riormente serem guardadas num objecto do tipo TextLabels. Como a anotac¸a˜opresente no objecto TextLabels e´ independente do conteu´do dos documentos po-dem existir va´rios tipos de anotac¸o˜es para o mesmo conjunto de documentos [5].As anotac¸o˜es no TextLabels enumeram as categorias ou propriedades, podendoser sinta´cticas ou semaˆnticas, de uma palavra, documento ou span12. Estas ano-tac¸o˜es podem ser criadas manualmente, ou automaticamente atrave´s de umaaplicac¸a˜o. Os TextLabels e as TextBases a eles associadas podem ser guardadosnum reposito´rio previamente configurado [5].Os me´todos de aprendizagem de extracc¸a˜o e classificac¸a˜o de spans, subconjuntosde palavras de um documento ou documentos inteiros, presentes no MinorThirdsa˜o numerosos. Entre os me´todos de aprendizagem sequencial estado-da-arteesta˜o os campos condicionais aleato´rios13 [24,11] e me´todos de treino de mo-10 Sigla do Ingleˆs Extensible Markup Language11 Obtido em: http://www.lsi.upc.edu/~srlconll/st04/st04.html12 Em portugueˆs enumera um conjunto de palavras13 Do Ingleˆs Conditional Random Fieldsdelos escondidos de Markov14 [21] [5]. Sendo o MinorThird uma ferramenta deaprendizagem supervisionada orientada a dados os passos do seu funcionamentoesta˜o representados na Figura 4:– num primeiro passo e´ criado um modelo (TextLabels) utilizando ficheirosclassificados (TextBases);– num segundo passo esse modelo e´ usado para classificar textos sem marcac¸o˜esdando como resultado os textos classificados.Figura 4. Funcionamento do MinorThird, criando um modelo com base em ficheirosde treino e posteriormente usando esse modelo para classificar novos textos.3.3 Cena´rio ExperimentalOs corpora obtidos no pre´-processamento, e renomeados para uma melhor com-preensa˜o na ana´lise dos resultados:– BosqueXML: corpus criado com base no Bosque 8.0. Das classes presentesno Bosque 8.0 foram utilizadas no BosqueXML apenas as que forneciam vi-abilidade estat´ıstica para a tarefa da classificac¸a˜o de argumentos sinta´cticos.– CONLL’2004: corpus obtido apo´s processamento do usado na tarefa conjuntado CONLL 2004.A Tabela 1 apresenta o nu´mero de spans para cada argumento sinta´cticoestudado em cada corpora.14 Do Ingleˆs Hidden Markov ModelsBosqueXML CONLL’2004Etiqueta Descric¸a˜o # # Treino #TesteP Predicado 7268 19098 3627Arg0 Sujeito 4673 12709 1671Arg1 Complemento Directo 3802 18046 3429Tabela 1. Etiquetas, descric¸a˜o e contagens para os corpora BosqueXML eCONLL’2004.Foram testados os algoritmos existentes no MinorThird sendo que os melhoresresultados foram obtidos com os algoritmos SVMCMM e CRF. O algoritmoSVMCMM e´ constituido por modelos condicionais de Markov15 [19,18] treinadoscom ma´quinas de vectores de suporte16 [23]. O algoritmo CRF utiliza camposcondicionais aleato´rios [24,11].Todos os testes feitos usaram as caracter´ısticas pre´-definidas de cada algoritmocom uma janela de contexto de tamanho treˆs.Foi aplicado o procedimento validac¸a˜o cruzada 10 pastas ao BosqueXML eum procedimento treino/teste ao CONN’2004. O desempenho dos modelos foianalisado com recurso a` precisa˜o (pi), cobertura (ρ) e medida F1 obtidas naclassificac¸a˜o dos spans.3.4 ResultadosA Tabela 2 mostra os resultados obtidos com os algoritmos SVMCMM e o CRFutilizando o corpus BosqueXML. Observa-se que o algoritmo CRF apresenta me-lhores valores de precisa˜o enquanto que o SVMCMM apresenta melhores valoresde cobertura.Para ambos os algoritmos verifica-se que os valores da precisa˜o esta˜o pelomenos 0.1 acima dos da cobertura para todas as etiquetas (para o algoritmoCRF o Arg0 e Arg1 apresentam valores de precisa˜o superiores em 0.2 quandocomparados com a cobertura). A etiqueta Predicado apresenta os melhores re-sultados com valores de F1 acima dos 54% enquanto que o Complemento Directoapresenta valores de F1 abaixo dos 21%.A Tabela 3 mostra os resultados obtidos com os algoritmos SVMCMM e CRFutilizando o corpus CONLL’2004.O corpus CONLL’2004 apresenta valores de precisa˜o e cobertura similarespara ambos os algoritmos (excepto para a etiqueta Arg0 onde o CRF tem umvalor 0.1 superior na precisa˜o). Mais uma vez o Predicado apresenta melhoresresultados com valores de F1 acima dos 82%, enquanto que o ComplementoDirecto tem valores de F1 abaixo dos 24%.Comparando a Tabela 2 e a Tabela 3 pode-se concluir que os resultadosobtidos com o corpus da l´ıngua Portuguesa esta˜o abaixo dos obtidos com o15 Do Ingleˆs Conditional Markov Models16 Do Ingleˆs Support Vector MachinesSVMCMM CRFEtiqueta pi ρ F1 pi ρ F1P .603 .503 .548 .660 .475 .545Arg0 .416 .283 .337 .447 .237 .308Arg1 .285 .161 .206 .361 .117 .175Tabela 2. Precisa˜o, cobertura e F1 do corpus BosqueXML utilizando os algoritmosSVMCMM e CRF.SVMCMM CRFEtiqueta pi ρ F1 pi ρ F1P 0.850 0.823 0.836 0.842 0.805 0.823Arg0 0.599 0.464 0.523 0.699 0.463 0.557Arg1 0.372 0.170 0.234 0.414 0.151 0.221Tabela 3. Precisa˜o, cobertura e F1 do corpus CONLL’2004 utilizando os algoritmoSVMCMM e CRF.corpus da l´ıngua Inglesa. Uma poss´ıvel explicac¸a˜o para esta diferenc¸a podera´ser o tamanho dos corpora: o CONLL’2004 e´ sensivelmente 3 vezes maior que oBosqueXML. Outra explicac¸a˜o poss´ıvel e´ a estrutura sinta´ctica da l´ıngua Inglesaser mais simples que a da l´ıngua Portuguesa.A Tabela 4 compara os melhores valores de F1 para as etiquetas Arg0 andArg1 obtidos com o MinorThird (Arg0 com o algoritmo CRF e Arg1 com oalgoritmo SVMCMM) com o melhor e pior obtidos na tarefa conjunta do CONLL2004 como reportado em [3] (os valores dos Predicados na˜o sa˜o mostrados vistoestes na˜o terem sido considerados na avaliac¸a˜o da tarefa conjunta).CONLL 2004Etiqueta MinorThird Melhor PiorArg0 0.557 0.814 0.562Arg1 0.234 0.716 0.490Tabela 4. Ma´ximo, mı´nimo dos valores de F1 dos argumentos mais comuns da ta-refa conjunta do CONLL 2004 comparados com os valores obtidos usando o corpusCONLL’2004 com o MinorThird.Da Tabela 4 pode-se observar que o uso de informac¸a˜o lingu´ıstica adicionalcomo por exemplo categorias gramaticais, sintagmas, orac¸o˜es e entidades men-cionadas e´ proveitosa para a tarefa de classificac¸a˜o de argumentos sinta´cticosenquanto que me´todos sequenciais de classificac¸a˜o na˜o sa˜o suficientes. O usodesta informac¸a˜o melhora o desempenho dos sistemas como e´ vis´ıvel quando secompara os valores de Arg0 e Arg1 obtidos com o MinorThird e dos sistemas doCONLL 2004. A diferenc¸a e´ superior no Complemento Directo do que no Sujeito.4 Concluso˜es e Trabalho FuturoEste artigo tentou realizar uma pesquisa para a l´ıngua Portuguesa numa a´reaainda pouco explorada. Verificou-se que os resultados obtidos com um corpus dal´ıngua Portuguesa esta˜o abaixo dos obtidos com um corpus da l´ıngua Inglesa.Como ja´ foi mencionado anteriormente a diferenc¸a de desempenho pode dever-secom o diferente tamanho dos corpora. Outra poss´ıvel explicac¸a˜o e´ o uso de estru-turas sinta´cticas mais complexas e as muitas contracc¸o˜es de palavras existentesna l´ıngua Portuguesa quando comparada com a l´ıngua Inglesa.Verificou-se que informac¸a˜o lingu´ıstica tais como palavras, categorias grama-ticais, sintagmas, orac¸o˜es e entidades mencionadas sa˜o u´teis para a tarefa declassificac¸a˜o de argumentos sinta´cticos e o uso de apenas me´todos de aprendiza-gem sequenciais na˜o produzem bons resultados.Como trabalho futuro temos a intenc¸a˜o de aumentar o tamanho do corpusda l´ıngua Portuguesa e desenvolver um classificador que fac¸a uso de toda ainformac¸a˜o lingu´ıstica mencionada anteriormente. Apenas nesses termos umacomparac¸a˜o entre ambas as l´ınguas sera´ justa.Refereˆncias1. S. Afonso, E. Bick, R. Haber, and D. Santos. Florestra sinta´(c)tica: A treebankfor portuguese. 2002.2. E. Bick. The Parsing System ”PALAVRAS”: Automatic Grammatical Analysis ofPortuguese in a Constraint Grammar Framework. Aarhus University Press, 2000.3. X. Carreras and L. Ma`rquez. Introduction to the conll-2004 shared task: Semanticrole labeling. In Proceedings of CoNLL-2004, 2004.4. X. Carreras and L. Ma`rquez. Introduction to the conll-2005 shared task: Semanticrole labeling. In Proceedings of the Ninth Conference on Computational NaturalLanguage Learning (CoNLL-2005), 2005.5. W. Cohen. Minorthird: methods for identifying names and ontological relations intext using heuristics for inducing regularities from data, 2004.6. Empresa Folha da Manha˜ S.A. Folha.com. http://www.folha.uol.com.br, 1921.7. Inc. Dow Jones & Company. The wall street journal. http://europe.wsj.com/home-page.8. D. Gildea and D. Jurafsky. Automatic labeling of semantic roles. ComputationalLinguistics, 28:245–288, 2002.9. J. Hajic, M. Ciaramita, R. Johansson, D. Kawahara, M. Mart´ı, L. Ma´rquez,A. Meyers, J. Nivre, S. Pado´, J. Sˇteˇpa´nek, P. Stranˇa´k, M. Surdeanu, N. Xue,and Y. Zhang. The conll-2009 shared task: syntactic and semantic dependenciesin multiple languages. In CoNLL ’09 Proceedings of the Thirteenth Conference onComputational Natural Language Learning: Shared Task, 2009.10. P. Kingsbury and M. Palmer. From treebank to propbank. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.13.7566, 2002.11. J. Lafferty, A. McCallum, and F. Pereira. Conditional random fields: Probabi-listic models for segmenting and labeling sequence data. In Proceedings of 18thInternational Conference on Machine Learning, pages 282–289, 2001.12. Linguateca. Florestra sinta´(c)tica, 2009.13. M. Marcus, B. Santorini, and M. Marcinkiewicz. Building a large annotated corpusof english: The penn treebank. COMPUTATIONAL LINGUISTICS, 19(2):313–330, 1993.14. N. Miranda, R. Raminhos, P. Seabra, J. Sequeira, T. Gonc¸alves, and P. Quaresma.Reconhecimento de entidades nomeadas com svm. In Actas das Jornadas de In-forma´tica da Universidade de E´vora 2010, Novembro 2010.15. N. Miranda, R. Raminhos, P. Seabra, J. Sequeira, T. Gonc¸alves, and P. Quaresma.Named entity recognition using machine. 2011.16. M. Palmer, D. Gildea, and P. Kingsbury. The preposition bank: An annotatedcorpus of semantic roles. Computational Linguistics, 31, 2005.17. The Penn Treebank Project. The penn treebank project. http://www.cis.upenn.edu/~treebank/, 1999.18. L. Rabiner. A tutorial on hidden markov models and selected applications in speechrecognition. In Proceedings of the IEEE, pages 257–286, 1989.19. L. Rabiner and B. Juang. An introduction to hidden markov models. IEEE ASSPMagazine, Janeiro 1986.20. PU´BLICO Comunicac¸a˜o Social SA. Pu´blico. http://www.publico.pt, 1990.21. M. Stamp. A revealing introduction to hidden markov models, 2004.22. M. Surdeanu, R. Johansson, A. Meyers, L. Ma`rquez, and J. Nivre. The conll-2008shared task on joint parsing of syntactic and semantic dependencies. In CoNLL2008: Proceedings of the Twelfth Conference on Natural Language Learning, pages159–177, 2008.23. V. Vapnik. Statistical Learning Theory. Wiley-Interscience, Setembro 1998.24. H. Wallach. Conditional random fields: An introduction. http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.124.6711, 2004.

Classificação de Argumentos Sintácticos: Aproximação preliminar

http://dspace.uevora.pt/rdpc/bitstream/10174/4480/1/jiue2011_joaosequeira.pdf

Classificação de Argumentos Sintácticos: Aproximação preliminar

Abstract

Similar works

Full text

Available Versions

Repositório Científico da Universidade de Évora

Repositório Científico da Universidade de Évora