Estudo da correlação entre propriedades estatísticas de verbetes

Abstract

As investigações das línguas naturais através da aplicação de métodos matemáticos e estatísticos que buscam caracterizar propriedades de textos literários têm sido objeto de intensa investigação nas últimas décadas, constituindo uma área denominada de linguística quantitativa. Os primeiros trabalhos nessa área surgiram entre as décadas de 1930 e 1950, com os trabalhos de George Zipf no estudo da distribuição de frequências e Claude Shannon com seu trabalho em previsão de letras e palavras e entropia como medida de redundância em língua inglesa. Nesta dissertação serão investigadas a autocorrelação e correlações cruzadas das séries temporais utilizando técnicas comuns ao estudo de séries temporais não-estacionárias. Discutiremos também quais propriedades emergem dessas correlações e suas implicações no processo de escrita. Ao longo dessa análise, todos os resultados foram obtidos para um conjunto de 250 textos literários escritos em 10 línguas distintas. No momento fi nal desse trabalho, analisaremos as propriedades de textos genéricos obtidos através de dois modelos de distribuições de distância: uma que leva em consideração as distâncias entre os números primos consecutivos e outra que utiliza a distribuição de Weibull. Exploraremos as características que surgem em cada um dos modelos comparando-as com seus equivalentes nos textos em linguagem natural.The application of mathematical and statistical methods to exploit properties in natural languages has a recent and proli c history. These methods and the quantitative tecnhiques adapted and created through the study of languages are part of an area usually called quantitative linguistics. The rst work on such area was performed by George Zipf from 1930 to 1950 in which the distribution of word frequencies were studied. His works were followed by Claude Shannon's analysis on entropy and letters prediction as a measure of redundancy in written english. In this work, we firstly present a study on correlation and cross-correlation through the time series extracted from texts by using common approaches to investigate non-stationary time series. To perform the required analysis we have used a corpora as large as 250 literary texts from 10 diferent languages. The properties emerging from these correlations will also be discussed and properly explained. Secondly, we move to the description of the distance distribution responsible for the long-range structure observed on written language. We devise those distributions by assuming the distance distribution from consecutive prime numbers and distances taken from a Weibull distributed process. The revenues from such models will be put under scrutiny by using the techniques presented during the work and comparing them to properties emerging in natural language.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPE

    Similar works