Cooking flex with Perl

There are a lot of tools for parser generation using Perl. As we know, Perl has flexible data structures which makes it easy to generate generic trees. While it is easy to write a grammar and a lexical analyzer using modules like Parse::Yapp and Parse::Lex, this pair of tools is not as efficient as I would like. In this document I'll present a way to cook quickly Parse::Yapp with the better lexical analyzer I know: flex

Alinhamento de corpora paralelos

Este documento apresenta um conjunto de ferramentas denominado NATools para o alinhamento de corpora paralelos. É apresentado o processo de alinhamento tendo em conta os vários níveis intervenientes, desde o convencional alinhamento à frase, até ao alinhamento à palavra, com a criação dos respectivos dicionários de tradução. São apresentadas medidas em relação ao tempo usado para o alinhamento, bem como resultados obtidos. São discutidas técnicas para a detecção de traduções de termos multi-palavra usando o algoritmo de alinhamento à palavra. Os dicionários de tradução obtidos irão ser explicados e as suas aplicações exploradas: navegação e consulta web dos dicionários produzidos e corpora usado; alinhamento ao segmento de palavra (ou tradução "por exemplo"); classificação automática da qualidade de um par de traduções

Segmentação bilingue com base na marker hypothesis

A existência de exemplos de tradução é imprescindível para tradução assistida por computador bem como para tradução automática baseada em dados (EBMT e SMT). No entanto, o uso de unidades de tradução de corpora paralelos directamente na tradução não é eficaz já que estas unidades são demasiado grandes, e portanto, torna-se pouco provável que uma mesma unidade de tradução tenha de ser traduzida mais do que uma vez. Para colmatar este problema há necessidade de explorar outras metodologias para a divisão de unidades de tradução em segmentos paralelos mais pequenos. Uma das abordagens que tem vindo a ser utilizada é a segmentação baseada em marcadores (Marker Hypothesis). Este documento pretende documentar as experiências realizadas na utilização deste método para a segmentação de texto português (paralelo com o inglês)

Computer science, linguists and languages

[Excerto] Prólogo: Existe uma espécie de Guerra Santa há algum tempo entre investigadores da área das ciências da computação (a que vou chamar abusivamente de informáticos) e investigadores da área das ciências da língua (a que vou chamar abusivamente de linguistas) porque os primeiros se têm aventurado em tarefas que habitualmente eram realizadas pelos segundos. Estas incursões levam a que tarefas que habitualmente demoram meses a realizar de forma manual sejam automatizadas e realizadas rapidamente, com a ajuda de um programa computacional. Tipicamente, quando estes trabalhos são apresentados em conferências habitualmente frequentadas por linguistas, são alvo de grandes críticas pela falta de correção do resultado obtido. O que pretendo apresentar neste documento são as razões que me parecem levar a este comportamento, e discutir o que é possível alcançar se informáticos e linguistas conseguirem perceber os pontos de vista e objectivos de cada um deles. [...

XML parsing in javascript

With Web 2.0 the dynamic web got to a reality. With it, some new concepts arived, like the use of asynchronous calls to receive missing data to render a website, instead of requesting a full new page to the server. For this task, and in the recent years, developers use mostly the JSON format for the interchange of data, than XML. Nevertheless, XML is more suitable for some kind of data interchange but, and even if the web is based in SGML/XML standards, processing XML using directly JavaScript is tricky. In this document, a set of di erent approaches to parse XML with JavaScript will be described, and a new module, based on a set of translation functions, will be presented. At the end, a set of experiments will be discussed, trying to evaluate how versatile the proposed approach is.(undefined

Examples Extraction for Machine Translation

This presentation will focus on some techniques for the extraction of bilingual resources for machine translation, giving some emphasis to the extraction of translation examples. It will include a brief experiment on the usage of these resources for hybrid machine translation

How social media and DIY culture contribute to democracy, communities and the creative economy

UID/SOC/04647/2013authorsversionpublishe

XML schemas for parallel corpora

Parallel corpora are resources used in Natural Language Processing and Computational Linguistics. They are defined as a set of texts, in different languages, that are translations of each other. Note that these translations do not need to cover the full document, as we might have sentences translated just on some of the languages. When dealing with the process of sharing resources, recent years have bet on the use of XML formats. This is no different when talking about parallel corpora sharing. When visiting different projects in the web that release parallel corpora for download, we can find at least three different formats. In fact, this abundance of formats has led some projects to adopt all the three formats. This article discusses these three main formats: XML Corpus Encoding Standard, Translation Memory Exchange format and the Text Encoding Initiative. We will compare their formal definition and their XML schema