Evolving text classification rules with genetic programming

We describe a novel method for using genetic programming to create compact classification rules using combinations of N-grams (character strings). Genetic programs acquire fitness by producing rules that are effective classifiers in terms of precision and recall when evaluated against a set of training documents. We describe a set of functions and terminals and provide results from a classification task using the Reuters 21578 dataset. We also suggest that the rules may have a number of other uses beyond classification and provide a basis for text mining applications

Automatic Extraction Of Malay Compound Nouns Using A Hybrid Of Statistical And Machine Learning Methods

Identifying of compound nouns is important for a wide spectrum of applications in the field of natural language processing such as machine translation and information retrieval. Extraction of compound nouns requires deep or shallow syntactic preprocessing tools and large corpora. This paper investigates several methods for extracting Noun compounds from Malay text corpora. First, we present the empirical results of sixteen statistical association measures of Malay <N+N> compound nouns extraction. Second, we introduce the possibility of integrating multiple association measures. Third, this work also provides a standard dataset intended to provide a common platform for evaluating research on the identification compound Nouns in Malay language. The standard data set contains 7,235 unique N-N candidates, 2,970 of them are N-N compound nouns collocations. The extraction algorithms are evaluated against this reference data set. The experimental results  demonstrate that a group of association measures (T-test , Piatersky-Shapiro (PS) , C_value, FGM and  rank combination method) are the best association measure and outperforms the other association measures for <N+N> collocations in the Malay  corpus. Finally, we describe several classification methods for combining association measures scores of the basic measures, followed by their evaluation. Evaluation results show that classification algorithms significantly outperform individual association measures. Experimental results obtained are quite satisfactory in terms of the Precision, Recall and F-score

Knowledge-lite extraction of multi-word units with language filters and entropy thresholds

and entropy threshold

Werkzeuge für Rechtsdatenbanken

Wenn in Rechtstexten Wissen über das Recht enthalten ist, dann müsste in vielen Texten viel Recht zu finden sein. Die Korpuslinguistik bearbeitet linguistische Fragestellungen anhand großer Textmengen, die ausgewählt, erworben, aufbereitet (annotiert) und dann durchsucht/bearbeitet werden. Die fünf Kapitel dieser Arbeit widmen sich jeweils einem wichtigen Thema, zu dem Methoden vorgestellt, in Werkzeugen implementiert und diskutiert werden. Im ersten Kapitel (Dokumentklassifikation) wird eine Methode vorgestellt, mit der gezielt Rechtstexte aus dem Internet ausgewählt, akquiriert und geordnet in ein Korpus abgelegt werden können. Auch hier sollen die Voraussetzungen so gering wie möglich gehalten werden, damit möglichst breiter Gebrauch von der Methode gemacht werden kann. Die Einteilung des Rechts in einzelne Fachgebiete hat weitreichende Folgen. Sowohl Texte wie Rechtskonzepte erlangen ihre spezielle Bedeutung durch ihr Fachgebiet. Das zweite Kapitel (Fachgebietsklassifikation) gibt einen Überblick über die Problematik der Fachgebietseinteilung und stellt zwei automatische Fachgebietserkenner vor, die diese Spezialaufgabe besser lösen als die in Kapitel 1 vorgestellte allgemeine Dokumentklassifikation. Eine große Veränderung erfährt die Rechtsterminologie und -terminografie durch den Übergang von der physischen zur elektronischen Schrift. Damit muss nicht mehr eine Darstellungsweise allen Anforderungen gerecht werden, sondern die Darstellung kann dynamisch an die Umstände angepasst werden. Im dritten Kapitel (Dynamische Termdarstellung) wird das Konzept einer dynamischen Termdarstellung vorgestellt und seine technische Umsetzung skizziert. Das vierte Kapitel Termextraktion durch Beispielterme stellt eine automatische Termextraktionsmethode vor, die mit relativ geringen Voraussetzungen gute Ergebnisse liefert und damit für weniger stark verbreitete Sprachen eine Alternative zu kommerziellen Programmen darstellt. Dieses Instrument kann bei der zentralen Aufgabenstellung der Terminografie, dem Auffinden und der Auswahl der Termini, eingesetzt werden. Hier wird aber auch gezeigt, wie die Termextraktion zur Indizierung des in den meisten terminografischen Projekten vorhandenen Hintergrundkorpus verwendet werden kann. Das fünfte Kapitel (Organisation rechtlichen Wissens) gibt einen Überblick über die vielfältigen Möglichkeiten der Einteilung und Repräsentation von (rechtlichem) Wissen. Eine Methode der Wissensrepräsentation mit formaler Sprache, die logische Operationen ermöglicht, ist eine Ontologie. Es wurde eine Ontologie für eine Rechtsdatenbank erstellt und alle damit zusammenhängenden Aspekte diskutiert. Im Fazit wird schließlich diskutiert, für welche Bereiche der Arbeit mit Rechtsdatenbanken bereits jetzt relativ einfache Werkzeuge zur Verfügung stehen und wo die Entwicklung von weiteren Werkzeugen ansetzen könnte. Die Kapitel sind so geschrieben, dass sie auch einzeln gelesen werden können, ohne jedoch allzu starke Überschneidungen zuzulassen.La thèse de doctorat «Outils pour des bases de données juridiques» traîte des méthodes linguistiques et informatiques pour comprendre, mémoriser et communiquer des connaissances juridiques. Les sujets traités sont: I. La classification de documents Je discute les classes importantes pour des documents juridiques et je propose une classi-fication automatique qui n’utilise pas seulement le texte du document, mais aussi d’autres critères comme l’adresse du document, l’adresse des liens et le contexte de la recherche de documents. II. L’identification de disciplines en terminographie Je prétends que toute répartition en disciplines et sous-disciplines est par nature relative. Puis je présente deux méthodes pour l’identification de la discipline d’un texte. La pre-mière utilise les termes et la deuxième les textes (définitions et contextes) présents dans la base de données terminographique. III. La présentation dynamique de termes Je discute les problèmes de la présentation de termes traditionnelle pour livres et les avantages d’une présentation adaptée dynamiquement aux besoins concrets de chaque client. Pour prouver la faisabilité de cette nouvelle approche, j’indique la technologie applicable pour chaque fonction et je présente une mise en œuvre dans le système termi-nographique BISTRO (www.eurac.edu/bistro) IV. L’extraction de termes Je discute les caractéristiques des trois méthodes pour l’extraction de termes. Après je montre l’efficacité de la méthode basée sur des exemples lors d’une expérience. L’outil est librement accessible en Internet et peut servir pour l’indexation d’un corpus. V. L’organisation du savoir juridique Je discute exhaustivement tous les systèmes répandus d’organisation du savoir, de mots-clés jusqu’aux ontologies. Ensuite je décrits le procédé et les problèmes concrets pour organiser une base de données juridiques avec une ontologie