Classification of scientific manuscripts using text processing methods

Abstract

Günümüzdeki teknolojik gelişmeler ile, kağıt üzerindeki metinlerin sayısal ortamlara aktarılması kolaylaşmıştır. Bu metinlere daha kolay erişilebilmesi için metin sınıflandırma yapılması gerekmektedir. Çok sayıdaki doğal dil metinlerini sınıflandırmadan önce metin işleme tekniklerinin uygulanması gereklidir. Metin işleme; dokümanlarda bulunan ham verileri sınıflandırmak için çeşitli teknikler ile analiz etme işlemidir. Bu çalışmada Türkçe bilimsel makalelerden bir veri kütüphanesi oluşturulmuştur ve değişik metin işleme ve sınıflandırma yöntemleri ile en yüksek başarı elde edilmeye çalışılmıştır. Bu amaçla sıra ile metin sınıflandırma süreçleri (ön işleme, indeksleme, öznitelik seçme, sınıflandırma ve performans değerlendirme) uygulanmıştır. Bu çalışmada metinleri ifade etmek için kelimeler doğrudan alınarak kelime kökleri ile birlikte karakter 2-gram ve 3-gram yöntemi kullanılmıştır. Bahsettiğimiz yöntemlerden elde ettiğimiz verileri sayısallaştırmak için vektör uzayı modelinin TF, ikili ve en yaygın olarak kullanılan TF-IDF ağırlıklandırma yöntemleri uygulanmıştır. Nitelikli özniteliklerin seçilip gereksiz olanlarının atılabilmesi için bilgi kazancı ve korelasyon tabanlı öznitelik seçme yöntemleri kullanılmıştır. En bilinen sınıflandırma yöntemleri olan K-NN, Naive Bayes, Multinominal Naive Bayes ve DVM Weka programının yardımı ile çalışmada önerilen yöntemin performansını karşılaştırmak üzere kullanılmıştır. Ayrıca diğer bir veri kümesi (internet üzerindeki Türkçe haberlerden oluşturulan 1150 haber) kullanılarak karşılaştırma yapılmıştır. Sonuç olarak kelime kökleri ile elde ettiğimiz öznitelik vektörleri için en iyi sonucu ikili ağırlıklandırma yöntemi vermiştir. Karakter 2-gram ve 3-gram yönteminde ise TF ağırlıklandırma yöntemi en yüksek başarı göstermiştir. Korelasyon tabanlı öznitelik seçme yöntemine göre bilgi kazancı yöntemi iyi sonuçlar vermiştir. Öznitelikler düzeyinde birleştirme işleminin performansı daha da arttığı ve iyi etkilediği belirlenmiştir. Tekil olarak en iyi sonucu %99,44 başarı ile ?kelime kökleri+bilgi kazancı+ikili+TF+TF-IDF? öznitelik vektörü vermiştir. Bu çalışmada açıklanan metin işleme yöntemlerini uygulayarak önceki çalışmadan daha başarılı sonuçlar elde edilmiştir.Transferring of paper-based texts to digital media has become easier with today?s technological advances. Classification of texts should be made in order to access information more easily. Before classification, text processing techniques must be applied many natural language texts. Text processing is the process of analyzing with variety of techniques in order to classify raw data in documents. In this study, a data set of scientific articles published in Turkish was built and it is aimed to obtain high success by applying different text processing and classification methods. With this aim text classification procedures (preprocessing, indexing, feature selection, classification and performance evaluation) were performed step by step. We used character 2-gram and 3-gram methods to choose the word stem in order to express the texts used in this study. To quantintify the data obtained from abovementioned methods, we applied TF, binary and most commonly used TF-IDF weighting methods of the vector space model. We used information gain and correlation based feature selection methods in order to choose the relevant features and remove the unnecessary ones. We used the most famous classifications methods, namely K-NN, Naive Bayes, Multinominal Naive Bayes and SVM, on the Weka software to benchmark the performance of the proposed method. In advance, data set was compared to an other one (1150 news published in Turkish in Internet). In conclusion, the best results regarding the feature vectors obtained using word stems were obtained from the double weighting method. For the character 2-gram and 3-gram methods, the best results were obtained from TF weighting method. The information gain method returned better results compared to the correlation based feature selection method. It yielded better performance on the fusion at feature level. The best result (99,44%) was obtained from the word stems+information gain+binary+TF+TF-IDF feature vector. By applying the text processing methods explained in this study, we obtained better results compared to the previous study