Are screening methods useful in feature selection? An empirical study

Filter or screening methods are often used as a preprocessing step for reducing the number of variables used by a learning algorithm in obtaining a classification or regression model. While there are many such filter methods, there is a need for an objective evaluation of these methods. Such an evaluation is needed to compare them with each other and also to answer whether they are at all useful, or a learning algorithm could do a better job without them. For this purpose, many popular screening methods are partnered in this paper with three regression learners and five classification learners and evaluated on ten real datasets to obtain accuracy criteria such as R-square and area under the ROC curve (AUC). The obtained results are compared through curve plots and comparison tables in order to find out whether screening methods help improve the performance of learning algorithms and how they fare with each other. Our findings revealed that the screening methods were useful in improving the prediction of the best learner on two regression and two classification datasets out of the ten datasets evaluated.Comment: 29 pages, 4 figures, 21 table

Emotion Recognition from Acted and Spontaneous Speech

Dizertační práce se zabývá rozpoznáním emočního stavu mluvčích z řečového signálu. Práce je rozdělena do dvou hlavních častí, první část popisuju navržené metody pro rozpoznání emočního stavu z hraných databází. V rámci této části jsou představeny výsledky rozpoznání použitím dvou různých databází s různými jazyky. Hlavními přínosy této části je detailní analýza rozsáhlé škály různých příznaků získaných z řečového signálu, návrh nových klasifikačních architektur jako je například „emoční párování“ a návrh nové metody pro mapování diskrétních emočních stavů do dvou dimenzionálního prostoru. Druhá část se zabývá rozpoznáním emočních stavů z databáze spontánní řeči, která byla získána ze záznamů hovorů z reálných call center. Poznatky z analýzy a návrhu metod rozpoznání z hrané řeči byly využity pro návrh nového systému pro rozpoznání sedmi spontánních emočních stavů. Jádrem navrženého přístupu je komplexní klasifikační architektura založena na fúzi různých systémů. Práce se dále zabývá vlivem emočního stavu mluvčího na úspěšnosti rozpoznání pohlaví a návrhem systému pro automatickou detekci úspěšných hovorů v call centrech na základě analýzy parametrů dialogu mezi účastníky telefonních hovorů.Doctoral thesis deals with emotion recognition from speech signals. The thesis is divided into two main parts; the first part describes proposed approaches for emotion recognition using two different multilingual databases of acted emotional speech. The main contributions of this part are detailed analysis of a big set of acoustic features, new classification schemes for vocal emotion recognition such as “emotion coupling” and new method for mapping discrete emotions into two-dimensional space. The second part of this thesis is devoted to emotion recognition using multilingual databases of spontaneous emotional speech, which is based on telephone records obtained from real call centers. The knowledge gained from experiments with emotion recognition from acted speech was exploited to design a new approach for classifying seven emotional states. The core of the proposed approach is a complex classification architecture based on the fusion of different systems. The thesis also examines the influence of speaker’s emotional state on gender recognition performance and proposes system for automatic identification of successful phone calls in call center by means of dialogue features.

Online Feature Selection for Visual Tracking

Object tracking is one of the most important tasks in many applications of computer vision. Many tracking methods use a fixed set of features ignoring that appearance of a target object may change drastically due to intrinsic and extrinsic factors. The ability to dynamically identify discriminative features would help in handling the appearance variability by improving tracking performance. The contribution of this work is threefold. Firstly, this paper presents a collection of several modern feature selection approaches selected among filter, embedded, and wrapper methods. Secondly, we provide extensive tests regarding the classification task intended to explore the strengths and weaknesses of the proposed methods with the goal to identify the right candidates for online tracking. Finally, we show how feature selection mechanisms can be successfully employed for ranking the features used by a tracking system, maintaining high frame rates. In particular, feature selection mounted on the Adaptive Color Tracking (ACT) system operates at over 110 FPS. This work demonstrates the importance of feature selection in online and realtime applications, resulted in what is clearly a very impressive performance, our solutions improve by 3% up to 7% the baseline ACT while providing superior results compared to 29 state-of-the-art tracking methods

Feature Selection via L1-Penalized Squared-Loss Mutual Information

Feature selection is a technique to screen out less important features. Many existing supervised feature selection algorithms use redundancy and relevancy as the main criteria to select features. However, feature interaction, potentially a key characteristic in real-world problems, has not received much attention. As an attempt to take feature interaction into account, we propose L1-LSMI, an L1-regularization based algorithm that maximizes a squared-loss variant of mutual information between selected features and outputs. Numerical results show that L1-LSMI performs well in handling redundancy, detecting non-linear dependency, and considering feature interaction.Comment: 25 page

Improving rock classification in terms of explosivity

Purpose. To improve rock classification in terms of explosivity relying upon the detailed analysis of characteristics of rating classifications available in the Russian Federation and in the world. Methods. Complex approach has been applied involving comparison of sizes of particle-size fractions determined in terms of both national and the world standards; information gathering and processing as for the available classifications intended to identify difficulties of rock explosivity; compilation of comparative systematic of classifications or methods being considered. Findings. Both national and the world rock classifications in terms of explosivity have been considered. While comparing national classifications as for the difficulties of rock mass failure (i.e. explosivity), a comparative table has been compiled where the most popular rock classifications are compared. Analysis of the world practices, concerning compilation of rock classifications in terms of explosivity, has shown that their approaches differ from Russian ones slightly. In the first instance, they are empiric dependences being calculated for each rock mass type separately in any single case. It has been determined that geomechanical classification of D. Lobshir (MRMR) is the most popular and rating world system to evaluate rock explosivity. It has been demonstrated that while compiling such classifications, foreign scientific writers put an emphasis on physical and mechanical indices of rocks (i.e. density, fissility, compression strength, tensile strength etc.) as well as on mine engineering ones (i.e. line of the least resistance, well diameter and depth, stope height etc.) which determines essential reliability of calculation of drilling-and-blasting parameters. Originality. The research is the first stage of the development of the unified transition classification from Russian explosivity scales to the comparable world methodic practices as for rock mass explosivity. Practical implications. To perform rapid transition from one explosivity classification to the other. The findings are recommended to be used while projecting drilling and blasting operations in the context of any types of minerals and in the context of academic activity.Мета. Вдосконалення класифікації гірських порід за вибуховістю на основі детального аналізу особливостей існуючих російських і закордонних рейтингових класифікацій. Методика. Застосовано комплексний методичний підхід, що включає зіставлення розмірів гранулометричних фракцій, які визначали згідно вітчизняним і закордонним стандартам; збір та обробка інформації щодо існуючих класифікацій визначення труднощів вибуховості гірських порід; складання зіставної класифікації розглянутих класифікацій або методик. Результати. Розглянуто вітчизняні та закордонні класифікації гірських порід за вибуховістю. При порівнянні вітчизняних класифікацій в частині труднощів руйнування гірського масиву (вибуховості) була побудована порівняльна таблиця, в якій між собою зіставляються найбільш популярні класифікації гірських порід. При аналізі закордонного досвіду складання класифікацій гірських порід за вибуховістю було виявлено, що їх мето- ди дещо відрізняються від російських, і являють собою емпіричні залежності, та розраховуються для кожного типу масиву в кожному окремому випадку індивідуально. Встановлено, що найбільш популярною і рейтинговою системою для оцінки вибуховості гірських порід за кордоном є геомеханічна класифікація Д.Х. Лабшіра (MRMR). Показано, що закордонні автори, при складанні класифікацій, роблять акцент не лише на фізико- механічних показниках гірських порід (щільності, тріщинуватості, межі міцності на стиск і розтяг і т.д.), але й на гірничотехнічних (лінія найменшого опору, діаметр та глибина свердловини, висота забою і т.д.), що визначає суттєву достовірність розрахунку параметрів буропідривних робіт. Наукова новизна. Представлена робота є першим кроком до розробки єдиної перехідної класифікації від російських шкал за вибуховістю до аналогічних закордонних методичним практикам в частині вибуховості гірського масиву. Практична значимість полягає в можливості швидкого переведення однієї класифікації за вибуховістю в іншу. Результати роботи рекомендується використовувати при проектуванні буропідривних робіт на всіх типах родовищ корисних копалин, а також у навчальному процесі.Цель. Совершенствование классификации горных пород по взрываемости на основе детального анализа особенностей существующих российских и зарубежных рейтинговых классификаций. Методика. Применен комплексный методический подход, включающий сопоставление размеров гранулометрических фракций, определяемых по отечественным и зарубежным стандартам; сбор и обработка информации о существующих классификациях определения трудности взрываемости горных пород; составление сопоставительной классификации рассматриваемых классификаций или методик. Результаты. Рассмотрены отечественные и зарубежные классификации горных пород по взрываемости. При сравнении отечественных классификаций в части трудности разрушения горного массива (взрываемости) была построена сопоставительная таблица, в которой между собой сопоставляются наиболее популярные классификации горных пород. При анализе зарубежного опыта составления классификаций горных пород по взрываемости было выявлено, что их методы несколько отличаются от российских, и представляют собой эмпирические зависимости, и рассчитываются для каждого типа массива в каждом отдельном случае индивидуально. Установлено, что наиболее популярной и рейтинговой системой для оценки взрываемости горных пород за рубежом является геомеханическая классификация Д.Х. Лабшира (MRMR). Показано, что зарубежные авторы, при составлении классификаций, делают акцент не только на физико-механические показатели горных пород (плотность, трещиноватость, пределы прочности на сжатие и растяжение и т.д.), но и на горнотехнические (линия наименьшего сопротивления, диаметр и глубина скважины, высота забоя и т.д.), что определяет существенную достоверность расчёта параметров буровзрывных работ. Научная новизна. Представленная работа является первым шагом к разработке единой переходной классификации от российских шкал по взрываемости к аналогичным зарубежным методическим практикам в части взрываемости горного массива. Практическая значимость. Заключается в возможности быстрого перевода одной классификации по взрываемости в другую. Результаты работы рекомендуется использовать при проектировании буровзрывных работ на всех типах месторождений полезных ископаемых, а также в учебном процессе.The research is carried out by a team of authors of Mine and Underground Construction Department at Siberian Federal University as part of a grant of the Russian Federation President for governmental support of young Russian scientists-Candidates of Sciences (МК-1178.2018.8)

Search Strategies for Binary Feature Selection for a Naive Bayes Classifier

We compare in this paper several feature selection methods for the Naive Bayes Classifier (NBC) when the data under study are described by a large number of redundant binary indicators. Wrapper approaches guided by the NBC estimation of the classification error probability out-perform filter approaches while retaining a reasonable computational cost