Interval Estimation Naïve Bayes

Abstract. Recent work in supervised learning has shown that a surprisingly simple Bayesian classifier with assumptions of conditional independence among features given the class, called naïve Bayes, is competitive with state of the art classifiers. On this paper a new naive Bayes classifier called Interval Estimation naïve Bayes is proposed. Interval Estimation naïve Bayes performs on two phases. On the first phase an interval estimation of each probability necessary to specify the naïve Bayes is estimated. On the second phase the best combination of values inside these intervals is calculated with a heuristic search that is guided by the accuracy of the classifiers. The founded values in the search are the new parameters for the naïve Bayes classifier. Our new approach has shown to be quite competitive related to simple naïve Bayes. Experimental tests have been done with 21 data sets from the UCI repository.

Collaborative filtering using interval estimation naïve bayes

Abstract. Personalized recommender systems can be classified into three main categories: content-based, mostly used to make suggestions depending on the text of the web documents, collaborative filtering, that use ratings from many users to suggest a document or an action to a given user and hybrid solutions. In the collaborative filtering task we can find algorithms such as the naïve Bayes classifier or some of its variants. However, the results of these classifiers can be improved, as we demonstrate through experimental results, with our new semi naïve Bayes approach based on intervals. In this work we present this new approach. 1

Clasificación supervisada basada en redes bayesianas. Aplicación en biología computacional

Los trabajos realizados en esta tesis se encuadran dentro de dos grandes campos: la clasificación supervisada con modelos gráficos probabilísticos y su aplicación a la biología computacional. La idea fundamental de las propuestas que se han realizado dentro del campo de la clasificación supervisada con modelos gráficos probabilístico, es el uso de los algoritmos heurísticos de optimización EDA en la búsqueda de estructuras de redes Bayesianas para clasificación. Gracias a la aplicación de los algoritmos EDA, se ha desarrollado un nuevo algoritmo de clasificación supervisada denominado Interval Estimation naïve-Bayes y se han mejorado varios de los algoritmos de clasificación propuestos en la literatura. Los resultados experimentales obtenidos han sido muy satisfactorios, ya que demuestran la superioridad de nuestra idea. Además, con el objetivo de mejorar su rendimiento, se ha desarrollado una versión paralela de nuestro algoritmo, el Parallel Interval Estimation naïve-Bayes. Las pruebas experimentales han superado nuestras expectativas iniciales, ya que no sólo se ha logrado un speedup superlineal, si no que se han obtenido mejores resultados que en la versión secuencial. En el campo de la biología computacional la predicción de la estructura secundaria de las proteínas es de vital importancia, ya que proporciona un punto de partida para la predicción de su estructura tridimensional, lo cual ayuda a la determinación de sus funciones. Dentro de este campo, se ha estudiado la aplicación de los métodos de clasificación supervisada en dos niveles diferentes. Por un lado, se ha desarrollado un nuevo método basado en redes Bayesianas, para la predicción de la estructura secundaria de las proteínas. Aunque en primera instancia los resultados obtenidos no han sido brillantes, en esta tesis se sugieren refinamientos de la idea original que, confiamos, los mejorarán. Por otra parte, se ha creado un multiclasificador con los métodos de predicción existentes, basado en el paradigma stacked generalization. Los resultados obtenidos por este multiclasificador han sido altamente satisfactorios, ya que se han mejorado los resultados de los métodos individuales. Como resultado de las propuestas realizadas han surgido multitud de futuras líneas de investigación, que se recogen a lo largo de esta tesis