Using New Models to Analyze Complex Regularities of the World

This commentary to the recent article by Musso et al. (2013) discusses issues related to model fitting, comparison of classification accuracy of generative and discriminative models, and two (or more) cultures of data modeling. We start by questioning the extremely high classification accuracy with an empirical data from a complex domain. There is a risk that we model perfect nonsense perfectly. Our second concern is related to the relevance of comparing multilayer perceptron neural networks and linear discriminant analysis classification accuracy indices. We find this problematic, as it is like comparing apples and oranges. It would have been easier to interpret the model and the variable (group) importance’s if the authors would have compared MLP to some discriminative classifier, such as group lasso logistic regression. Finally, we conclude our commentary with a discussion about the predictive properties of the adopted data modeling approach. 

The Most Probable Bayesian Network and Beyond

This doctoral dissertation introduces an algorithm for constructing the most probable Bayesian network from data for small domains. The algorithm is used to show that a popular goodness criterion for the Bayesian networks has a severe sensitivity problem. The dissertation then proposes an information theoretic criterion that avoids the problem.Bayesverkko on havainnollinen verkkokaavio, jossa verkon solmut kuvaavat ongelmakentän asioita ja solmujen väliset kaaret kuvaavat asioiden välisiä tilastollisia yhteyksiä. Bayesverkkojen havainnollisuuden vuoksi niiden automaattinen tuottaminen pelkän kerätyn tietoaineiston pohjalta on mielenkiintoinen tehtävä. Vaan millainen bayesverkko on hyvä kuvaus ongelmakentästä, ja mitä hyvyydellä tarkasti ottaen tarkoitetaan. Yleisimmin käytetty hyvyyden mitta on verkon bayesilainen todennäköisyys; mitä suuremmalta verkon todennäköisyys näyttää kerätyn aineiston perusteella, sitä parempi verkko on. Bayesilaisen todennäköisyyden laskeminen kerätyn aineiston avulla vaatii kuitenkin, että meillä on alustava ajatus eri verkkojen todennäköisyyksistä ja verkossa olevien yhteyksien vahvuuksista jo ennen aineiston käyttämistä todennäköisyyksien laskemiseen. Verkkojen automaattisessa oppimisessa nämä ennakkokäsitykset pyritään usein pitämään mahdollisimman lievinä, jotta itse aineisto saisi vaikuttaa mahdollisimman paljon parhaan verkon valintaan eikä mitään verkkoa suosittaisi etukäteen. Puolueeton asenne yhteyksien vahvuuteen on kuitenkin vaikea käsitteellinen ongelma, ja asian formalisoiminen eksaktisti voidaan tehdä monella eri tavalla. Tässä väitöskirjassa esitetään menetelmä todennäköisimmän verkon löytämiseksi. Menetelmän avulla on voitu osoittaa, että mitättömän pienet erot yhteyksien luonnetta koskevissa ennakkokäsityksissä aiheuttavat muutoksia todennäköisimmän verkon rakenteeseen. Asian korjaamiseksi työssä ehdotetaan uutta tapaa mitata verkkojen hyvyyttä. Uusi tapa perustuu informaatioteoriaan, eikä se vaadi aineistoa edeltävien ennakkokäsitysten määrittelyä

Learning Locally Minimax Optimal Bayesian Networks

We consider the problem of learning Bayesian network models in a non-informative setting, where the only available information is a set of observational data, and no background knowledge is available. The problem can be divided into two different subtasks: learning the structure of the network (a set of independence relations), and learning the parameters of the model (that fix the probability distribution from the set of all distributions consistent with the chosen structure). There are not many theoretical frameworks that consistently handle both these problems together, the Bayesian framework being an exception. In this paper we propose an alternative, information-theoretic framework which sidesteps some of the technical problems facing the Bayesian approach. The framework is based on the minimax-optimal Normalized Maximum Likelihood (NML) distribution, which is motivated by the Minimum Description Length (MDL) principle. The resulting model selection criterion is consistent, and it provides a way to construct highly predictive Bayesian network models. Our empirical tests show that the proposed method compares favorably with alternative approaches in both model selection and prediction tasks.