Tiivistelmä. Työssä on kyse funktion estimoinnista otoksesta vaste- ja selittäjämuuttujien yhteisjakaumasta, ja tämän estimaatin iteratiivisesta parantamisesta uusia termejä lisäämällä. Mahdollisten funktioiden joukossa rajoitutaan päätöspuihin, eli luokittelu- ja regressiopuihin (CART). Estimaatin iteratiivisella parantamisella tarkoitetaan sitä, että malliin lisätään joka askeleella sellainen termi, joka minimoi valitun tappiofunktion arvon päivitetyllä mallilla.
Päätöspuumallit jakavat selittäjämuuttujien avaruuden joukkoon suorakaiteita, ja sovittavat vakion jokaiseen näistä. Selittäjämuuttujien avaruutta jaettaessa jakomuuttuja ja -piste pyritään valitsemaan aina niin, että ne minimoivat valitun tappiofunktion. Liian suuri puu johtaa ylisovittumiseen, joten yleensä puuta sen kasvattamisen jälkeen karsitaan kompleksisuushinnan perusteella optimaalisen koon löytämiseksi.
Vahvistaminen on menetelmä, joka kehitettiin alun perin luokittelua varten, mutta se on joissain tapaukissa hyödyllinen myös regressiomalleja rakennettaessa. Sen perusajatus oli yhdistää heikkoja luokittelijoita vahvan luokittelijoiden ”komitean” luomiseksi. Se voidaan yleisemmin ajatella tapana sovittaa additiivinen kehitelmä joukkoon yksinkertaisia kantafunktioita. Tämä additiivinen malli sovitetaan minimoimalla valittua tappiofunktiota keskiarvoistettuna havaintoaineiston yli. Tällaisen ongelman ratkaisu yleisessä tapauksessa voi olla hyvin vaikeaa ja laskennallisesti raskasta. Sitä voidaan kuitenkin aproksimoida lisäämällä kehitelmään vaiheittain uusia kantafunktioita säätämättä malliin jo lisättyjen funktioiden parametreja ja kertoimia. Tätä kutsutaan eteenpäin vaiheittaiseksi additiiviseksi mallinnukseksi. Tappiofunktion valinta vaikuttaa mallin robustisuuteen, eli kykyyn antaa mielekkäitä ja hyödyllisiä tuloksia havaintoaineistossa mahdollisesti esiintyvistä virheistä tai puuttuvista havainnoista huolimatta.
Gradienttivahvistamisessa ajatellaan eteenpäin vaiheittaisen additiivisen mallintamisen minimointiongelma numeerisena optimointitehtävänä, missä ”parametreja” ovat funktion arvot kussakin havaintoaineiston pisteessä. Ongelma ratkaistaan jyrkimmän laskun menetelmällä funktioavaruudessa sillä rajoituksella, että jyrkimmän laskun ”suunta” kuuluu valittuun parametriseen funktioperheeseen, joka tässä tilanteessa on päätöspuiden perhe. Gradienttivahvistamisessa ylisovittumista voidaan ehkäistä paitsi etsimällä optimaalinen vahvistusiteraatioiden lukumäärä tarkkailemalla ennustusriskiä vahvistusiteraatioiden lukumäärän funktiona validointiotoksella, myös kutistamisella, eli skaalaamalla kutakin malliin lisättävää puuta nollan ja ykkösen väliin sijoittuvalla kertoimella. Empiirisesti on havaittu, että pienemmät kutistuskertoimen arvot, jotka puolestaan vaativat enemmän vahvistusiteraatioita, johtavat pienempään virheeseen testiaineistolla.
Vahvistetun päätöspuumallin tulosten tulkitsemisessa voidaan tarkastella selittäjämuuttujien suhteellista merkitsevyyttä ja osittaisriippuvuuskuvioita. Selittäjämuuttujan suhteellinen neliöllinen merkitsevyys on se kokonaisvähennys neliöllisessä virheessä, joka aiheutui kaikista niistä kerroista, kun ko. selittäjä valittiin jakomuuttujaksi yhdessä päätöspuussa, keskiarvoistettuna kaikkien mallin puiden yli. Osittaisriippuvuuskuvioiden tarkoitus on havainnollistaa valitun selittäjien joukon vaikutusta estimoituun funktioon sen jälkeen, kun kaikkien muiden selittäjien keskimääräiset vaikutukset on otettu huomioon.
Työssä esitellään lopuksi simuloituun tietoliikennedataan sovitettu gradienttivahvistettu regressiopuumalli. Se pyrkii estimoimaan kompleksisen signaalin liukulukuesityksen ja kiinteän luvun esityksen välistä etäisyyttä neljän selittäjämuuttujan funktiona, neljässä eri kanavassa
