Finding Exogenous Variables in Data with Many More Variables than Observations

Many statistical methods have been proposed to estimate causal models in classical situations with fewer variables than observations (p<n, p: the number of variables and n: the number of observations). However, modern datasets including gene expression data need high-dimensional causal modeling in challenging situations with orders of magnitude more variables than observations (p>>n). In this paper, we propose a method to find exogenous variables in a linear non-Gaussian causal model, which requires much smaller sample sizes than conventional methods and works even when p>>n. The key idea is to identify which variables are exogenous based on non-Gaussianity instead of estimating the entire structure of the model. Exogenous variables work as triggers that activate a causal chain in the model, and their identification leads to more efficient experimental designs and better understanding of the causal mechanism. We present experiments with artificial data and real-world gene expression data to evaluate the method.Comment: A revised version of this was published in Proc. ICANN201

Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks

In this paper we propose and investigate a novel nonlinear unit, called $L_p$ unit, for deep neural networks. The proposed $L_p$ unit receives signals from several projections of a subset of units in the layer below and computes a normalized $L_p$ norm. We notice two interesting interpretations of the $L_p$ unit. First, the proposed unit can be understood as a generalization of a number of conventional pooling operators such as average, root-mean-square and max pooling widely used in, for instance, convolutional neural networks (CNN), HMAX models and neocognitrons. Furthermore, the $L_p$ unit is, to a certain degree, similar to the recently proposed maxout unit (Goodfellow et al., 2013) which achieved the state-of-the-art object recognition results on a number of benchmark datasets. Secondly, we provide a geometrical interpretation of the activation function based on which we argue that the $L_p$ unit is more efficient at representing complex, nonlinear separating boundaries. Each $L_p$ unit defines a superelliptic boundary, with its exact shape defined by the order $p$. We claim that this makes it possible to model arbitrarily shaped, curved boundaries more efficiently by combining a few $L_p$ units of different orders. This insight justifies the need for learning different orders for each unit in the model. We empirically evaluate the proposed $L_p$ units on a number of datasets and show that multilayer perceptrons (MLP) consisting of the $L_p$ units achieve the state-of-the-art results on a number of benchmark datasets. Furthermore, we evaluate the proposed $L_p$ unit on the recently proposed deep recurrent neural networks (RNN).Comment: ECML/PKDD 201

Translations in the exponential Orlicz space with Gaussian weight

We study the continuity of space translations on non-parametric exponential families based on the exponential Orlicz space with Gaussian reference density.Comment: Submitted to GSI 2017, Pari

New insights into foreground analysis of the WMAP five-year data using FASTICA

In this paper, we present a foreground analysis of the WMAP 5-year data using the FASTICA algorithm, improving on the treatment of the WMAP 3-year data in Bottino et al 2008. We revisit the nature of the free-free spectrum with the emphasis on attempting to confirm or otherwise the spectral feature claimed in Dobbler et al 2008b and explained in terms of spinning dust emission in the warm ionised medium. With the application of different Galactic cuts, the index is always flatter than the canonical value of 2.14 except for the Kp0 mask which is steeper. Irrespective of this, we can not confirm the presence of any feature in the free-free spectrum. We experiment with a more extensive approach to the cleaning of the data, introduced in connection with the iterative application of FASTICA. We confirm the presence of a residual foreground whose spatial distribution is concentrated along the Galactic plane, with pronounced emission near the Galactic center. This is consistent with the WMAP haze detected in Finkbeiner 2004. Finally, we attempted to perform the same analysis on full-sky maps. The code returns good results even for those regions where the cross-talk among the components is high. However, slightly better results in terms of the possibility of reconstructing a full-sky CMB map, are achieved with a simultaneous analysis of both the five WMAP maps and foreground templates. Nonetheless, some residuals are still present and detected in terms of an excess in the CMB power spectrum, on small angular scales. Therefore, a minimal mask for the brightest regions of the plane is necessary, and has been defined.Comment: Accepted for publication in MNRAS, 25 pages, 17 figures, 4 tables. Version with full resolution figures available at: http://www.mpa-garching.mpg.de/~bottino/downloads/bottino_etal.pd

Fourier PCA and Robust Tensor Decomposition

Fourier PCA is Principal Component Analysis of a matrix obtained from higher order derivatives of the logarithm of the Fourier transform of a distribution.We make this method algorithmic by developing a tensor decomposition method for a pair of tensors sharing the same vectors in rank-$1$ decompositions. Our main application is the first provably polynomial-time algorithm for underdetermined ICA, i.e., learning an $n \times m$ matrix $A$ from observations $y=Ax$ where $x$ is drawn from an unknown product distribution with arbitrary non-Gaussian components. The number of component distributions $m$ can be arbitrarily higher than the dimension $n$ and the columns of $A$ only need to satisfy a natural and efficiently verifiable nondegeneracy condition. As a second application, we give an alternative algorithm for learning mixtures of spherical Gaussians with linearly independent means. These results also hold in the presence of Gaussian noise.Comment: Extensively revised; details added; minor errors corrected; exposition improve

Luottamus:pohja yhteisopettajuudelle

Tiivistelmä. Perusopetuksen opetussuunnitelma määrittelee reunaehdot, joiden mukaan opettajan tulee järjestää opetuksensa. Vuonna 2014 laaditussa Perusopetuksen opetussuunnitelman perusteissa sanotaan, että sivistykseen kuuluu yhtenä osana yhteistyö. Opetus tulee nähdä kokonaisuutena, joka rakentaa tarvittavaa yleissivistystä luoden samalla pohjaa elinikäiselle oppimiselle. Opetussuunnitelman perusteissa määriteltyjen tavoitteiden toteuttaminen edellyttää suunnitelmallista yhteistyötä, ja tavoitteiden toteutumisen arviointia. (Perusopetuksen opetussuunnitelman perusteet, 2014.) Tässä kandidaatintutkielmassa keskityn tutkimaan opettajien toteuttamaa yhteistyön muotoa, yhteisopettajuutta. Työ on kirjallisuuskatsaus, jossa tuon esiin ajankohtaista tietoa yhteisopettajuudesta, sen eduista sekä yhteisopettajuudessa esiintyvästä luottamuksesta. Aloitan esittelemällä opettajan työhön liittyviä ajankohtaisia asioita yhteistyön näkökulmasta, ja samalla tarkastelen yhteistyön etuja. Tämän jälkeen tarkastelen, millaisia valmiuksia nykyajan opettajalta edellytetään, ja miten ne kytkeytyvät yhteistyöhön. Yhteisopettajuuden esittelen opettajien yhteistyömuotona. Tuon ilmi erilaisia tapoja toimia yhteisopettajuudessa. Tästä pääsen yhteisopettajuuteen vaikuttaviin tekijöihin: koulukulttuurin ja opettajakulttuurin tarkasteluun, ja luottamukseen. Luottamus liittyy kiinteästi yhteisopettajuuteen. Käsitteen määritelmässä tuon esiin, millaisia piirteitä luottamukseen liittyy. Lopuksi keskityn tarkastelemaan, millainen prosessi luottamuksen rakentaminen on, ja miten vuorovaikutus liittyy luottamukseen. Yhteisopettajuus ilmeni tutkimuksessani monielementtiseksi käsitteeksi. Sen toteuttamiseen vaikuttavat käsitys opettajuudesta ja koulukulttuuri, jotka taas saavat vaikutteita ympäröivästä maailmasta. Luottamus saa yhteistyön toimimaan dynaamisesti, eli myös yhteisopettajuudessa on kiinnitettävä huomiota luottamuksen luomiseen ja ylläpitoon. Yhdeksi tärkeäksi tekijäksi yhteisopettajuuden kannalta nousi opettajankoulutus. Opettajankoulutuksella voidaan vaikuttaa siihen, millaisia valmiuksia tulevaisuuden opettajat saavat ja miten he toteuttavat opettajan työtään

Etäopetuksen tukipilarit:sosiaalisen tuen lähteet ja ilmentyminen etäopetuksessa opettajien näkökulmasta

Tiivistelmä. Sosiaalinen tuki on ihmisten välistä vuorovaikutusta, joka pitää sisällään kokemuksen välittämisestä ja huolenpidosta. Termiä käytetään, kun viitataan sellaisiin mekanismeihin, joiden avulla ihmissuhteet oletettavasti suojelevat ihmisiä esimerkiksi epävarmoissa ja stressaavissa tilanteissa. Sosiaalinen tuki on myös yksi keskeinen työhyvinvoinnin edistäjä, ja keino selviytyä työhön liittyvistä haasteista ja kuormittavuudesta. Tässä pro gradu -tutkielmassa tarkastellaan opettajien saamaa sosiaalista tukea COVID19 pandemiasta johtuvan etäopetuksen aikana. Tutkielman tavoitteena on selvittää, keneltä opettajat saivat tai toivoivat saavansa sosiaalista tukea kevään 2020 etäopetusjakson aikana. Lisäksi tavoitteena on tutkia, millaista eri lähteiden antama sosiaalinen tuki oli. Tässä hyödynnetään teoreettisessa viitekehyksessä rakennettua sosiaalisen tuen luokittelua emotionaaliseen, aineelliseen, arvostavaan ja tiedolliseen tukeen. Teoreettisessa viitekehyksessä käsitellään lisäksi tutkimuksen laajempaa kontekstia eli opettajuutta muutoksen keskellä. Samalla perehdytään moninaisiin teknologisen kehityksen luomiin oppimisympäristöihin ja opetuksenjärjestämistapoihin. Tutkimusaineisto koostuu perusasteen ja lukion opettajien puolistrukturoiduista teemahaastatteluista. Tutkimusjoukkoon kuuluu yhteensä yhdeksän luokan- ja aineenopettajaa (N=9), joista yksi haastateltava työskenteli ulkomailla. Tutkimus on toteutettu laadullisen tutkimuksen menetelmiä hyödyntäen. Tutkimusaineistojen analysointi on noudattanut teoriaohjaavaa sisällönanalyysiä ja analyysissä on hyödynnetty NVivo-ohjelmaa. Tutkimustulokset osoittavat, että opettajat saivat kevään 2020 etäopetuksen aikana sosiaalista tukea monista eri lähteistä. Suurimman tuen lähteen muodosti työyhteisö. Työyhteisön sisältä opettajat toivoivat lisää emotionaalista ja arvostavaa tukea erityisesti rehtoreilta. Lisäksi opettajat kaipasivat ylemmältä taholta opetuksen järjestäjältä tiedollista ja aineellista tukea. Sosiaalisen tuen muodoista suurimmaksi nousi tiedollinen tuki. Vähiten opettajat kokivat saaneensa arvostavaa tukea. Tutkimuksen johtopäätöksenä on, että avoin ja yhteistyöhön tähtäävä työyhteisö tukee opettajia etäopetuksen aikana. Lisäksi etäopetus sujuu paremmin silloin kun kunnat ja koulut ovat panostaneet tulevaisuusorientoituneesti henkilöstön tietotekniseen osaamiseen ja tietotekniseen välineistöön. Lisäresursseja kaivataan etenkin koulujen digitukiverkoston kehittämiseen sekä ajantasaisiin ohjelmistoihin ja laitteisiin. Opettajien työhyvinvointiin myös etäopetuksessa tulee kiinnittää suurta huomiota. Jos opettajat eivät jaksa työssään, heijastuu tämä väistämättä myös oppilaiden hyvinvointiin. Sosiaalinen tuki on yksi keino lisätä opettajien hyvinvointia

Pienen julkisen rakennuksen korjaussuunnittelu:Kirkkotorin koulutuskeskus — Oulu

Tiivistelmä. Työssä laadin Kirkkotorin koulutuskeskuksena toimivalle rakennushistoriallisesti merkittävälle rakennukselle korjaussuunnitelman. Työ muodostuu ryhmä‐ sekä yksilötyöosuuksista. Ryhmätyöosuus sisälsi analyysivaiheen, jonka tarkoituksena oli perehtyä rakennuksen historiaan ja nykytilaan. Rakennus mitattiin paikan päällä ja mittausten perusteella laadittiin ajantasapiirustukset, joista jalostuivat lopulta kirjallisten analyysien avulla kohteen säilyneisyyskartat. Säilyneisyyskartat osoittavat rakennuksen koko elinkaarena tehdyt merkittävimmät rakenteelliset muutokset ja korjaukset. Ryhmätyöosuuteen kuului myös rakennuksen ominaispiirteiden arvottaminen historiallisten, kulttuurihistoriallisten, arkkitehtonisten ja kaupunkikuvallisten arvojen mukaan. Kohderakennus on 1800-luvun alkupuolella rakennettu alun perin Oulun Pateniemeen silloisen laivavarvin työntekijöiden asunnoksi. Ulkoasultaan se on ollut tuolloin varsin vaatimaton vuoraamattomine hirsikehineen ja pärekattoineen ennen sen sijoittamista nykyiselle paikalleen Oulun keskustaan Pokkisen kaupunginosaan. Oulun kaupunki osti rakennuksen huutokaupassa Oulun suurpalossa palaneen raatihuoneen tilalle vuonna 1865. Siirto keskeiselle paikalle Oulun monumentaalikeskustaan muokkasi vaatimattomaan rakennukseen vuonna 1875 näyttävämmän ja ympäristöönsä sopivamman empirefasadin, joka on säilynyt sellaisenaan ilman suurempia muutoksia tähän päivään. Yksilötyö aloitettiin tutustumalla paikan henkeen genius loci-tehtävän avulla. Yksilötyössä suunnitelman lähtökohtana oli suojeleva ja palauttava ote rakennusta kohtaan. Tavoitteenani oli palauttaa rakennus uuteen loistoonsa yhtenä kaupungin merkittävistä vierailukohteista muuntamalla sen käyttötarkoituksen ja muokkaamalla julkisivuja näyttävämmiksi. Rakennuksen sijainnin aivan Oulun tuomiokirkon tuntumassa hyödynsin muuntamalla arkisen koulutuskeskuksen juhlavaksi ravintolaksi sekä juhlapaikaksi, jonka tiloista lisäksi löytyvät avarretut galleriatilat sekä erikseen vuokrattava konferenssihuone. Keskeisesti sijoitetut ja entisestään laajennetut keittiötilat palvelevat tarvittaessa rakennuksen kaikkia tiloja. Julkisivut maalattiin osittain raikkaammilla sävyillä sekä varjoinen sisäpiha sai suunnitelmassa aiempaa viihtyisämmän, vehreämmän ja edustavamman ulkomuodon. Rakennuksen käyttäjäkunnan laajentaminen oli yksi keskeisistä tavoitteista, joten uusi suunnitelma avaa rakennuksen ovet kaikille ja palvelee sen ympärivuorokautista käyttöä. Rakennus henkii tunnelmallisesti aikansa historiaa niin ulkoa kuin sisältä ja tarjoaa kokonaisvaltaisen kokemuksen vierailijoilleen

Least Dependent Component Analysis Based on Mutual Information

We propose to use precise estimators of mutual information (MI) to find least dependent components in a linearly mixed signal. On the one hand this seems to lead to better blind source separation than with any other presently available algorithm. On the other hand it has the advantage, compared to other implementations of `independent' component analysis (ICA) some of which are based on crude approximations for MI, that the numerical values of the MI can be used for: (i) estimating residual dependencies between the output components; (ii) estimating the reliability of the output, by comparing the pairwise MIs with those of re-mixed components; (iii) clustering the output according to the residual interdependencies. For the MI estimator we use a recently proposed k-nearest neighbor based algorithm. For time sequences we combine this with delay embedding, in order to take into account non-trivial time correlations. After several tests with artificial data, we apply the resulting MILCA (Mutual Information based Least dependent Component Analysis) algorithm to a real-world dataset, the ECG of a pregnant woman. The software implementation of the MILCA algorithm is freely available at http://www.fz-juelich.de/nic/cs/softwareComment: 18 pages, 20 figures, Phys. Rev. E (in press