Causal discovery with general non-linear relationships using non-linear ICA

We consider the problem of inferring causal relationships between two or more passively observed variables. While the problem of such causal discovery has been extensively studied, especially in the bivariate setting, the majority of current methods assume a linear causal relationship, and the few methods which consider non-linear relations usually make the assumption of additive noise. Here, we propose a framework through which we can perform causal discovery in the presence of general non-linear relationships. The proposed method is based on recent progress in non-linear independent component analysis (ICA) and exploits the non-stationarity of observations in order to recover the underlying sources. We show rigorously that in the case of bivariate causal discovery, such non-linear ICA can be used to infer causal direction via a series of independence tests. We further propose an alternative measure for inferring causal direction based on asymptotic approximations to the likelihood ratio, as well as an extension to multivariate causal discovery. We demonstrate the capabilities of the proposed method via a series of simulation studies and conclude with an application to neuroimaging data

Lohikalojen virikekasvatus tuottaa luonnossa menestyviä istukkaita

201

Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks

In this paper we propose and investigate a novel nonlinear unit, called $L_p$ unit, for deep neural networks. The proposed $L_p$ unit receives signals from several projections of a subset of units in the layer below and computes a normalized $L_p$ norm. We notice two interesting interpretations of the $L_p$ unit. First, the proposed unit can be understood as a generalization of a number of conventional pooling operators such as average, root-mean-square and max pooling widely used in, for instance, convolutional neural networks (CNN), HMAX models and neocognitrons. Furthermore, the $L_p$ unit is, to a certain degree, similar to the recently proposed maxout unit (Goodfellow et al., 2013) which achieved the state-of-the-art object recognition results on a number of benchmark datasets. Secondly, we provide a geometrical interpretation of the activation function based on which we argue that the $L_p$ unit is more efficient at representing complex, nonlinear separating boundaries. Each $L_p$ unit defines a superelliptic boundary, with its exact shape defined by the order $p$. We claim that this makes it possible to model arbitrarily shaped, curved boundaries more efficiently by combining a few $L_p$ units of different orders. This insight justifies the need for learning different orders for each unit in the model. We empirically evaluate the proposed $L_p$ units on a number of datasets and show that multilayer perceptrons (MLP) consisting of the $L_p$ units achieve the state-of-the-art results on a number of benchmark datasets. Furthermore, we evaluate the proposed $L_p$ unit on the recently proposed deep recurrent neural networks (RNN).Comment: ECML/PKDD 201

Fourier PCA and Robust Tensor Decomposition

Fourier PCA is Principal Component Analysis of a matrix obtained from higher order derivatives of the logarithm of the Fourier transform of a distribution.We make this method algorithmic by developing a tensor decomposition method for a pair of tensors sharing the same vectors in rank-$1$ decompositions. Our main application is the first provably polynomial-time algorithm for underdetermined ICA, i.e., learning an $n \times m$ matrix $A$ from observations $y=Ax$ where $x$ is drawn from an unknown product distribution with arbitrary non-Gaussian components. The number of component distributions $m$ can be arbitrarily higher than the dimension $n$ and the columns of $A$ only need to satisfy a natural and efficiently verifiable nondegeneracy condition. As a second application, we give an alternative algorithm for learning mixtures of spherical Gaussians with linearly independent means. These results also hold in the presence of Gaussian noise.Comment: Extensively revised; details added; minor errors corrected; exposition improve

Ліберали України та вибори до і думи

Cytokine concentrations in biological fluids are widely used markers for activation of immunological processes. Confirming the reproducibility of measurements is important, especially in longitudinal or multicenter studies where time between analyses or different analyzing laboratories increases the intra-assay variability. In this study, the reproducibility of the cytokine analysis conducted with different assay platforms was studied by comparing the results of two cytokines [interleukin (IL)-6 in serum and nasal lavage fluid (NAL) and IL-8 in NAL] analyzed with Meso Scale Discovery (MSD) ultra-sensitive single and multiplex assay kits (n = 76). In addition, the difference in cytokine levels between two biological sample matrices was studied by comparing the results of altogether 9 cytokines [IL-6, IL-2, IL-8, IL12p70, IL-1β, granulocyte–macrophage colony-stimulating factor (GM-CSF), interferon (IFN)γ, IL-10 and tumor necrosis factor (TNF)α] measured from serum and NAL of the same study subjects (n = 460). The results show that the cytokine concentrations analyzed with single and multiplex assays are concordant but not equal. Comparison of the different matrices revealed that cytokine concentrations in serum do not correspond with concentrations detected in nasal lavage fluid. It can be concluded that comparability of the results from single and multiplex analysis of cytokines is high, but the concentrations should not be compared directly with each other. The differences between concentrations analyzed from serum and nasal lavage fluid indicate that the levels are specific for each matrix and represent distinct immunological conditions. (aut.ref.

Kerrostalo Oulun Höyhtyään

Tiivistelmä. Kandidaatintyössä suunnittelin tiilirakenteisen asuinkerrostalon Höyhtyän kaupunginosaan Oulussa. Työ on osa arkkitehtuurin koulutusohjelman kolmannen vuoden yhdyskuntasuunnittelusta, asuntosuunnittelusta ja rakennusopista koostuvaa yhteisprojektia. Kandidaatin työni painottuu yhteisprojektin rakennusopin osioon. Asemakaavasuunnittelun kurssilla suunnittelu alueena oli Allinpuiston ja Karjasillan koulun lähialueet Höyhtyän kaupunginosassa. Alueella jo olevat asuinrakennukset muodostuvat noppataloista. Säilytettävän kohteena alueella oli Karjasillan koulu. Laatimani aluesuunnitelma muodostuu suurkortteleista, joissa yhdistyy useita rakennustyyppejä. Suurkortteleita halkoo kevyen liikenteen reitistö. Reitistölle muodostuu näkymiä, jotka hyödyntävät alueella jo ennestään olevia maamerkkejä. Asuntosuunnittelukurssille jatkokehitettäväksi valitsin tornitalon keskeiseltä paikalta läheltä Karjasillan koulua. Asuntosuunnittelukurssilla lähdin tutkimaan huoneistojen tilajärjestelyä, joka muodostui keskeistilasta ja sitä ympäröivistä huoneista. Järjestelyn tavoitteena oli luoda usean ilmansuunnan näkymät ulos ja muodostaa pieniä sopukoita, jotka liittyvät keskeistilaan. Asuntosuunnittelukurssin loppuvaiheessa rakennus oli vielä kaksitoista kerroksinen, betonirakenteiden ja huoneistojen pinta-alan olin täpärästi saanut mahtumaan tehtävänannon mukaisiin. Nämä asiat kuitenkin muuttuivat, kun jatkoin rakennusopin vaiheeseen, jossa rakennetyypit tarkentuivat, ja laadittiin 1:50 työpiirustukset. Rakennuksen lopullisesta rungosta tuli pääosin tiilinen, joka myös pudotti rakennuskorkeuden seitsemään kerrokseen. Tiilirunkoinen ulkoseinä kaventuu ylemmissä kerroksissa. Kantava runko muodostuu 1.–3. kerroksessa 1½ kivisestä tiilirungosta, 4. ja 5. kerroksessa 1 kivisestä tiilirungosta, ja 6. ja 7. kerroksessa poroton-harkoista. Paksut tiilirungot pakottivat miettimään huonejärjestä ja mitoitusta vielä uudelleen, jotka molemmat hyötyvät tästä uudelleen miettimisestä. Lopulliseen ratkaisuun päätyi kolme huoneistoa, joista yksi mitoitettu liikuntaesteiselle henkilölle, yhden rapun ympärille. Pihan toiminnot järjestelin kulkureittien, suojaisuuden ja suotuisten ilmansuuntien perusteella. Rakennuksen julkisivut ovat tiiliverhoillut vaaleilla ja tummilla tiileillä. Parvekkeiden kannatus tapahtuu betonielementeillä, joiden pinta on rapattu. Osassa detaljeista julkisivuna käytetään rapattua kuitusementtilevyä. Pellitykset ja pinnakaiteet ovat polttomaalattu mustaksi tai valkoisiksi ja ikkunoiden karmit anodisoitua alumiinia. Jokaiseen asuntoon liittyy yksi lasitettu parveke. Rakennuksen pohjakerrokseen sijoittuvat varastot, talotekniikka, vaatehuolto ja kerhotila, ja ylempiin kerroksiin huoneistoja. Huoneistojen asuntotyypeiksi päätyivät 5H + K + SA, 4H + K + SA ja 2H + K + SA. Iteroidessani keskeistilajärjestelyä pienemmiksi huoneistoksi, huomasin ettei se enää toimi 3H + K + SA huoneistossa, joten pienimmästä huoneistosta tuli perinteisempi, kuin kahdesta muusta. Huoneistoja suunnitellessani pyrin saamaan asunnon aukeamaan mahdollisimman moneen ilmansuuntaan, osana keskeistilan-järjestelyä. Samalla pyrin häivyttämään sisä- ja ulkotilojen välistä eroa. Sisäänvedetyt parvekkeet rajaavat näkymiä ulos. Ja suuret lasiliukuovet tekevät visuaalisesti parvekkeesta osan sisätilaa. LVI:n kulkureitit suunnittelin niin, että ne kiertävät olohuoneen, jolloin sen kohdalle saatiin korkeampi huonekorkeus. Rakennusopin kurssin viimeisessä rakennusosavaiheessa pyrin tutustumaan tiili-arkkitehtuurin detaljointiin, suunnittelemalla tarpeettoman monimutkasia detaljeja. Kandidaatintyöhön olen valinnut esitettäväksi parvekkeen, ikkunan ja räystään osalta rakennusosapiirustukset, joissa esitetään kattavasti suuremman mittakaavan pohjakuvia, julkisivu projektioita ja seinäleikkauksia. Seinäliitosten rakenteelliset yksityiskohdat pyrin tekemään yksinkertaisesti ja kestävästi, kun taas kaiteissa ja koristeaiheissa pyrin tutkimaan erilaisia ripustus- ja kiinnitystapoja. Ikkunan rakennusosapiirroksissa esitetään makuuhuoneen ranskalainen parveke, johon liittyy julkisivusta ulostyöntyvä koristeaihe ja pinnakaide. Koristeaiheiden kannatukseen päädyin käyttämään Schöck Isokorb -palkkeja. Kannatustapa ilmenee implisiittisesti julkisivusta, jossa koristeaiheen alareunasta ilmenee kannatinpalkkien sijainnit. Helpommat ripustukset toteutin L-teräksillä. Ranskalaisen parvekkeen pinnakaide estää putoamisen, kun taas koristeaiheeseen liitetty tiilinen kaiteenosa peittää näkyvyyttä. Parvekkeen yksityiskohdissa tärkeä tavoite oli saada alakaton ja lattian pinta samaan tasoon sisätilojen kanssa. Parvekkeen vedenpoistolle tila löytyy parveketta kannattelevan betonielementin sisältä. Parvekekaiteeseen halusin liittää alustan parvekekasveille, jotka olisivat parvekelasien ulkopuolella. Kaiteen tiilinen julkisivu tukeutuu teräsrankaan, johon kiinnittyy myös pinnakaiteinen osa, johon myös alusta kiinnittyy. Teräksen läpiviennit tehdään tiilen muurauksen läpi. Alusta sijaitsee 800 mm korkeudella parvekkeen lattiapinnasta, kaiteen kokonais korkeuden ollessa 1100 mm. Kokonaisuudessaan yhteisprojektissa keskityin yhdistelemään erilaisia ajatuksia oman mieleni mukaan. Tällä tavoin pystyin harjoittelemaan asioita, jotka eivät muuten olisivat tulleet vastaan