Speeding Up MCMC by Delayed Acceptance and Data Subsampling

The complexity of the Metropolis-Hastings (MH) algorithm arises from the requirement of a likelihood evaluation for the full data set in each iteration. Payne and Mallick (2015) propose to speed up the algorithm by a delayed acceptance approach where the acceptance decision proceeds in two stages. In the first stage, an estimate of the likelihood based on a random subsample determines if it is likely that the draw will be accepted and, if so, the second stage uses the full data likelihood to decide upon final acceptance. Evaluating the full data likelihood is thus avoided for draws that are unlikely to be accepted. We propose a more precise likelihood estimator which incorporates auxiliary information about the full data likelihood while only operating on a sparse set of the data. We prove that the resulting delayed acceptance MH is more efficient compared to that of Payne and Mallick (2015). The caveat of this approach is that the full data set needs to be evaluated in the second stage. We therefore propose to substitute this evaluation by an estimate and construct a state-dependent approximation thereof to use in the first stage. This results in an algorithm that (i) can use a smaller subsample m by leveraging on recent advances in Pseudo-Marginal MH (PMMH) and (ii) is provably within $O(m^{-2})$ of the true posterior.Comment: Accepted for publication in Journal of Computational and Graphical Statistic

Speeding Up MCMC by Efficient Data Subsampling

We propose Subsampling MCMC, a Markov Chain Monte Carlo (MCMC) framework where the likelihood function for $n$ observations is estimated from a random subset of $m$ observations. We introduce a highly efficient unbiased estimator of the log-likelihood based on control variates, such that the computing cost is much smaller than that of the full log-likelihood in standard MCMC. The likelihood estimate is bias-corrected and used in two dependent pseudo-marginal algorithms to sample from a perturbed posterior, for which we derive the asymptotic error with respect to $n$ and $m$, respectively. We propose a practical estimator of the error and show that the error is negligible even for a very small $m$ in our applications. We demonstrate that Subsampling MCMC is substantially more efficient than standard MCMC in terms of sampling efficiency for a given computational budget, and that it outperforms other subsampling methods for MCMC proposed in the literature.Comment: Main changes: The theory has been significantly revise

Subsampling MCMC - An introduction for the survey statistician

The rapid development of computing power and efficient Markov Chain Monte Carlo (MCMC) simulation algorithms have revolutionized Bayesian statistics, making it a highly practical inference method in applied work. However, MCMC algorithms tend to be computationally demanding, and are particularly slow for large datasets. Data subsampling has recently been suggested as a way to make MCMC methods scalable on massively large data, utilizing efficient sampling schemes and estimators from the survey sampling literature. These developments tend to be unknown by many survey statisticians who traditionally work with non-Bayesian methods, and rarely use MCMC. Our article explains the idea of data subsampling in MCMC by reviewing one strand of work, Subsampling MCMC, a so called pseudo-marginal MCMC approach to speeding up MCMC through data subsampling. The review is written for a survey statistician without previous knowledge of MCMC methods since our aim is to motivate survey sampling experts to contribute to the growing Subsampling MCMC literature.Comment: Accepted for publication in Sankhya A. Previous uploaded version contained a bug in generating the figures and reference

Svenskans inflytande på folkspraks böjning: substantiv och adjektiv.

Tämän tutkielman tavoitteena on esitellä miten keinokieli folksprakin eri varianttien substantiivi- ja adjektiivitaivutus toimii ja tutkia, jos ruotsin kieli on vaikuttanut folksprakin substantiivi- ja adjektiivitaivutukseen. Folksprak on niin kutsuttu alueellinen apukieli, jota kehitetään germaanisten kieltenpuhujien yhteiseksi kommunikaatiovälineeksi. Folksprakia kehitetään monen eri henkilöiden toimesta ja täten folksprakista on kehitetty monia eri vaihtoehtoisia variantteja. Tutkielman aineisto on koottu folksprak.org -sivustolta löytyvistä kielioppikuvauksista ja -ehdotuksista siinä määrin, kun niitä on saatavilla. Tutkimuksessa käytettävien varianttien kielioppikuvauksissa ja -ehdotuksissa folksprakin eri varianttien kehittäjät esittelevät oman näkemyksensä siitä, millainen folksprakin pitäisi olla. Tässä tutkimuksessa keskitytään kuvauksissa ja ehdotuksissa esiteltäviin substantiivi- ja adjektiivitaivutuksiin. Esittelen tutkielmassa jokaisen käytetyn variantin substantiivi- ja adjektiivitaivutuksen eri ominaisuudet, jonka jälkeen vertailen kyseisiä ominaisuuksia ruotsissa esiintyviin ominaisuuksiin. Adjektiivien taivutukseen liittyen vertailun kohteena on myös perifrastiset apusanat, joita käytetään joidenkin adjektiivien vertailumuotojen korvikkeena. Ominaisuuksissa keskeisimmät osat ovat taivutuspäätteiden kirjoitusasu ja käyttö, sekä ääntäminen siinä määrin, kun sitä pystyy aineiston perusteella vertailemaan. Vertailun tukena käytetään vertailutaulukoita, joissa ruotsin sekä folksprakin taivutusmuodot ovat vierekkäin. Tutkielmassa ilmenee, että ruotsin ja folksprakin yhteys substantiivien ja adjektiivien taivutuksessa on vähäinen. Samankaltaisuuksia ruotsin ja folksprakin varianttien välillä löytyy, mutta samankaltaisuudet ovat pääosin pieniä. Folksprakin samankaltaisuudet kohdistuvat myös pääosin ruotsin harvinaisempiin taivutusmuotoihin, jolloin on oletettavissa, etteivät samankaltaisuudet todennäköisesti johdu ruotsin vaikutuksesta folksprakiin. Poikkeuksena samankaltaisuuksiin on substantiivien genetiivimuodot, jotka ovat ruotsissa ja folksprakin varianteissa hyvin samankaltaisia ja ruotsin vaikutus folksprakiin on tässä suhteessa mahdollinen. Tutkielman laajuuden valossa ei voida kuitenkaan esittää varmoja johtopäätöksiä, sillä samankaltaisuuden ruotsin ja folksprakin välillä saattavat olla vain germaanisten kielten yhteisten ominaisuuksien ilmentymiä. Tämän takia jatkotutkimuksia, joissa tarkastellaan muiden germaanisten kielten vaikutusta folksprakiin, tarvitaan ruotsin ja folksprakin todellisen yhteyden määrittelemiseksi

Speeding up MCMC by Efficient Data Subsampling

We propose Subsampling MCMC, a Markov Chain Monte Carlo (MCMC) framework where the likelihood function for n observations is estimated from a random subset of m observations. We introduce a general and highly efficient unbiased estimator of the log-likelihood based on control variates obtained from clustering the data. The cost of computing the log-likelihood estimator is much smaller than that of the full log-likelihood used by standard MCMC. The likelihood estimate is bias-corrected and used in two correlated pseudo-marginal algorithms to sample from a perturbed posterior, for which we derive the asymptotic error with respect to n and m, respectively. A practical estimator of the error is proposed and we show that the error is negligible even for a very small m in our applications. We demonstrate that Subsampling MCMC is substantially more efficient than standard MCMC in terms of sampling efficiency for a given computational budget, and that it outperforms other subsampling methods for MCMC proposed in the literature

Aplicación del estudio del trabajo para mejorar la productividad en la fabricación de ruedas dentadas, en la empresa Servitec Go&Cia S.R.L., Comas, 2019

El actual trabajo de investigación que lleva por título “Aplicación del Estudio del Trabajo para mejorar la productividad en la fabricación de ruedas dentadas, en la empresa SERVITEC GO&CIA S.R.L., Comas, 2019.”, tiene como principal objetivo general, resolver de qué manera la aplicación del Estudio de Trabajo mejora la productividad en la fabricación de ruedas dentadas en la empresa SERVITEC GO&CIA S.R.L., Comas, 2019. El trabajo de investigación es de tipo aplicada y tiene un diseño cuasi-experimental. La población de este proyecto está conformada por el mes de abril del 2019; sin embargo, se obtuvo datos del área de producción desde el mes de noviembre 2018, los cuales fueron analizados antes y después de la aplicación del Estudio del Trabajo. La muestra analizada es igual a la población, se empleó como técnica, la observación y los instrumentos utilizados fueron: hojas de verificación de toma de tiempos, formato de Cálculo de Número de Muestras, medición de Tiempo Estándar, ficha de registro de Diagrama de Actividades de Proceso, ficha de control de producción, la ficha de estimación de eficiencia, eficacia y productividad y el cronómetro. Los instrumentos de recolección de datos fueron validados por tres jueces expertos en el tema