ABC for Climate: Dealing with Expensive Simulators

A single molecule or molecule complex detection method is disclosed in certain aspects, comprising nano- or micro-fluidic channels.U

Cosmological Constraints from the eBOSS Lyman-α\alpha Forest using the PRIYA Simulations

We present new cosmological parameter constraints from the eBOSS Lyman-$\alpha$ forest survey. We use a new theoretical model and likelihood based on the PRIYA simulation suite. PRIYA is the first suite to resolve the Lyman-$\alpha$ forest in a ($120$ Mpc/h)$^3$ volume, using a multi-fidelity emulation technique. We use PRIYA to predict Lyman-$\alpha$ forest observables with $\lesssim 1\%$ interpolation error over an $11$ dimensional ($9$ simulated, $2$ in post-processing) parameter space. We identify an internal tension within the flux power spectrum data. Once the discrepant data is removed, we find the scalar spectral index at $k = 0.78$ h/Mpc to be $n_P = 0.97 - 0.995$ at $68\%$ confidence from the Lyman-$\alpha$ forest flux power spectrum alone, in good agreement with Planck. The amplitude of matter fluctuations is $\sigma_8 = 0.733 \pm 0.026$ at $68\%$ confidence, in agreement with Dark Energy Survey weak lensing measurements and other small-scale structure probes and in tension with CMB measurements from Planck and ACT. The effective optical depth to Lyman-$\alpha$ photons from our pipeline is in good agreement with earlier measurements. We add measurements of the mean temperature of the intergalactic gas from $z=3.8 - 2.2$ and use them to constrain the duration and heating rate of helium reionization, finding a preference for an early, hot, helium reionization event, as suggested by measurements from the helium Lyman-$\alpha$ forest. Adding the mean IGM temperature data also increases the significance of the $\sigma_8$ tension. In the near future we will use our pipeline to infer cosmological parameters from the DESI Lyman-$\alpha$ data.Comment: 38 pages, 13 figures, submitted to JCA

Fast emulation of cosmological density fields based on dimensionality reduction and supervised machine-learning

N-body simulations are the most powerful method to study the non-linear evolution of large-scale structure. However, they require large amounts of computational resources, making unfeasible their direct adoption in scenarios that require broad explorations of parameter spaces. In this work, we show that it is possible to perform fast dark matter density field emulations with competitive accuracy using simple machine-learning approaches. We build an emulator based on dimensionality reduction and machine learning regression combining simple Principal Component Analysis and supervised learning methods. For the estimations with a single free parameter, we train on the dark matter density parameter, $\Omega_m$, while for emulations with two free parameters, we train on a range of $\Omega_m$ and redshift. The method first adopts a projection of a grid of simulations on a given basis; then, a machine learning regression is trained on this projected grid. Finally, new density cubes for different cosmological parameters can be estimated without relying directly on new N-body simulations by predicting and de-projecting the basis coefficients. We show that the proposed emulator can generate density cubes at non-linear cosmological scales with density distributions within a few percent compared to the corresponding N-body simulations. The method enables gains of three orders of magnitude in CPU run times compared to performing a full N-body simulation while reproducing the power spectrum and bispectrum within $\sim 1\%$ and $\sim 3\%$, respectively, for the single free parameter emulation and $\sim 5\%$ and $\sim 15\%$ for two free parameters. This can significantly accelerate the generation of density cubes for a wide variety of cosmological models, opening the doors to previously unfeasible applications, such as parameter and model inferences at full survey scales as the ESA/NASA Euclid mission.Comment: 10 pages, 6 figures. To be submitted to A&A. Comments are welcome

Cosmological density fields and gravitational waves: a statistical learning approach

Tese de mestrado em Física (Astrofísica e Cosmologia), Universidade de Lisboa, Faculdade de Ciências, 2021Vários estudos em cosmologia e astrofísica dependem da geração de simulações de alta performance para explorar o espaço de parâmetros que rege as teorias físicas subjacentes. Historicamente, o estudo da gravidade e efeitos gravitacionais representa um dos mais importantes exemplos dessa dependência, sendo que os recursos computacionais requeridos para simular a dinâmica gravitacional têm contribuído para a necessidade de construção das maiores infraestruturas computacionais modernas. Esta tese tem como tema a construção de métodos para aliviar esses recursos, diminuindo o tempo necessário para a exploração e inferência no espaço de parâmetros. Para o efeito, adotámos quatro algoritmos supervisionados de Aprendizagem Automática (Machine Learning), Redes Neuronais (Neural Networks), Floresta Aleatória (Random Forest), Árvores Extremamente Aleatórias (Extremelly Randomized Trees) e Máquinas de Vectores de Suporte (Support Vector Machines), em conjunto com um método de transformação de base (Análise de Componentes Principais), aplicando os a dois cenários astrofísicos e cosmológicos onde a gravidade é dominante, a escalas e magnitudes opostas. No primeiro cenário, estudamos a emulação de campos de densidade de matéria escura com base em simulações de Ncorpos. Neste caso, o nosso método usa os diferentes algoritmos de Machine Learning supervisionado e adopta ”Análise de Componentes Principais” para permitir a realização de emulações rápidas, e estudamos a sua aplicação em dois casos. No primeiro, realizamos emulações considerando apenas um parâmetro livre, Ω, a densidade de matéria escura. No segundo caso, de forma a testar os nossos algoritmos em contextos de maior dimensionalidade, consideramos dois parâmetros livres, Ω e o redshift (z). Partindo de um conjunto de simulações de Ncorpos, que serve como ”exemplo de treino” os algoritmos conseguem aprender a relação entre os dados das simulações e um dado conjunto de parâmetros livres de interesse. De forma a tornar o problema o mais computacionalmente tratável possível, aplicamos Análise de Componentes Principais ao conjunto de dados, previamente à aprendizagem. Este método toma partido da redundância intrínseca aos dados, projetando os numa base que preserva o máximo da sua variância num conjunto mínimo de coeficientes, chamados ”Componentes Principais”. Posteriormente à projeção, segue-se a aprendizagem. Em vez de fornecer os dados das simulações diretamente aos algoritmos de Machine Learning, são os Componentes Principais dos dados projetados que são fornecidos, permitindo uma redução nos recursos computacionais necessários. Neste cenário em particular, usamos os Componentes Principais como variáveis dependentes e os parâmetros cosmológicos como variáveis independentes. Posteriormente à aprendizagem, com base num novo conjunto de parâmetros cosmológicos de teste, é possível estimar os Componentes Principais relativos à simulação correspondente. Estes novos Componente Principais podem então ser projetados na base original, o campo de densidades, que corresponderá à emulação final. Como medidas de comparação das nossas emulações com as simulações reais, usamos uma medida de comparação de magnitudes de densidade célula a célula, a que chamamos de Mean Overdensity Distance, e duas medidas de comparação de propriedades estatísticas, o Power Spectrum e o Bispectrum, sendo as duas últimas as nossas métricas principais. O Power Spectrum corresponde à transformada de Fourier da função de correlação a dois pontos, e fornece uma descrição completa de um campo aleatório Gaussiano, enquanto que o Bispectrum corresponde à transformada de Fourier da função de correlação a três pontos e analisa desvios à Gaussianidade da distribuição. Consequentemente, juntas, estas quantidades fornecem uma descrição consideravelmente alargada das propriedades estatísticas dos nossos campos de densidade. Adicionalmente, realizamos uma demonstração da aplicação de ”Análise de Componentes Principais Funcional” no caso de um parâmetro livre, sendo esta provavelmente a primeira aplicação do método mencionado num contexto cosmológico. Este método transforma os nossos dados de treino em formato funcional (continuo), providenciando um conjunto de funções continuas que relacionam cada Componente Principal com o parâmetro cosmológico de interesse, permitindo assim a realização das emulações dos campos de densidade sem ser necessária a introdução de algoritmos de aprendizagem supervisionada, e consequentemente, a elaboração de uma metodologia igualmente útil, mas mais compacta. Adicionalmente, quando comparada com a metodologia anterior, no mesmo conjunto de dados, este método permite a obtenção de erros inferiores e resultados mais robustos. Um aspeto importante de se sublinhar consiste no facto de apesar destas aplicações serem especificas a campos de densidade de matéria escura, o nosso método é genérico o suficiente para permitir a emulação de qualquer campo escalar em 3D, como por exemplo o campo de densidades de matéria bariónica. Num segundo cenário, estudamos a aplicação da metodologia proposta para realizar inferência de parâmetros relativos aos progenitores de ondas gravitacionais. Os nossos métodos são adaptados de forma a aprender a relação entre os vetores de amplitudes de simulações aproximadas de ondas gravitacionais emitidas por sistemas binários de Buracos Negros e o Chirp Mass (ℎ ) do sistema que emite a onda, que corresponde a uma quantidade que contém o valor das massas de ambos os corpos. Demonstramos a aplicação deste método em dois casos: domínio temporal e de frequências, e em ambos os casos, consideramos distribuições de ruído realísticas, esperadas em detetores terrestres de ondas gravitacionais. Relativamente a este cenário, aplicamos o mesmo método de decomposição do conjunto de dados de ondas gravitacionais em Componentes Principais, seguindo-se a aplicação dos algoritmos de aprendizagem supervisionada. No entanto, uma vez que o objetivo neste caso consiste em prever o parâmetro livre e não a onda em si, os Componentes Principais terão o papel de variáveis independentes. Posteriormente à aprendizagem, partindo de um dado conjunto de ondas de teste não incluído no conjunto de treino, é possível projetá-lo na base de Componentes Principais do conjunto de treino. Estes novos componentes principais, podem então ser fornecidos aos algoritmos treinados para inferência do Chirp Mass da onda correspondente. De forma a testar os nossos métodos em diferentes regimes de razão sinal-ruído calculamos o ruído esperado no detetor terrestre Advanced LIGO e adicionamo-lo a conjuntos de ondas gravitacionais emitidas por sistemas binários a distâncias gradualmente superiores. Desta forma cada conjunto de ondas terá uma razão sinal-ruído gradualmente inferior. Neste caso, uma vez que as nossas grandezas estimadas (Chirp Masses) correspondem a grandezas de natureza contínua, decidimos aplicar como estatística o Desvio Quadrático Medio (Root Mean Squared Error) para comparar as nossas estimações com os parâmetros reais. Mostramos que a nossa abordagem proposta permite um ganho de três ordens de magnitude na obtenção dos campos de densidade, comparativamente ao tempo de execução de uma simulação de Ncorpos da mesma escala e no mesmo sistema. Adicionalmente, conseguimos reproduzir o Power Spectrum e Bispectrum com erros abaixo de ~ 1% e ~ 3% para o caso de emulação a partir de um parâmetro livre (Ω) e abaixo de ~ 5% e ~ 15% para o caso de emulação a partir de dois parâmetros livres (Ω, z). Sendo que os algoritmos com maior prestação foram as Neural Networks no caso de emulação a partir de um parâmetro livre e as Support Vector Machines no caso de emulação a partir de dois parâmetros livres. No segundo cenário, mostramos que numa fração de segundo, o nosso método permite a inferência de 255 Chirp Masses a partir de dados de ondas gravitacionais com erros abaixo dos ~ 2% em regimes de elevada razão sinal-ruído e usando o algoritmo Extremelly Randomized Trees, e abaixo dos ~ 5% em regimes de baixa razão sinal-ruído e usando o algoritmo Support Vector Machines. Estes resultados indicam que as metodologias propostas consistem em alternativas promissoras para a análise de grandes conjuntos de dados provenientes de observações cosmológicas e astrofísicas que serão brevemente realizadas por missões como Euclid, LSST, e LISA. Ajudando assim a constranger os modelos que descrevem o comportamento da interação mais importante que molda a nossa visão do Universo: A Gravidade.Several cosmological and astrophysical studies rely on the generation of costly simulations to sample the parameter space of an underlying physical theory. Historically, the study of gravity and gravitational effects has been among the most important examples of such cases, and gravity has been linked to the very requirements to build the largest available computational facilities. This thesis concerns the construction of methods to alleviate these requirements, and to enable significantly faster sampling and inference. To do so, we adopted supervised machine learning algorithms coupled with a basis transformation method, and we applied our methods to two cosmological and astrophysical scenarios where gravity dominates at different scales and strength regimes. In a first scenario, we study the emulation of 3D Nbody simulations of the dark matter density field. We construct a method that uses different machine learning methods and adopts Principal Component Analysis to enable fast emulations, and we study how it behaves in two application cases. In the first case we perform the emulation considering a single free parameter, Ω, the dark matter density. In the second case, we perform the emulation considering two free parameters, Ω and redshift. We additionally demonstrate an application of Functional Principal Component Analysis (FPCA) on the single free parameter case, which is probably the first ever application of this method in a cosmological context. Although we applied our method to dark matter density fields, it is generic enough to emulate any other 3D scalar field. In a second scenario, we study the application of the proposed methodology to perform parameter inference of progenitors of gravitational waves. We adapt our method to learn from approximated simulations of gravitational waveforms the value of the combination of the masses of the progenitor system, the chirp mass parameter, ℎ . We demonstrate the application of our method in two inference cases: in time domain and a more realistic frequency domain case, and in both cases, we consider realistic noise distributions from ground based gravitational wave detectors. We show that our proposed approach enables gains of three orders of magnitude in running times compared to performing a full Nbody simulation, while still reproducing the power spectrum and bi-spectrum within ~ 1% and ~ 3% errors for the single parameter emulation and ~ 5% and ~ 15% for the two-parameter emulation. We also show that in a fraction of a second, our method allows the inference of the chirp masses from gravitational wave data with errors within ~ 2% in the high signal-to-noise ratio regime and ~ 5% in the low signal-to-noise regime. These results indicate that the proposed methodologies are promising alternatives to analyse the large datasets of cosmological and astrophysical observations expected to result from upcoming surveys like Euclid, LSST, and LISA, and thus to help in constraining the models that describe the behaviour of the most important interaction that shapes our vision of the Universe: Gravity