Distributed learning of CNNs on heterogeneous CPU/GPU architectures

Convolutional Neural Networks (CNNs) have shown to be powerful classification tools in tasks that range from check reading to medical diagnosis, reaching close to human perception, and in some cases surpassing it. However, the problems to solve are becoming larger and more complex, which translates to larger CNNs, leading to longer training times that not even the adoption of Graphics Processing Units (GPUs) could keep up to. This problem is partially solved by using more processing units and distributed training methods that are offered by several frameworks dedicated to neural network training. However, these techniques do not take full advantage of the possible parallelization offered by CNNs and the cooperative use of heterogeneous devices with different processing capabilities, clock speeds, memory size, among others. This paper presents a new method for the parallel training of CNNs that can be considered as a particular instantiation of model parallelism, where only the convolutional layer is distributed. In fact, the convolutions processed during training (forward and backward propagation included) represent from $60$-$90$\% of global processing time. The paper analyzes the influence of network size, bandwidth, batch size, number of devices, including their processing capabilities, and other parameters. Results show that this technique is capable of diminishing the training time without affecting the classification performance for both CPUs and GPUs. For the CIFAR-10 dataset, using a CNN with two convolutional layers, and $500$ and $1500$ kernels, respectively, best speedups achieve $3.28\times$ using four CPUs and $2.45\times$ with three GPUs. Modern imaging datasets, larger and more complex than CIFAR-10 will certainly require more than $60$-$90$\% of processing time calculating convolutions, and speedups will tend to increase accordingly

Integer and fractional cointegration of exchange rates : the Portuguese case

The purchasing power parity (PPP) hypothesis is examined by means of residual-based cointegration tests. A generalized concept of cointegration is used. that is, fractional cointegration. This method aims to be a complement of the Engle-Granger procedure, whose test for cointegration assumes that the equilibrium error is strictly I(1) (nonstationary) or I(0) (stationary). It is known and it will be shown in this work through Monte Carlo simulation, that the unit root tests turn out to perform poorly against long memory alternatives. To perform a test for fractional cointegration, empirical distributions are obtained through a Monte Carlo experiment. This means that the PPP hypothesis is not con…ned to the value of the fractional estimate. By allowing equilibrium errors to follow a fractional integrated process, the fractional cointegration analysis capture a wider range of stationary and level reversion behaviour. This ‡exibility is important to a proper evaluation of the exchange rate dynamics. Two bilateral relations are studied, between Portugal as the home country and the United Kingdom and the United States of America. We also consider the use of structural change tests, since a long range of time is covered by the data, with periods that were a¤ected by di¤erent policy regimes in these countries. For this century, the empirical results provide some support for the PPP between Portugal and the two other countries. Deviations from equilibrium can be modelled by a level-reverting fractionally integrated process. Although short run deviations can occur, the results support the PPP as a long run phenomenon.Centro de Estudos de Economia e Gestão da Universidade do Minho

Utilização de informação auxiliar (qualitativa e quantitativa) na simulação de variáveis regionalizadas. Aplicação à parametrização da reserva do jazigo aurífero de Castromil

A estimação geoestatística baseia-se na quantificação da contiguidade espacial de variáveis regionalizadas, para produzir uma imagem das respectivas características médias. No entanto, sabendo que as variáveis que definem um qualquer sistema natural não são totalmente caracterizadas pela amostragem, recorreu-se também à prática ancestral de procurar substituir o desconhecido pelos seus cenários mais prováveis. Deste modo, procedeu-se à sua 'imitação' através do ajustamento de processos estocásticos de simulação geoestatística, capazes de incorporar o processo de estimação seleccionado como o mais adaptado à variabilidade específica do jazigo, e a forma do sistema natural em estudo. Este procedimento permitiu complementar a imagem condicionada mais provável das características médias da variável em estudo, obtidas pela estimação, com os possíveis valores extremos e funções de distribuição, em cada suporte de descritização, que respeitam a variabilidade empírica observada. Nesta perspectiva, apresenta-se o desenvolvimento e aplicação de processos estocásticos de simulação geoestatística à variável principal do jazigo aurífero de Castromil que, em face de oferecer algumas expectativas de exploração, está significativamente amostrado, quer na variável principal (teores de Au) quer nas variáveis complementares (teores de Ag e classificações litológicas e colorimétricas), presentes nos materiais atravessados pelas sondagens de reconhecimento. Estas acções foram efectuadas através de análises e modificações do programa 'Sequential Gaussian Simulation' da biblioteca de programas GSLIB - Geostatistical Software Library

On the forecasting ability of ARFIMA models when infrequent breaks occur

Recent research has focused on the links between long memory and structural breaks, stressing the memory properties that may arise in models with parameter changes. In this paper, we question the implications of this result for forecasting. We contribute to this research by comparing the forecasting abilities of long memory and Markov switching models. Two approaches are employed: the Monte Carlo study and an empirical comparison, using the quarterly Consumer Price inflation rate in Portugal in the period 1968–1998. Although long memory models may capture some in-sample features of the data, we find that their forecasting performance is relatively poor when shifts occur in the series, compared to simple linear and Markov switching models

Utilização de informação auxiliar (qualitativa e quantitativa) na estimação de variáveis regionalizadas. Aplicação ao jazigo aurífero de Castromil

A metodologia apresentada neste trabalho recorre a uma abordagem holística para estimar a distribuição espacial dos valores de uma variável quantitativa principal, através da combinação da informação sobre essa variável com informação auxiliar quantitativa e qualitativa. Nesse sentido, numa primeira fase são calculadas variáveis de síntese da informação auxiliar, que viabilizam a estimação dos valores da variável principal em dois tempos: primeiro, utilizando as variáveis de síntese para estimar classes da variável principal, a que se segue a utilização dessas classes para condicionar a estimação dos valores da própria variável principal. Os valores obtidos pela metodologia são "julgados" pela sua competência, através da aplicação de testes de precisão. Apresenta-se uma aplicação da metodologia no jazigo aurífero de Castromil, em que a variável principal é o teor em Au e a informação complementar é, por um lado. Os teores em Ag e, por outro, as litologias e as cores do material atravessado pelas sondagens de reconhecimento. A comparação entre os resultados da estimação do teor em Au em blocos de desmonte 5x5x4 m3, obtidos pela metodologia proposta e pela krigagem tradicional, mostra algumas diferenças significativas como consequência da utilização ou não da informação auxiliar, quer na quantidade de Au a recuperar através de suportes de desmonte quer na sua provável distribuição espacial

A relevância da História da Ciência para o ensino das Ciências: elementos introdutórios

Este artigo tem como objetivo discutir questões introdutórias sobre a relevância da História da Ciência no Ensino de Ciências. Inicialmente delineamos o processo histórico de inserção da História da Ciência no Ensino de Ciências e, em seguida, apontamos justificativas para a emprego dos elementos históricos neste ensino. Na terceira seção indicamos algumas dificuldades para a implementação da História da Ciência no Ensino de Ciências e finalizamos o texto destacando inconsistências nesta implementação.This article aims to discuss introductory questions about the relevance of the History of Science in Science Teaching. We firstly outline the historical process of insertion of the History of Science in the Science Teaching and then we point out justifications for the use of historical elements in this teaching. In the third section we indicate some difficulties for the implementation of the History of Science in Science Teaching and we finish the text highlighting inconsistencies in this implementation.info:eu-repo/semantics/publishedVersio

A TECHNOLOGY ASSESSMENT OF BRAIN-COMPUTER INTERFACES. BRIDGING PRESENT AND FUTURE WITH A HUMAN-CENTERED PERSPECTIVE

Technology assessment is a systematic approach used to scientifically investigate the conditions and consequences of technology and technicization while determining its social evaluation. This research focuses on the evaluation of an emerging technology, Brain-Computer Interface (BCI), which enables direct communication between the brain and an external device. As an emerging technology, BCI is in its early stages of research, facing numerous challenges. To address the assessment of BCIs, a method-ology combining Constructive Technology Assessment (CTA) and Foresight within the umbrella con-cept of Future-oriented Technology Analysis (FTA), has been developed and applied. This thesis con-ducts a literature review and applies both structured, open-ended interviews and a survey seeking an-swers to these issues. It explores various social, ethical, legal, and philosophical issues to be addressed in the field of BCIs, both in the present as well as in the future. Understanding the key challenges, de-velopments, and potential future trajectories of this technology is essential to grasp how its applications can offer both opportunities and threats to society at large. The research addresses the concerns of both the Technology Assessment and Brain-Computer Interface communities, offering a comprehensive un-derstanding of how these social, ethical, legal, and philosophical issues may evolve over time. Perspec-tives from various key stakeholders in the BCI field, as well as neurotechnologies in the context of as-sistive technologies, are examined, providing valuable insights for further research in this area.A avaliação de tecnologia é uma abordagem sistemática usada para investigar cientificamente as condições e consequências da tecnologia e da tecnicização, ao mesmo tempo que determina sua avaliação social. Esta pesquisa concentra-se na avaliação de uma tecnologia emergente, a Interface Cérebro-Computador (BCI), que possibilita a comunicação direta entre o cérebro e um dispositivo externo. Como tecnologia emergente, a BCI está em seus estágios iniciais de pesquisa, enfrentando inúmeros desafios. Para abordar a avaliação das BCIs, foi desenvolvida e aplicada uma metodologia que combina a Avaliação Construtiva de Tecnologia (CTA) e a Prospectiva, dentro do conceito geral de Análise de Tecnologia Orientada para o Futuro (FTA). Esta tese realiza uma revisão de literatura e aplica tanto entrevistas estruturadas e abertas quanto um questionário na busca por respostas para estas questões. Ela explora várias questões sociais, éticas, legais e filosóficas a serem abordadas no campo das BCIs, tanto no presente como no futuro. Compreender os principais desafios, desenvolvimentos e possíveis trajetórias futuras dessa tecnologia é essencial para compreender como suas aplicações podem oferecer oportunidades e ameaças à sociedade em geral. A pesquisa aborda as preocupações das comunidades de Avaliação de Tecnologia e Interface Cérebro-Computador, oferecendo uma compreensão abrangente de como essas questões sociais, éticas, legais e filosóficas podem evoluir ao longo do tempo. Perspectivas de diversos atores-chave no campo de BCI, bem como neurotecnologias no contexto de tecnologias assistivas, são examinadas, fornecendo informações valiosas para pesquisas futuras nessa área

Estabelecimento de uma metodologia de análise integrada da interação pneu-pavimento

Approximately 4940 thousand tonnes of tires are produced annually in Europe. Some of the particles emitted by tire wear can have a negative impact on the environment. In addition, tires are negatively influenced by driving dynamics, and the risk of aquaplaning can have fatal consequences. Themainobjectiveofthepresentworkisthestudyofanintegratedanalysis of the tire-pavement interaction phenomenon, based on the evaluation of the tire wear during rolling, the changes in the friction coefficient and the tire inflation pressure. First, a bibliographic search was performed to gather information about the physics behind the motion of a tire, representative models of a tire and, finally, the Archard wear model for simulating the tire tread wear. In the second part of the dissertation, an axyssimetric model of the tire was built in order to perform the Finite Element Analysis (FEA), using Abaqus software. In the third part, pressurization of the tire model was carried out and then an imposed displacement step was induced in order to compress the tire tread against the surface. After the compressing step, a mathematical model based on the Archard wear model was initiated as a sub-routine for the calculation (and for prior visualization) of the wear occurred in the tire. The obtained wear depth, after each run of a varying inflation pressure and friction coefficient, provided a clear demonstration of the direct relationship between the friction coefficient and the ablation rate of a surface. Furthermore, mathematical equations were built for each friction coefficients in order to predict wear for different friction coefficients, and for different inflation pressures.Cerca de 4940 mil toneladas de pneus são produzidos anualmente na Europa. Algumas das partículas emitidas pelo desgaste dos pneus podem ter um impacto negativo sobre o meio ambiente. Além disso, os pneus são negativamente influenciados pela dinâmica de condução, e o risco de aquaplanagem pode ter consequências fatais. O objetivo principal do trabalho apresentado é o estudo de um sistema de análise integrada do fenómeno de interação pneu-pavimento, baseado na avaliação do desgaste dos pneus durante o rolamento, alterando o coeficientedeatritodopavimentoeapressãodospneus. Primeiro, foirealizada uma busca bibliográfica com o intuito de obter informações sobre a física pordetrásdomovimentodeumpneu,modelosrepresentativosdeumpneu e, finalmente, do modelo de desgaste de Archard para simular o desgaste do piso do pneu. Nasegundapartedadissertação, ummodeloaxissimétricodopneufoiconstruídopararealizaraAnálisedeElementosFinitos(AEF)usandoosoftware Abaqus. Na terceira parte, foi realizada a pressurização do modelo de pneu e, em seguida, foi induzido o deslocamento de uma carga a fim de comprimir o pisodopneucontraopavimento. Apósaetapadecompressão, ummodelo matemático baseado no modelo de desgaste de Archard foi iniciado como uma sub-rotina para o cálculo e visualização prévia do desgaste ocorrido no pneu. A profundidade de desgaste obtida, após cada execução de uma pressão de insuflação varíavel e um coeficiente de atrito variável, forneceu uma demonstração clara da relação direta entre o coeficiente de atrito e a taxa de ablação de uma superfície. Além disso, foram desenvolvidas equações matemáticasparacadacoeficientedeatrito,afimdepreverodesgastedentro de cada coeficiente de atrito para cada pressão de insuflação diferente.Mestrado em Engenharia Mecânic

The properties of cointegration tests in models with structural change

In this paper we examine, by means of Monte Carlo simulation, the properties of several cointegration tests when long run parameters are subject to structural changes. We allow for different types of stochastic and deterministic regime shifts, more specifically, changes governed by Markov chains, martingale parameter variation, sudden multiple breaks and gradual changes. Our Monte Carlo analysis reveals that tests with cointegration as the null hypothesis perform badly, while tests with the null of no cointegration retain much of their usefulness in this context