A Discretization of the Hadamard fractional derivative

We present a new discretization for the Hadamard fractional derivative, that simplifies the computations. We then apply the method to solve a fractional differential equation and a fractional variational problem with dependence on the Hadamard fractional derivative

An approximation formula for the Katugampola integral

The objective of this paper is to present an approximation formula for the Katugampola fractional integral, that allows us to solve fractional problems with dependence on this type of fractional operator. The formula only depends on first-order derivatives, and thus converts the fractional problem into a standard one. With some examples, we show the accuracy of the method, and then we present the utility of the method by solving a fractional integral equation

Infraestruturas de rede para a indústria 4.0: implementação em IoT 2020

Industry 4.0 aims to integrate the Internet of Things (IoT) into industrial environments creating Industrial Internet of Things (IIoT). Industry 4.0 brings ample value to businesses' production systems to tackle current and future challenges and competition in the marketplace. Portuguese companies are aiming to adopt Industry 4.0 in their current manufacturing facilities in order to make their companies more competitive in national and international marketplaces. In this dissertation two use cases are presented that illustrate a snapshot of the current industry architecture. One is a production line in a car factory where the raw material undergoes two distinct processes. The second is the manufacturing line in a Portuguese ornamental stone factory where a raw stone is processed into stone ready to be applied in facades of buildings. As part of the Industry 4.0 adoption process, the creation of cyber-physical systems (CPS) is required. A CPS is the integration and coordination between computational and physical resources and requires the sensorization of everything that is to become part of it, such as industrial machines and transport systems. Since this sensorization requires the deployment of several new sensors, actuators and IoT gateways a cheaper alternative is studied in this work. The next part of this dissertation is the creation of a demonstrator with IoT 2020. This is a cheaper alternative for an IoT gateway that runs a distribution of Linux and can be programmed using a transversal programming language like C and C++. In this demonstrator an IoT 2020 is connected to sensors, actuators and to the network using MQTT. A Node-RED dashboard is used in order to interact with the system. The results show that IoT 2020 is able to receive and execute commands from the network. It takes about 12 milliseconds to acquire the values of four sensors and publish them to the network. This dissertation work is part in a funded project called Produtech. Produtech aims to enable the transformation of the Portuguese industry in order to embrace Industry 4.0.A Indústria 4.0 visa integrar a Internet das Coisas (IoT) em ambientes industriais, criando a Internet das Coisas Industrial (IIoT). A Indústria 4.0 adiciona amplo valor aos sistemas de produção das empresas de modo a enfrentar os desafios atuais e futuros assim como a concorrência no mercado. As empresas portuguesas pretendem adotar a Indústria 4.0 nas suas atuais instalações de manufatura, a fim de as tornar mais competitivas nos mercados nacionais e internacionais. Neste trabalho, são estudados dois casos práticos. O primeiro é uma linha de produção na fábrica automóvel, onde a matéria-prima passa por dois processos distintos e o outro é a linha de fabricação numa fábrica de produção de pedras ornamentais portuguesa, onde uma pedra bruta é processada em pedra pronta para ser aplicada nas fachadas dos edifícios. Esses casos práticos são estudados de modo a elaborar a arquitetura atual da indústria. Como parte do processo de adoção da Indústria 4.0, é necessário criar sistemas ciber-físicos (CPS). Um CPS é a integração e coordenação entre recursos físicos e computacionais. Um requisito de um CPS é a sensorização de tudo o que se tornará parte do CPS, como máquinas industriais e sistemas de transporte. Como essa sensorização requer a implantação de vários novos sensores, atuadores e gateways de IoT, uma alternativa mais barata é estudada neste trabalho. A próxima parte desta dissertação é a criação de um demonstrador com o IoT 2020, que é uma alternativa mais barata para um gateway de IoT que corre uma distribuição de Linux e pode ser programado usando uma linguagem de programação transversal como C e C ++. Neste demonstrador, um IoT 2020 é conectado a sensores, atuadores e à rede utilizando MQTT. Um painel de controlo Node-RED é utilizado para interagir com o sistema. Os resultados mostram que, o IoT 2020 é capaz de receber e executar comandos vindos da rede. Para adquirir os valores de quatro sensores e publicá-los na rede, demora cerca de 12 milissegundos. Este trabalho de dissertação está inserido num programa mobilizador financiado chamado Produtech. Produtech tem como objetivo viabilizar a transformação da indústria portuguesa de modo abranger a Indústria 4.0.Mestrado em Engenharia Eletrónica e Telecomunicaçõe

Observações em redes neuronais

The many advances that machine learning, and especially its workhorse, deep learning, has provided to our society are undeniable. However, there is an increasing feeling that the field has become little understood, with researchers going as far as to make the analogy that it has developed into a form of alchemy. There is the need for a deeper understanding of the tools being used since, otherwise, one is only making progress in the dark, frequently relying on trial and error. In this thesis, we experiment with feedforward neural networks, trying to deconstruct the phenomenons we observe, and finding their root cause. We start by experimenting with a synthetic dataset. Using this toy problem, we find that the weights of trained networks show correlations that can be well-understood by the structure of the data samples themselves. This insight may be useful in areas such as Explainable Artificial Intelligence, to explain why a model behaves the way it does. We also find that the mere change of the activation function used in a layer may cause the nodes of the network to assume fundamentally different roles. This understanding may help to draw firm conclusions regarding the conditions in which Transfer Learning may be applied successfully. While testing with this problem, we also found that the initial configuration of weights of a network may, in some situations, ultimately determine the quality of the minimum (i.e., loss/accuracy) to which the networks converge, more so than what could be initially suspected. This observation motivated the remainder of our experiments. We continued our tests with the real-world datasets MNIST and HASYv2. We devised an initialization strategy, which we call the Dense sliced initialization, that works by combining the merits of a sparse initialization with those of a typical random initialization. Afterward, we found that the initial configuration of weights of a network “sticks” throughout training, suggesting that training does not imply substantial updates — instead, it is, to some extent, a fine-tuning process. We saw this by training networks marked with letters, and observing that those marks last throughout hundreds of epochs. Moreover, our results suggest that the small scale of the deviations caused by the training process is a fingerprint (i.e., a necessary condition) of training — as long as the training is successful, the marks remain visible. Based on these observations and our intuition for the reasons behind them, we developed what we call the Filter initialization strategy. It showed improvements in the training of the networks tested, but at the same time, it worsened their generalization. Understanding the root cause for these observations may prove to be valuable to devise new initialization methods that generalize better.É impossível ignorar os muitos avanços que aprendizagem automática, e em particular o seu método de eleição, aprendizagem profunda, têm proporcionado à nossa sociedade. No entanto, existe um sentimento crescente de que ao longo dos anos a área se tem vindo a tornar confusa e pouco clara, com alguns investigadores inclusive afirmando que aprendizagem automática se tornou na alquimia dos nossos tempos. Existe uma necessidade crescente de (voltar a) compreender em profundidade as ferramentas usadas, já que de outra forma o progresso acontece às escuras e, frequentemente, por tentativa e erro. Nesta dissertação conduzimos testes com redes neuronais artificiais dirigidas, com o objetivo de compreender os fenómenos subjacentes e encontrar as suas causas. Começamos por testar com um conjunto de dados sintético. Usando um problema amostra, descobrimos que a configuração dos pesos de redes treinadas evolui de forma a mostrar correlações que podem ser compreendidas atendendo à estrutura das amostras do próprio conjunto de dados. Esta observação poderá revelar-se útil em áreas como Inteligência Artificial Explicável, de forma a clarificar porque é que um dado modelo funciona de certa forma. Descobrimos também que a mera alteração da função de ativação de uma camada pode causar alterações organizacionais numa rede, a nível do papel que os nós nela desempenham. Este conhecimento poderá ser usado em áreas como Aprendizagem por Transferência, de forma a desenvolver critérios precisos sobre os limites/condições de aplicabilidade destas técnicas. Enquanto experimentávamos com este problema, descobrimos também que a configuração inicial dos pesos de uma rede pode condicionar totalmente a qualidade do mínimo para que ela converge, mais do que poderia ser esperado. Esta observação motiva os nossos restantes resultados. Continuamos testes com conjuntos de dados do mundo real, em particular com o MNIST e HASYv2. Desenvolvemos uma estratégia de inicialização, à qual chamamos de inicialização densa por fatias, que funciona combinado os méritos de uma inicialização esparsa com os de uma inicialização típica (densa). Descobrimos também que a configuração inicial dos pesos de uma rede persiste ao longo do seu treino, sugerindo que o processo de treino não causa atualizações bruscas dos pesos. Ao invés, é maioritariamente um processo de afinação. Visualizamos este efeito ao marcar as camadas de uma rede com letras do abecedário e observar que as marcas se mantêm por centenas de épocas de treino. Mais do que isso, a escala reduzida das atualizações dos pesos aparenta ser uma impressão digital (isto é, uma condição necessária) de treino com sucesso — enquanto o treino é bem sucedido, as marcas permanecem. Baseados neste conhecimento propusemos uma estratégia de inicialização inspirada em filtros. A estratégia mostrou bons resultados durante o treino das redes testadas, mas simultaneamente piorou a sua generalização. Perceber as razões por detrás deste fenómeno pode permitir desenvolver novas estratégias de inicialização que generalizem melhor que as atuais.Mestrado em Engenharia de Computadores e Telemátic

SLAM Family Receptors and Autoimmunity

The immune system is responsible for the defense against a wide array of pathogens but without responding to each individual’s (self) antigens. Autoimmune diseases are characterized by a loss of tolerance to self antigens that leads to the appearance of autoreactive lymphocytes. The main factors that contribute to the development of autoimmunity are genetic susceptibility and infection. Disease susceptibility is the result of the combined action of multiple genes. It has been shown that certain gene polymorphisms can influence the establishment of self-tolerance. The human immune system is a complex machinery involving numerous proteins. Cell-surface proteins expressed by leukocytes are of particular relevance due not only to their participation in the network of interactions that regulate the innate and adaptive immune responses, but also to their potential as excellent targets for diagnostic and therapeutic interventions (Diaz-Ramos et al., 2011). These molecules deliver signals that modulate leukocyte development, activation, survival, clonal expansion, and important effector functions. Some of these cell-surface signaling molecules have the capacity to activate lymphocytes and other leukocytes, while others function as downmodulators of immune responses, playing a key role in the establishment of tolerance to self antigens. Thus, it is not surprising that many of the allelic variants associated with autoimmunity identified, to date, correspond to leukocyte cell-surface molecules (Maier & Hafler, 2009). In this review we will discuss recent observations that point to a key role of signaling lymphocyte activation molecule family (SLAMF) receptors in the development of autoimmunity

A fractional Malthusian growth model with variable order using an optimization approach

The goal of this work is to show, based on concrete data, that fractional differential equations with variable fractional order are more efficient to model the world population growth than the classical differential equation, or even a fractional differential equation with constant order. With these new models, we can predict more efficiently the population growth based on the present data.The first and second authors were supported by Portuguese funds through the CIDMA Center for Research and Development in Mathematics and Applications, and the Portuguese Foundation for Science and Technology (FCT-Fundação para a Ciência e a Tecnologia), within project UID/MAT/04106/2013; third author by the ALGORITMI R&D Center and project COMPETE: POCI-01-0145-FEDER-007043 and FCT Fundação para a Ciência e a Tecnologia within the Project Scope: UID/CEC/00319/2013