Radial basis function networks for convolutional neural networks to learn similarity distance metric and improve interpretability

Radial basis function neural networks (RBFs) are prime candidates for pattern classification and regression and have been used extensively in classical machine learning applications. However, RBFs have not been integrated into contemporary deep learning research and computer vision using conventional convolutional neural networks (CNNs) due to their lack of adaptability with modern architectures. In this paper, we adapt RBF networks as a classifier on top of CNNs by modifying the training process and introducing a new activation function to train modern vision architectures end-to-end for image classification. The specific architecture of RBFs enables the learning of a similarity distance metric to compare and find similar and dissimilar images. Furthermore, we demonstrate that using an RBF classifier on top of any CNN architecture provides new human-interpretable insights about the decision-making process of the models. Finally, we successfully apply RBFs to a range of CNN architectures and evaluate the results on benchmark computer vision datasets

Optimizing Household Water Decisions for Managing Intermittent Water Supply in Mexico City

Nearly 1 billion people around the world experience intermittent water supply (IWS), including about 70% of residents in the Mexico City area. Households with IWS often rely on multiple sources of water to meet their needs, including municipal piped water, trucked water, and rainwater. When calculating water costs and reliability of supply, models of these systems must account for household decision-making regarding the volume of water to use from each different source each day. Modeling these household decisions (or “control policies”) is challenging, especially when households use rainwater as a water source, due to the complexity of the input variables involved (e.g. intermittent water schedule, season, day of week), but is critical to understanding the role that household-level interventions, such as household storage and rainwater harvesting, may play in water access. Universal approximators provide a solution to this challenge by allowing for flexible shaping of these control polices. This study uses Radial Basis Function Networks to determine optimal household water management decisions, maximizing reliability of water supply while minimizing costs for an arbitrary household in Mexico City. The model design is informed using data collected during interviews with households in the city. The model produces Paretooptimal solution sets that demonstrate which household-level investments are most effective for improving the reliability of water access. Results show that household storage tanks are a critical component of water access, especially in households with very low access to the municipal piped water supply. A tank volume of around 1500-2500 liters can provide most of the savings, depending on the availability of municipal water, although a larger tank is better able to collect rainwater. IWS households with sufficient storage are able to meet their water needs with piped water nearly as reliably as those with continuous water supply, as long as a minimal threshold of water is delivered. When household storage is limited, households are more vulnerable to disruptions in the piped network, and costs increase if supply is not delivered consistently. Rainwater harvesting systems are shown to be economically viable at the DocuSign Envelope ID: 3F0D957B-51D2-42AE-9AE7-C1921FE89C34 iv household level regardless of the frequency of municipal piped water service. The techniques presented in this study are a crucial step in modeling water resources in cities with IWS

Universal approximation properties of feedforward artificial neural networks.

In this thesis we summarise several results in the literature which show the approximation capabilities of multilayer feedforward artificial neural networks. We show that multilayer feedforward artificial neural networks are capable of approximating continuous and measurable functions from Rn to R to any degree of accuracy under certain conditions. In particular making use of the Stone-Weierstrass and Hahn-Banach theorems, we show that a multilayer feedforward artificial neural network can approximate any continuous function to any degree of accuracy, by using either an arbitrary squashing function or any continuous sigmoidal function for activation. Making use of the Stone-Weirstrass Theorem again, we extend these approximation capabilities of multilayer feedforward artificial neural networks to the space of measurable functions under any probability measure

Universal approximation properties of feedforward artificial neural networks.

In this thesis we summarise several results in the literature which show the approximation capabilities of multilayer feedforward artificial neural networks. We show that multilayer feedforward artificial neural networks are capable of approximating continuous and measurable functions from Rn to R to any degree of accuracy under certain conditions. In particular making use of the Stone-Weierstrass and Hahn-Banach theorems, we show that a multilayer feedforward artificial neural network can approximate any continuous function to any degree of accuracy, by using either an arbitrary squashing function or any continuous sigmoidal function for activation. Making use of the Stone-Weirstrass Theorem again, we extend these approximation capabilities of multilayer feedforward artificial neural networks to the space of measurable functions under any probability measure

Autoregressive Neuronale Netze - Univariate, Multivariate und Kointegrierte Modelle mit einer Anwendung aus dem Bereich der deutschen Automobilindustrie

Prediction of economic variables is a basic component not only for economic models, but also for many business decisions. Nevertheless it is difficult to produce accurate predictions in times of economic crises, which cause nonlinear effects in the data. In this dissertation a nonlinear model for analysis of time series with nonlinear effects is introduced. Linear autoregressive processes are extended by neural networks to overcome the problem of nonlinearity. This idea is based on the universal approximation property of single hidden layer feedforward neural networks of Hornik (1993). Univariate Autoregressive Neural Network Processes (AR-NN) as well as Vector Autoregressive Neural Network Processes (VAR-NN) and Neural Network Vector Error Correction Models (NN-VEC) are introduced. Various methods for variable selection, parameter estimation and inference are discussed. AR-NN's as well as a NN-VEC are used for prediction and analysis of the relationships between 4 variables related to the German automobile industry: The US Dollar to Euro exchange rate, the industrial output of the German automobile industry, the sales of imported cars in the USA and an index of shares of German automobile manufacturing companies. Prediction results are compared to various linear and nonlinear univariate and multivariate models

Advanced meta-heuristic approaches and their application to operational optimization in forest wildfire management

La última década ha sido testigo de un aumento vertiginoso de la cantidad y frecuencia de desastres a gran escala, principalmente debido a los fenómenos devastadores derivados de paradigmas climatológicos y ambientales a gran escala como el calentamiento global. De entre ellos son las inundaciones, huracanes y terremotos los desastres de mayor frecuencia de aparición y fatales consecuencias durante este período, tal como certifican los más de 20.000 muertos a consecuencia de un terremoto en la región de Gujarat (India) en 2001, o las 230.000 y 316.000 pérdidas humanas de los terremotos de Indonesia y Haití en 2004 y 2010, respectivamente. En este contexto, el enfoque de esta tesis se centra en una casuística concreta de desastre a media-gran escala cuya frecuencia y severidad han crecido de manera igualmente preocupante en los últimos tiempos: los incendios, definidos como un fuego de grandes dimensiones no voluntariamente iniciado por el ser humano, y que afecta a aquello que no está destinado a quemarse. Pese a la diversidad de iniciativas, campañas y procedimientos orientados a la minimización del impacto y las consecuencias de los incendios, varios sucesos fatales acontecidos en los últimos años han puesto en duda la efectividad de las políticas actuales de gestión de recursos contra incendios como aeronaves, vehículos terrestres, equipamiento de comunicaciones radio, logística de abastecimiento y las brigadas desplegadas en el área afectada. Un ejemplo manifiesto de esta falta de eficacia es la muerte de once bomberos ocurrida en un incendio de 130 kilómetros cuadrados en la zona de Guadalajara (España) en 2005, oficialmente atribuida a una deficiente coordinación entre el puesto de mando y los equipos de extinción debida, fundamentalmente, a problemas de cobertura en los sistemas de radiocomunicación. Aunque la causa de esta falta de coordinación ha sido cuestionada por las autoridades y los agentes involucrados desde entonces, lo cierto es que este suceso supone un ejemplo evidente de la necesidad de estudiar y desarrollar herramientas algorítmicas que ayuden al personal de comandancia a ejecutar óptimamente sus tareas de coordinación y control. Desafortunadamente la coyuntura de crisis económica mundial que azota con especial fuerza los países del Sur de Europa ha mermado dramáticamente las partidas presupuestarias para la prevención y extinción de incendios en beneficio de programas nacionales de reducción de déficit. A consecuencia de estos recortes, el coste ha irrumpido con fuerza como un criterio de extrema relevancia en la planificación operativa de este tipo de desastres: desde la perspectiva de un problema de optimización, los recursos contra incendios son actualmente gestionados con el objetivo fundamental de maximizar su efectividad contra incendios, sujeto a la restricción de que el coste agregado asociado a las decisiones tomadas no supere un determinado umbral presupuestario. Pese a que estas restricciones de coste están bien acotadas, en la práctica la mayoría de los procedimientos de gestión de recursos contra incendios están fuertemente determinados por la capacidad limitada del ser humano para tomar decisiones ágiles en escenarios de elevada complejidad y heterogeneidad. Por los motivos anteriormente expuestos, la presente Tesis doctoral propone la adopción de algoritmos meta-heurísticos para solventar eficientemente problemas de optimización que modelan procesos de gestión de recursos contra incendios. Esta familia de algoritmos de optimización es capaz de explorar el espacio solución de un problema dado merced a la aplicación iterativa de mecanismos inteligentes de búsqueda explorativa y explotativa, produciendo soluciones que sacrifican calidad por una complejidad computacional menor en comparación con la resultante de procesos determinísticos de búsqueda exhaustiva. En particular la Tesis plantea la búsqueda por harmonía (del inglés Harmony Search) como la técnica meta-heurística de optimización común a las herramientas diseñadas para la gestión de recursos en dos escenarios diferentes: ? El primer escenario analizado contempla el despliegue óptimo de redes de comunicación inalámbrica para la coordinación de equipos de extinción en incendios forestales de gran escala. Desde el punto de vista formal, el problema del despliegue dinámico de retransmisores que caracteriza matemáticamente este escenario consiste en estimar el número y localización de los retransmisores radio que deben ser desplegados en el área afectada por el incendio, de tal modo que el número de nodos móviles (i.e. recursos) con cobertura radio es maximizado a un coste del despliegue mínimo. A fin de reflejar la diversidad de equipamiento de retransmisión radio existente en la realidad, este problema es reformulado para considerar modelos de retransmisor con diferentes características de cobertura y coste. El problema resultante es resuelto de manera eficiente mediante sendos algoritmos mono- y bi-objetivo que conjugan 1) la Búsqueda por Harmonía como método de búsqueda global; y 2) una versión modificada del algoritmo de agrupación K-means como técnica de búsqueda local. El desempeño de los métodos propuestos es evaluado mediante experimentos numéricos basados en datos estadísticos reales de la Comunidad de Castilla la Mancha (España), merced a cuyos resultados queda certificada su practicidad a la hora de desplegar infraestructura de comunicación en este tipo de desastres. ? El segundo escenario bajo estudio se concentra en el despliegue y planificación óptima de vehículos aéreos de extinción de incendios basados en estimaciones predictivas del riesgo de incendio de una cierta área geográfica. De manera enunciativa, el problema subyacente busca la asignación de recursos a aeródromos y aeropuertos con restricciones de capacidad que maximice la utilidad de dichos recursos en relación al riesgo de incendio y minimice, a su vez, el coste de ejecutar dicha asignación. La formulación de este problema también considera, dentro de la definición de dicha función de utilidad, la distancia relativa entre aeropuerto, punto de potencial riesgo de incendio y el recurso acuífero (lago, río o mar) más cercano. Para su resolución eficiente se propone el uso de algoritmos de optimización basados, de nuevo, en la Búsqueda por Harmonía, incorporando además métodos voraces de reparación capacitiva. La aplicabilidad práctica de estos métodos es validada mediante experimentos numéricos en escenarios sintéticos y un caso práctico que incluye valores reales del riesgo de incendio, posiciones de recursos acuíferos e instalaciones aeroportuarias. En resumen, esta Tesis evidencia, desde un punto de vista práctico, que la meta-heurística moderna supone una solución algorítmica computacionalmente eficiente para tratar problemas de gestión de recursos contra incendios sujetos a restricciones de coste