ISBIS 2016: Meeting on Statistics in Business and Industry

This Book includes the abstracts of the talks presented at the 2016 International Symposium on Business and Industrial Statistics, held at Barcelona, June 8-10, 2016, hosted at the Universitat Politècnica de Catalunya - Barcelona TECH, by the Department of Statistics and Operations Research. The location of the meeting was at ETSEIB Building (Escola Tecnica Superior d'Enginyeria Industrial) at Avda Diagonal 647. The meeting organizers celebrated the continued success of ISBIS and ENBIS society, and the meeting draw together the international community of statisticians, both academics and industry professionals, who share the goal of making statistics the foundation for decision making in business and related applications. The Scientific Program Committee was constituted by: David Banks, Duke University Amílcar Oliveira, DCeT - Universidade Aberta and CEAUL Teresa A. Oliveira, DCeT - Universidade Aberta and CEAUL Nalini Ravishankar, University of Connecticut Xavier Tort Martorell, Universitat Politécnica de Catalunya, Barcelona TECH Martina Vandebroek, KU Leuven Vincenzo Esposito Vinzi, ESSEC Business Schoo

Characterizing and comparing acoustic representations in convolutional neural networks and the human auditory system

Le traitement auditif dans le cerveau humain et dans les systèmes informatiques consiste en une cascade de transformations représentationnelles qui extraient et réorganisent les informations pertinentes pour permettre l'exécution des tâches. Cette thèse s'intéresse à la nature des représentations acoustiques et aux principes de conception et d'apprentissage qui soutiennent leur développement. Les objectifs scientifiques sont de caractériser et de comparer les représentations auditives dans les réseaux de neurones convolutionnels profonds (CNN) et la voie auditive humaine. Ce travail soulève plusieurs questions méta-scientifiques sur la nature du progrès scientifique, qui sont également considérées. L'introduction passe en revue les connaissances actuelles sur la voie auditive des mammifères et présente les concepts pertinents de l'apprentissage profond. Le premier article soutient que les questions philosophiques les plus pressantes à l'intersection de l'intelligence artificielle et biologique concernent finalement la définition des phénomènes à expliquer et ce qui constitue des explications valables de tels phénomènes. Je surligne les théories pertinentes de l'explication scientifique que j’espére fourniront un échafaudage pour de futures discussions. L'article 2 teste un modèle populaire de cortex auditif basé sur des modulations spectro-temporelles. Nous constatons qu'un modèle linéaire entraîné uniquement sur les réponses BOLD aux ondulations dynamiques simples (contenant seulement une fréquence fondamentale, un taux de modulation temporelle et une échelle spectrale) peut se généraliser pour prédire les réponses aux mélanges de deux ondulations dynamiques. Le troisième article caractérise la spécificité linguistique des couches CNN et explore l'effet de l'entraînement figé et des poids aléatoires. Nous avons observé trois régions distinctes de transférabilité: (1) les deux premières couches étaient entièrement transférables, (2) les couches 2 à 8 étaient également hautement transférables, mais nous avons trouvé évidence de spécificité de la langue, (3) les couches suivantes entièrement connectées étaient plus spécifiques à la langue mais pouvaient être adaptées sur la langue cible. Dans l'article 4, nous utilisons l'analyse de similarité pour constater que la performance supérieure de l'entraînement figé obtenues à l'article 3 peuvent être attribuées aux différences de représentation dans l'avant-dernière couche: la deuxième couche entièrement connectée. Nous analysons également les réseaux aléatoires de l'article 3, dont nous concluons que la forme représentationnelle est doublement contrainte par l'architecture et la forme de l'entrée et de la cible. Pour tester si les CNN acoustiques apprennent une hiérarchie de représentation similaire à celle du système auditif humain, le cinquième article compare l'activité des réseaux «freeze trained» de l'article 3 à l'activité IRMf 7T dans l'ensemble du système auditif humain. Nous ne trouvons aucune évidence d'une hiérarchie de représentation partagée et constatons plutôt que tous nos régions auditifs étaient les plus similaires à la première couche entièrement connectée. Enfin, le chapitre de discussion passe en revue les mérites et les limites d'une approche d'apprentissage profond aux neurosciences dans un cadre de comparaison de modèles. Ensemble, ces travaux contribuent à l'entreprise naissante de modélisation du système auditif avec des réseaux de neurones et constituent un petit pas vers une science unifiée de l'intelligence qui étudie les phénomènes qui se manifestent dans l'intelligence biologique et artificielle.Auditory processing in the human brain and in contemporary machine hearing systems consists of a cascade of representational transformations that extract and reorganize relevant information to enable task performance. This thesis is concerned with the nature of acoustic representations and the network design and learning principles that support their development. The primary scientific goals are to characterize and compare auditory representations in deep convolutional neural networks (CNNs) and the human auditory pathway. This work prompts several meta-scientific questions about the nature of scientific progress, which are also considered. The introduction reviews what is currently known about the mammalian auditory pathway and introduces the relevant concepts in deep learning.The first article argues that the most pressing philosophical questions at the intersection of artificial and biological intelligence are ultimately concerned with defining the phenomena to be explained and with what constitute valid explanations of such phenomena. I highlight relevant theories of scientific explanation which we hope will provide scaffolding for future discussion. Article 2 tests a popular model of auditory cortex based on frequency-specific spectrotemporal modulations. We find that a linear model trained only on BOLD responses to simple dynamic ripples (containing only one fundamental frequency, temporal modulation rate, and spectral scale) can generalize to predict responses to mixtures of two dynamic ripples. Both the third and fourth article investigate how CNN representations are affected by various aspects of training. The third article characterizes the language specificity of CNN layers and explores the effect of freeze training and random weights. We observed three distinct regions of transferability: (1) the first two layers were entirely transferable between languages, (2) layers 2--8 were also highly transferable but we found some evidence of language specificity, (3) the subsequent fully connected layers were more language specific but could be successfully finetuned to the target language. In Article 4, we use similarity analysis to find that the superior performance of freeze training achieved in Article 3 can be largely attributed to representational differences in the penultimate layer: the second fully connected layer. We also analyze the random networks from Article 3, from which we conclude that representational form is doubly constrained by architecture and the form of the input and target. To test whether acoustic CNNs learn a similar representational hierarchy as that of the human auditory system, the fifth article presents a similarity analysis to compare the activity of the freeze trained networks from Article 3 to 7T fMRI activity throughout the human auditory system. We find no evidence of a shared representational hierarchy and instead find that all of our auditory regions were most similar to the first fully connected layer. Finally, the discussion chapter reviews the merits and limitations of a deep learning approach to neuroscience in a model comparison framework. Together, these works contribute to the nascent enterprise of modeling the auditory system with neural networks and constitute a small step towards a unified science of intelligence that studies the phenomena that are exhibited in both biological and artificial intelligence

Efficient Algorithms to Compute Hierarchical Summaries from Big Data Streams

Many data stream applications have hierarchical data; containing time, geographic locations, product information, clickstreams, server logs, IP addresses. A hierarchical summary of such volumous data offers multiple advantages including compactness, quick understanding, and abstraction. The goal of this thesis is to design algorithmic approaches for summarizing hierarchical data streams. First, this thesis provides a theoretical analysis of the benchmark hierarchical heavy hitters' algorithms and uncovers their shortcomings such as requiring high theoretical memory, updates and coverage problem. To address these shortcomings, this thesis proposes efficient algorithms which offer deterministic estimation accuracy using O(η/ε) worst-case memory and O(η) worst-case time complexity per item, where ε ∈ [0,1] is a user defined parameter and η is a small constant derived from the data. The proposed hierarchical heavy hitters' algorithms are shown to have improved significantly over existing algorithms both theoretically as well as empirically. Next, this thesis introduces a new concept called hierarchically correlated heavy hitters, which is different from existing hierarchical summarization techniques. The thesis provides a formal definition of the proposed concept and compares it with existing hierarchical summarization approaches both at definition level and empirically. It also proposes an efficient hierarchy-aware algorithm for computing hierarchically correlated heavy hitters. The proposed algorithm offers deterministic estimation accuracy using O(η / (ε_p * ε_s )) worst-case memory and O(η) worst-case time complexity per item, where η is as defined previously, and ε_p ∈ [0,1], ε_s ∈ [0,1] are other user defined parameters. Finally, the thesis proposes a special hierarchical data structure and algorithm to summarize spatiotemporal data. It can be used to extract interesting and useful patterns from high-speed spatiotemporal data streams at multiple spatial and temporal granularities. Theoretical and empirical analysis are provided, which show that the proposed data structure is very efficient concerning data storage and response to queries. It updates a single item in O(1) time and responds to a point query in O(1) time. Importantly, the memory requirement of the proposed data structure is independent of the size of the data and only depends on user-supplied parameters ψ ⃗ and φ ⃗. In summary, this thesis provides a general framework consisting of a set of algorithms and data structures to compute hierarchical summaries of the big data streams. All of the proposed algorithms exploit a lattice structure built from the hierarchical attributes of the data to compute different hierarchical summaries, which can be used to address various data analytic issues in many emerging applications

Advances in Artificial Intelligence: Models, Optimization, and Machine Learning

The present book contains all the articles accepted and published in the Special Issue “Advances in Artificial Intelligence: Models, Optimization, and Machine Learning” of the MDPI Mathematics journal, which covers a wide range of topics connected to the theory and applications of artificial intelligence and its subfields. These topics include, among others, deep learning and classic machine learning algorithms, neural modelling, architectures and learning algorithms, biologically inspired optimization algorithms, algorithms for autonomous driving, probabilistic models and Bayesian reasoning, intelligent agents and multiagent systems. We hope that the scientific results presented in this book will serve as valuable sources of documentation and inspiration for anyone willing to pursue research in artificial intelligence, machine learning and their widespread applications

Objective measures of complexity

Mesures Objectives de la Complexité pour la Prise de Décision Dynamique. La gestion efficace de systèmes sociotechniques complexes dépend d’une compréhension des interrelations dynamiques entre les composantes de ces systèmes, de leur évolution à travers le temps, ainsi que du degré d’incertitude auquel les décideurs sont exposés. Quelles sont les caractéristiques de la prise de décision complexe qui ont un impact sur la performance humaine dans l’environnement moderne du travail, constamment en fluctuation et sous la pression du temps, exerçant de lourdes demandes sur la cognition ? La prise de décision complexe est un concept issu de la macrocognition, impliquant des processus et des fonctions de bas et haut niveaux de description tels que la métacognition, soit pour un individu de penser à propos de son propre processus de pensées. Dans le cas particulier de la prise de décision complexe, ce phénomène est nommé la pensée systémique. L’étude de la prise de décision complexe en dehors de l’environnement traditionnel du laboratoire, permettant un haut niveau de contrôle mais un faible degré de réalisme, est malheureusement difficile et presque impossible. Une méthode de recherche plus appropriée pour la macrocognition est l’expérimentation basée sur la simulation, à l’aide de micromondes numérisés sous la forme de jeux sérieux. Ce paradigme de recherche est nommé la prise de décision dynamique (PDD), en ce qu’il tient compte des caractéristiques de problèmes de prise de décision complexe telles que des séquences complexes de décisions et de changements d’états d’un problème interdépendants, qui peuvent changer de façon spontanée ou comme conséquence de décisions préalables, et pour lesquels la connaissance et la compréhension du décideur peut n’être que partielle ou incertaine. Malgré la quantité de recherche concernant la PDD à propos des difficultés encourues pour la performance humaine face à des problèmes de prise de décision complexe, l’acquisition de connaissances à propos de systèmes complexes, et à savoir si le transfert de l’apprentissage est possible, il n’existe pas de mesure quantitative de ce en quoi un problème de décision est considéré comme étant complexe. La littérature scientifique mentionne des éléments qualitatifs concernant les systèmes complexes (tels que des interrelations dynamiques, une évolution non-linéaire d’un système à travers le temps, et l’incertitude à propos des états d’un système et des issues des décisions), mais des mesures quantitatives et objectives exprimant la complexité de problèmes de décision n’ont pas été développées. Cette dissertation doctorale présente les concepts, la méthodologie et les résultats impliqués dans un projet de recherche visant à développer des mesures objectives de la complexité basées sur les caractéristiques de problèmes de prise de décision dynamique pouvant expliquer et prédire la performance humaine. En s’inspirant de divers domaines d’application de la théorie de la complexité tels que la complexité computationnelle, la complexité systémique, et l’informatique cognitive, un modèle formel des paramètre de la complexité pour des tâches de prise de décision dynamique a été élaboré. Un ensemble de dix mesures objectives de la complexité a été développé, consistant en des mesures de la complexité structurelle, des mesures de la complexité informationnelle, la complexité de la charge cognitive, et des mesures de la difficulté d’un problème, de la non-linéarité des relations, de l’incertitude concernant l’information et les décisions, ainsi qu’une mesure de l’instabilité d’un système dynamique sous des conditions d’inertie. Une analyse des résultats expérimentaux colligés à partir de cinq scénarios de PDD révèle qu’un nombre restreint de candidats parmi des modèles de régression linéaires multiple permet d’expliquer et de prédire les résultats de performance humaine, mais au prix de certaines violations des postulats de l’approche classique de la régression linéaire. De plus, ces mesures objectives de la complexité présentent un degré élevé de multicolinéarité, causée d’une part par l’inclusion de caractéristiques redondantes dans les calculs, et d’autre part par une colinéarité accidentelle imputable à la conception des scénarios de PDD. En tenant compte de ces deux considérations ainsi que de la variance élevée observée dans les processus macrocognitifs impliqués dans la prise de décision complexe, ces modèles présentent des valeurs élevées pour le terme d’erreur exprimant l’écart entre les observations et les prédictions des modèles. Une analyse additionnelle explore l’utilisation de méthodes alternatives de modélisation par régression afin de mieux comprendre la relation entre les paramètres de la complexité et les données portant sur performance humaine. Nous avons d’abord opté pour une approche de régression robuste afin d’augmenter l’efficience de l’analyse de régression en utilisant une méthode réduisant la sensibilité des modèles de régression aux observations influentes. Une seconde analyse élimine la source de variance imputable aux différences individuelles en focalisant exclusivement sur les effets imputables aux conditions expérimentales. Une dernière analyse utilise des modèles non-linéaires et non-paramétriques afin de pallier les postulats de la modélisation par régression, à l’aide de méthodes d’apprentissage automatique (machine learning). Les résultats suggèrent que l’approche de régression robuste produit des termes d’erreur substantiellement plus faibles, en combinaison avec des valeurs élevées pour les mesures de variance expliquée dans les données de la performance humaine. Bien que les méthodes non-linéaires et non-paramétriques produisent des modèles marginalement plus efficients en comparaison aux modèles de régression linéaire, la combinaison de ces modèles issus du domaine de l’apprentissage automatique avec les données restreintes aux effets imputables aux conditions expérimentales produit les meilleurs résultats relativement à l’ensemble de l’effort de modélisation et d’analyse de régression. Une dernière section présente un programme de recherche conçu pour explorer l’espace des paramètres pour les mesures objectives de la complexité avec plus d’ampleur et de profondeur, afin d’appréhender les combinaisons des caractéristiques des problèmes de prise de décision complexe qui sont des facteurs déterminants de la performance humaine. Les discussions concernant l’approche expérimentale pour la PDD, les résultats de l’expérimentation relativement aux modèles de régression, ainsi qu’à propos de l’investigation de méthodes alternatives visant à réduire la composante de variance menant à la disparité entre les observations et les prédictions des modèles suggèrent toutes que le développement de mesures objectives de la complexité pour la performance humaine dans des scénarios de prise de décision dynamique est une approche viable à l’approfondissement de nos connaissances concernant la compréhension et le contrôle exercés par un être humain face à des problèmes de décision complexe.Objective Measures of Complexity for Dynamic Decision-Making. Managing complex sociotechnical systems depends on an understanding of the dynamic interrelations of such systems’ components, their evolution over time, and the degree of uncertainty to which decision makers are exposed. What features of complex decision-making impact human performance in the cognitively demanding, ever-changing and time pressured modern workplaces? Complex decision-making is a macrocognitive construct, involving low to high cognitive processes and functions, such as metacognition, or thinking about one’s own thought processes. In the particular case of complex decision-making, this is called systems thinking. The study of complex decision-making outside of the controlled, albeit lacking in realism, traditional laboratory environment is difficult if not impossible. Macrocognition is best studied through simulation-based experimentation, using computerized microworlds in the form of serious games. That research paradigm is called dynamic decision-making (DDM), as it takes into account the features of complex decision problems, such as complex sequences of interdependent decisions and changes in problem states, which may change spontaneously or as a consequence of earlier decisions, and for which the knowledge and understanding may be only partial or uncertain. For all the research in DDM concerning the pitfalls of human performance in complex decision problems, the acquisition of knowledge about complex systems, and whether a learning transfer is possible, there is no quantitative measure of what constitutes a complex decision problem. The research literature mentions the qualities of complex systems (a system’s dynamical relationships, the nonlinear evolution of the system over time, and the uncertainty about the system states and decision outcomes), but objective quantitative measures to express the complexity of decision problems have not been developed. This dissertation presents the concepts, methodology, and results involved in a research endeavor to develop objective measures of complexity based on characteristics of dynamic decision-making problems which can explain and predict human performance. Drawing on the diverse fields of application of complexity theory such as computational complexity, systemic complexity, and cognitive informatics, a formal model of the parameters of complexity for dynamic decision-making tasks has been elaborated. A set of ten objective measures of complexity were developed, ranging from structural complexity measures, measures of information complexity, the cognitive weight complexity, and measures of problem difficulty, nonlinearity among relationships, information and decision uncertainty, as well as a measure of the dynamical system’s instability under inertial conditions. An analysis of the experimental results gathered using five DDM scenarios revealed that a small set of candidate models of multiple linear regression could explain and predict human performance scores, but at the cost of some violations of the assumptions of classical linear regression. Additionally, the objective measures of complexity exhibited a high level of multicollinearity, some of which were caused by redundant feature computation while others were accidentally collinear due to the design of the DDM scenarios. Based on the aforementioned constraints, and due to the high variance observed in the macrocognitive processes of complex decision-making, the models exhibited high values of error in the discrepancy between the observations and the model predictions. Another exploratory analysis focused on the use of alternative means of regression modeling to better understand the relationship between the parameters of complexity and the human performance data. We first opted for a robust regression analysis to increase the efficiency of the regression models, using a method to reduce the sensitivity of candidate regression models to influential observations. A second analysis eliminated the within-treatment source of variance in order to focus exclusively on between-treatment effects. A final analysis used nonlinear and non-parametric models to relax the regression modeling assumptions, using machine learning methods. It was found that the robust regression approach produced substantially lower error values, combined with high measures of the variance explained for the human performance data. While the machine learning methods produced marginally more efficient models of regression for the same candidate models of objective measures of complexity, the combination of the nonlinear and non-parametric methods with the restricted between-treatment dataset yielded the best results of all of the modeling and analyses endeavors. A final section presents a research program designed to explore the parameter space of objective measures of complexity in more breadth and depth, so as to weight which combinations of the characteristics of complex decision problems are determinant factors on human performance. The discussions about the experimental approach to DDM, the experimental results relative to the regression models, and the investigation of further means to reduce the variance component underlying the discrepancy between the observations and the model predictions all suggest that establishing objective measures of complexity for human performance in dynamic decision-making scenarios is a viable approach to furthering our understanding of a decision maker’s comprehension and control of complex decision problems

The dynamics of neural codes in biological and artificial neural networks

Advancing our knowledge of how the brain processes information remains a key challenge in neuroscience. This thesis combines three different approaches to the study of the dynamics of neural networks and their encoding representations: a computational approach, that builds upon basic biological features of neurons and their networks to construct effective models that can simulate their structure and dynamics; a machine-learning approach, which draws a parallel with the functional capabilities of brain networks, allowing us to infer the dynamical and encoding properties required to solve certain input-processing tasks; and a final, theoretical treatment, which will take us into the fascinating hypothesis of the "critical" brain as the mathematical foundation that can explain the emergent collective properties arising from the interactions of millions of neurons. Hand in hand with physics, we venture into the realm of neuroscience to explain the existence of quasi-universal scaling properties across brain regions, setting out to quantify the distance of their dynamics from a critical point. Next, we move into the grounds of artificial intelligence, where the very same theory of critical phenomena will prove very useful for explaining the effects of biologically-inspired plasticity rules in the forecasting ability of Reservoir Computers. Halfway into our journey, we explore the concept of neural representations of external stimuli, unveiling a surprising link between the dynamical regime of neural networks and the optimal topological properties of such representation manifolds. The thesis ends with the singular problem of representational drift in the process of odor encoding carried out by the olfactory cortex, uncovering the potential synaptic plasticity mechanisms that could explain this recently observed phenomenon.Comment: A dissertation submitted to the University of Granada in partial fulfillment of the requirements for the degree of Doctor of Philosoph

Measurements, Models, Systems and Design

531 s.