Unmasking Clever Hans Predictors and Assessing What Machines Really Learn

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to well-informed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.Comment: Accepted for publication in Nature Communication

A cognitive hierarchy model of learning in networks

This paper proposes a method for estimating a hierarchical model of bounded rationality in games of learning in networks. A cognitive hierarchy comprises a set of cognitive types whose behavior ranges from random to substantively rational. SpeciÖcally, each cognitive type in the model corresponds to the number of periods in which economic agents process new information. Using experimental data, we estimate type distributions in a variety of task environments and show how estimated distributions depend on the structural properties of the environments. The estimation results identify signiÖcant levels of behavioral hetero-geneity in the experimental data and overall conÖrm comparative static conjectures on type distributions across task environments. Surprisingly, the model replicates the aggregate pat-terns of the behavior in the data quite well. Finally, we found that the dominant type in the data is closely related to Bayes-rational behavior

Flow State Experiences in Second Semester General Chemistry

“Flow” is a mental state in which a person experiences an optimal performance of an activity, when they are completely immersed in it. The flow state is characterized by a feeling of confidence, and the activity seems to be effortless. A person enters a state of flow when their skills performing a task (activity) matches its level of difficulty. They perceive that the task is neither too easy nor too difficult. Flow state experiences have been connected to increased levels of performance in domains such as athletics and music, as well as in academic domains such as learning foreign language. However, prior to my investigations, there has been little research examining flow state experiences within the context of chemistry. Through my work, utilizing a mixed methods research design, I have been able to establish a connection between students’ flow state experiences and their performance in second semester general chemistry. The pilot study included data from 157 participants, and the dissertation study included data from 150 participants. Additionally, I examined how students’ approaches to learning are related to both their flow state experiences and their performance. Qualitative data from student interviews allowed us to gain deeper insight into the quantitative findings. Based on these findings, I can offer possible instructional strategies that can be implemented to facilitate students to enter this optimal state of flow

A Hierarchical Model of Virtual Experience and Its Influences on the Perceived Value and Loyalty of Customers

Many businesses use virtual experience (VE) to enhance the overall customer experience, though extant research offers little guidance for how to improve consumers’ VE. This study, anchored in activity theory, examines key drivers of VE and its influences on value perceptions and customer loyalty. A hierarchical model indicates that VE comprises second-order variables (i.e., social presence, social capital, flow experience, and situational involvement) and third-order variables (i.e., communal and individual experience). The results obtained from a substantive model further reveal that VE positively influences perceptions of both economic and social value and thus influences loyalty in both the real world and virtual environments

Cooperation, Uncertainty, Creativity

Doktori kutatásomban az emergens kooperáció kérdését jártam körbe. Kiinduló felvetésem olyan közösségi szintű problémamegoldó helyzetek kommunikációs dinamikájának feltárására irányult, melyek valamilyen mértékű bizonytalansággal jellemezhetők: olyan személyközi helyzeteket szerettem volna vizsgálni, ahol az együttműködés általános keretei vagy a kooperáló csoport határai rosszul vagy lazán definiáltak. Erős elméleti fókusz mellett a résztvevő megfigyelés módszerével végeztem terepkutatást azzal a céllal, hogy az empirikus munka tapasztalatait az elméletalkotásba visszafordítsam. Módszerem így lényegében a megalapozott elmélet eljárásrendjét követi. Az elméleti vizsgálódás egyik fő mozgatója az az észrevétel, hogy azok a kooperációval foglalkozó elméletek, melyek a jelenséget a legáltalánosabb érvényű axiomatikus szinten kívánják megragadni, olyan statikus fogalmi kerettel operálnak, mely vagy a kooperáló csoportot, vagy a kooperációs elveket rögzíti, és elsősorban stabil társadalmi berendezkedés magyarázatára alkalmasak. Nem foglalkoznak azokkal a dinamikákkal, melyek változás, bizonytalanság esetén, vagy olyan helyzetekben dominánsabbak, melyeket egymással nem összeegyeztethető észlelések jellemeznek. A kommunikációs mozzanat szerepe megkerülhetetlen az ilyen helyzetek magyarázatához, és a dolgozatban amellett érvelek, hogy valamely kommunikációs színtérben megfigyelhető stílusok, stratégiák, koordinációs és tudás-mintázatok és az ott mutatkozó kooperációs potenciál között olyan szisztematikus, kvalitatív módon jellemezhető összefüggés van, melyet érdemes a kooperáció általános, axiomatikus megragadásában is figyelembe venni még akkor is, ha a szerepe bizonyos helyzetekben elhanyagolható. Hangsúlyosan a közgazdaságtudomány és evolúciós pszichológia játékelméleti alapú megközelítéseiből kiindulva járom körül a kooperáció és kommunikáció viszonyának kezelését játékelméleti alapú, viselkedéses kísérleti paradigmákban és különböző kommunikációelméletekben. Ezeknek a megragadásoknak olyan szintézisét és kiegészítését mutatom be, amely a kreativitás, társadalmi változás, privát világok és publikus szemantikák közötti átjárás interdiszciplináris megközelítéseit mozgósítja. A bemutatott kerethez megfigyelési és elemzési szempontrendszert társítok, melyet működésében a kiválasztott kutatási terepek sűrű leírásaiban mutatok be. A kutatási kérdéseim természetéből és a kutatás irányából adódóan a harmadik kutatási terepem képzőművészeti eszközöket mozgósító színtér volt, ahol a vizuális alkotási folyamattal támogatott kommunikációval kapcsolatban nyertem általánosítható meglátásokat. Az itt generált és megfigyelt folyamatok elemzése olyan új perspektívát eredményezett, amely alternatív keretet kínál a közösségi, részvételi művészeti gyakorlatok megragadásához általában

Online Build-Order Optimization for Real-Time Strategy Agents Using Multi-Objective Evolutionary Algorithms

The investigation introduces a novel approach for online build-order optimization in real-time strategy (RTS) games. The goal of our research is to develop an artificial intelligence (AI) RTS planning agent for military critical decision- making education with the ability to perform at an expert human level, as well as to assess a players critical decision- making ability or skill-level. Build-order optimization is modeled as a multi-objective problem (MOP), and solutions are generated utilizing a multi-objective evolutionary algorithm (MOEA) that provides a set of good build-orders to a RTS planning agent. We de ne three research objectives: (1) Design, implement and validate a capability to determine the skill-level of a RTS player. (2) Design, implement and validate a strategic planning tool that produces near expert level build-orders which are an ordered sequence of actions a player can issue to achieve a goal, and (3) Integrate the strategic planning tool into our existing RTS agent framework and an RTS game engine. The skill-level metric we selected provides an original and needed method of evaluating a RTS players skill-level during game play. This metric is a high-level description of how quickly a player executes a strategy versus known players executing the same strategy. Our strategic planning tool combines a game simulator and an MOEA to produce a set of diverse and good build-orders for an RTS agent. Through the integration of case-base reasoning (CBR), planning goals are derived and expert build- orders are injected into a MOEA population. The MOEA then produces a diverse and approximate Pareto front that is integrated into our AI RTS agent framework. Thus, the planning tool provides an innovative online approach for strategic planning in RTS games. Experimentation via the Spring Engine Balanced Annihilation game reveals that the strategic planner is able to discover build-orders that are better than an expert scripted agent and thus achieve faster strategy execution times

Exploring Hopes And Fears From Supply Chain Innovations: An Analysis Of Antecedents And Consequences Of Supply Chain Knowledge Exchanges

This dissertation sheds light on severalhopes and fears from supply chain innovation in three distinct papers. Paper one introduces the concept of Process Innovation Propagation as an appropriation technique helping to extract the most returns out of a process innovation by exporting to supply chain partners. Paper two devises and empirically tests knowledge properties that best lead to radical and incremental supply chain innovative capabilities. Lastly, paper three conducts an exploratory study that introduces factors affecting a firm’s optimum supply chain innovation strategy. The dissertation makes a strong argument that supply chain innovation is most prominently governed by power asymmetry that may either help or hurt innovative performance