Monte Carlo Tree Search with Heuristic Evaluations using Implicit Minimax Backups

Monte Carlo Tree Search (MCTS) has improved the performance of game engines in domains such as Go, Hex, and general game playing. MCTS has been shown to outperform classic alpha-beta search in games where good heuristic evaluations are difficult to obtain. In recent years, combining ideas from traditional minimax search in MCTS has been shown to be advantageous in some domains, such as Lines of Action, Amazons, and Breakthrough. In this paper, we propose a new way to use heuristic evaluations to guide the MCTS search by storing the two sources of information, estimated win rates and heuristic evaluations, separately. Rather than using the heuristic evaluations to replace the playouts, our technique backs them up implicitly during the MCTS simulations. These minimax values are then used to guide future simulations. We show that using implicit minimax backups leads to stronger play performance in Kalah, Breakthrough, and Lines of Action.Comment: 24 pages, 7 figures, 9 tables, expanded version of paper presented at IEEE Conference on Computational Intelligence and Games (CIG) 2014 conferenc

La révolution féministe contemporaine d'après Alison Jaggar

Dans Feminist Politics and Human Nature, publié en 1983, la philosophe américaine Alison Jaggar expose les idéologies des féminismes libéral, marxiste, radical, et socialiste, en fait l’épistémologie, et conclut que le féminisme socialiste est celui qui convient le mieux à la participation' de la femme au renouvellement social. Par ailleurs, les féministes de toutes les tendances proposent des transformations qui, pour la plupart, sont nettement révolutionnaires, d’où le titre de ce mémoire, «La révolution féministe», qui résume, dans les grandes lignes, les thèmes exploités par cette auteure

Observation of a multimode plasma response and its relationship to density pumpout and edge-localized mode suppression

Density pumpout and edge-localized mode (ELM) suppression by applied n=2 magnetic fields in low-collisionality DIII-D plasmas are shown to be correlated with the magnitude of the plasma response driven on the high-field side (HFS) of the magnetic axis but not the low-field side (LFS) midplane. These distinct responses are a direct measurement of a multimodal magnetic plasma response, with each structure preferentially excited by a different n=2 applied spectrum and preferentially detected on the LFS or HFS. Ideal and resistive magneto-hydrodynamic (MHD) calculations find that the LFS measurement is primarily sensitive to the excitation of stable kink modes, while the HFS measurement is primarily sensitive to resonant currents (whether fully shielding or partially penetrated). The resonant currents are themselves strongly modified by kink excitation, with the optimal applied field pitch for pumpout and ELM suppression significantly differing from equilibrium field alignment.This material is based upon work supported by the U.S. Department of Energy, Office of Science, Office of Fusion Energy Sciences, using the DIII-D National Fusion Facility, a DOE Office of Science user facility, under Awards No. DE-FC02-04ER54698, No. DE-AC02-09CH11466, No. DE-FG02-04ER54761, No. DE-AC05-06OR23100, No. DE-SC0001961, and No. DE-AC05-00OR22725. S. R. H. was supported by AINSE and ANSTO

Hindsight and Sequential Rationality of Correlated Play

Driven by recent successes in two-player, zero-sum game solving and playing, artificial intelligence work on games has increasingly focused on algorithms that produce equilibrium-based strategies. However, this approach has been less effective at producing competent players in general-sum games or those with more than two players than in two-player, zero-sum games. An appealing alternative is to consider adaptive algorithms that ensure strong performance in hindsight relative to what could have been achieved with modified behavior. This approach also leads to a game-theoretic analysis, but in the correlated play that arises from joint learning dynamics rather than factored agent behavior at equilibrium. We develop and advocate for this hindsight rationality framing of learning in general sequential decision-making settings. To this end, we re-examine mediated equilibrium and deviation types in extensive-form games, thereby gaining a more complete understanding and resolving past misconceptions. We present a set of examples illustrating the distinct strengths and weaknesses of each type of equilibrium in the literature, and prove that no tractable concept subsumes all others. This line of inquiry culminates in the definition of the deviation and equilibrium classes that correspond to algorithms in the counterfactual regret minimization (CFR) family, relating them to all others in the literature. Examining CFR in greater detail further leads to a new recursive definition of rationality in correlated play that extends sequential rationality in a way that naturally applies to hindsight evaluation.Comment: Technical report for a paper in the proceedings of the thirty-fifth AAAI Conference on Artificial Intelligence (AAAI-21), February 2-9, 2021, Virtual. 26 pages and 15 figure

Bounds and dynamics for empirical game theoretic analysis

This paper provides several theoretical results for empirical game theory. Specifically, we introduce bounds for empirical game theoretical analysis of complex multi-agent interactions. In doing so we provide insights in the empirical meta game showing that a Nash equilibrium of the estimated meta-game is an approximate Nash equilibrium of the true underlying meta-game. We investigate and show how many data samples are required to obtain a close enough approximation of the underlying game. Additionally, we extend the evolutionary dynamics analysis of meta-games using heuristic payoff tables (HPTs) to asymmetric games. The state-of-the-art has only considered evolutionary dynamics of symmetric HPTs in which agents have access to the same strategy sets and the payoff structure is symmetric, implying that agents are interchangeable. Finally, we carry out an empirical illustration of the generalised method in several domains, illustrating the theory and evolutionary dynamics of several versions of the AlphaGo algorithm (symmetric), the dynamics of the Colonel Blotto game played by human players on Facebook (symmetric), the dynamics of several teams of players in the capture the flag game (symmetric), and an example of a meta-game in Leduc Poker (asymmetric), generated by the policy-space response oracle multi-agent learning algorithm

Distribution and Community Characteristics of Staging Shorebirds on the Northern Coast of Alaska

Avian studies conducted in the 1970s on Alaska’s Arctic Coastal Plain (ACP) indicated that coastal littoral habitats are important to Arctic-breeding shorebirds for staging prior to fall migration. However, relatively little recent, broad-scale, or quantitative information exists on shorebird use of staging areas in this region. To locate possible shorebird concentration areas in the littoral zone of the ACP, we conducted aerial surveys from the southwest end of Kasegaluk Lagoon on the Chukchi Sea to Demarcation Point on the Beaufort Sea during the summers of 2005–07. These surveys identified persistent within- and between-year concentrations of staging shorebirds at Peard Bay, Point Barrow/Elson Lagoon, Cape Simpson, and Smith Bay to Cape Halkett. Among river deltas in the Beaufort Sea, the Sagavanirktok and Kongakut deltas had large concentrations of staging shorebirds. We also collected data on shorebird community characteristics, staging phenology, and habitat use in 2005 and 2006 by conducting land-based surveys at six camps: Kasegaluk Lagoon, Peard Bay, Point Barrow/Elson Lagoon, Colville Delta, Sagavanirktok Delta, and Okpilak Delta. The shorebird community was more even and diverse (evenness E and Shannon Weiner H’) along the Beaufort Sea compared to the Chukchi Sea and in 2005 versus 2006. Staging phenology varied by species and location and differed for several species from that reported in previous studies. Our results suggest the existence of three foraging habitat guilds among the shorebird species observed in this study: gravel beach, mudflat, and salt marsh/pond edge. A comparison to data collected in the mid-1970s suggests that these foraging associations are conserved through time. Results from this research will be useful to land managers for monitoring the effects of changing environmental conditions and human activity on shorebirds and their habitats in Arctic Alaska.Des études aviaires réalisées dans les années 1970 sur la plaine côtière de l’Arctique en Alaska ont permis de constater que les habitats du littoral côtier revêtent de l’importance pour les oiseaux de rivage nicheurs de l’Arctique en halte migratoire avant la migration d’automne. Cependant, relativement peu d’information récente, à grande échelle ou quantitative existe à propos de l’utilisation que font les oiseaux de rivage des haltes migratoires de cette région. Afin de localiser des zones de concentration possibles d’oiseaux de rivage dans la région littorale de la plaine côtière de l’Arctique, nous avons effectué des levés aériens du sud-ouest de la lagune Kasegaluk dans la mer des Tchouktches jusqu’à Demarcation Point dans la mer de Beaufort au cours des étés allant de 2005 à 2007. Ces levés ont permis de repérer des concentrations durables d’oiseaux de rivage en halte migratoire au cours d’une même année ainsi que d’une année à l’autre à la baie Peard, à pointe Barrow et à la lagune Elson, au cap Simpson de même que de la baie Smith jusqu’au cap Halkett. Parmi les deltas de rivières de la mer de Beaufort, les deltas Sagavanirktok et Kongakut comptaient de fortes concentrations d’oiseaux de rivage en halte migratoire. Nous avons également recueilli des données sur les caractéristiques des populations d’oiseaux de rivage, sur la phénologie des haltes migratoires de même que sur l’utilisation des habitats en 2005 et en 2006 au moyen de levés terrestres effectués à six camps, soit celui de la lagune Kasegaluk, de la baie Peard, de la pointe Barrow et de la lagune Elson, du delta Colville, du delta Sagavanirktok et du delta Okpilak. La population d’oiseaux de rivage était plus homogène et diverse (homogénéité E et Shannon Weiner H’) le long de la mer de Beaufort comparativement à la mer des Tchouktches, ainsi qu’en 2005 par rapport à 2006. La phénologie en halte migratoire variait selon les espèces et les emplacements, et différait pour plusieurs espèces de celles signalées dans le cadre d’études ultérieures. Nos résultats laissent croire à l’existence de trois guildes d’habitats de fourrage chez les espèces d’oiseaux de rivage observées dans cette étude : plage de gravier, vasière et marais salant ou bordure d’étang. La comparaison des données recueillies au milieu des années 1970 laisse entendre que ces associations de fourrage se sont conservées au fil du temps. Les résultats découlant de cette recherche seront utiles aux gestionnaires de terres dans le cadre de la surveillance des effets des conditions environnementales changeantes et de l’activité humaine sur les oiseaux de rivage et leurs habitats de l’Arctique alaskien

Distribution of Breeding Shorebirds on the Arctic Coastal Plain of Alaska

Available information on the distribution of breeding shorebirds across the Arctic Coastal Plain of Alaska is dated, fragmented, and limited in scope. Herein, we describe the distribution of 19 shorebird species from data gathered at 407 study plots between 1998 and 2004. This information was collected using a single-visit rapid area search technique during territory establishment and early incubation periods, a time when social displays and vocalizations make the birds highly detectable. We describe the presence or absence of each species, as well as overall numbers of species, providing a regional perspective on shorebird distribution. We compare and contrast our shorebird distribution maps to those of prior studies and describe prominent patterns of shorebird distribution. Our examination of how shorebird distribution and numbers of species varied both latitudinally and longitudinally across the Arctic Coastal Plain of Alaska indicated that most shorebird species occur more frequently in the Beaufort Coastal Plain ecoregion (i.e., closer to the coast) than in the Brooks Foothills ecoregion (i.e., farther inland). Furthermore, the occurrence of several species indicated substantial longitudinal directionality. Species richness at surveyed sites was highest in the western portion of the Beaufort Coastal Plain ecoregion. The broad-scale distribution information we present here is valuable for evaluating potential effects of human development and climate change on Arctic-breeding shorebird populations.Les renseignements qui existent en matière de répartition des oiseaux de rivage en reproduction sur la plaine côtière de l’Arctique en Alaska sont anciens, fragmentés et restreints. Ici, nous décrivons la répartition de 19 espèces d’oiseaux de rivage à partir de données recueillies à 407 lieux de recherche entre 1998 et 2004. Cette information a été recueillie grâce à une technique de recherche consistant en une seule visite rapide durant les périodes d’établissement du territoire et de début d’incubation, périodes pendant lesquelles les comportements sociaux et les vocalisations permettent de bien repérer les oiseaux. Nous décrivons la présence ou l’absence de chaque espèce, de même que le nombre général d’espèces, ce qui procure une perspective régionale de la répartition des oiseaux de rivage. Nous comparons et contrastons nos cartes de répartition des oiseaux de rivage à celles d’études antérieures, en plus de décrire les tendances les plus marquées en matière de répartition des oiseaux de rivage. Notre examen de la variation latitudinale et longitudinale en matière de répartition et de nombre d’espèces d’oiseaux de rivage à l’échelle de la plaine côtière arctique de l’Alaska nous a permis de constater que la plupart des espèces d’oiseaux de rivage se manifestaient plus souvent dans la région écologique de la plaine côtière de Beaufort (c’est-à-dire plus proche de la côte) que dans la région écologique des contreforts de Brooks (c’est-à-dire plus à l’intérieur des terres). Par ailleurs, l’occurrence de plusieurs espèces indiquait une directionalité longitudinale substantielle. La richesse des espèces aux sites à l’étude était à son meilleur dans la partie ouest de la région écologique de la plaine côtière de Beaufort. Les renseignements sur la répartition à grande échelle que nous présentons ici jouent un rôle dans l’évaluation des effets éventuels des travaux de mise en valeur par l’être humain et du changement climatique sur les populations d’oiseaux de rivage en reproduction de l’Arctique