Caring for what matters

n/

Accounting for variance and hyperparameter optimization in machine learning benchmarks

La récente révolution de l'apprentissage automatique s'est fortement appuyée sur l'utilisation de bancs de test standardisés. Ces derniers sont au centre de la méthodologie scientifique en apprentissage automatique, fournissant des cibles et mesures indéniables des améliorations des algorithmes d'apprentissage. Ils ne garantissent cependant pas la validité des résultats ce qui implique que certaines conclusions scientifiques sur les avancées en intelligence artificielle peuvent s'avérer erronées. Nous abordons cette question dans cette thèse en soulevant d'abord la problématique (Chapitre 5), que nous étudions ensuite plus en profondeur pour apporter des solutions (Chapitre 6) et finalement developpons un nouvel outil afin d'amélioration la méthodologie des chercheurs (Chapitre 7). Dans le premier article, chapitre 5, nous démontrons la problématique de la reproductibilité pour des bancs de test stables et consensuels, impliquant que ces problèmes sont endémiques aussi à de grands ensembles d'applications en apprentissage automatique possiblement moins stable et moins consensuels. Dans cet article, nous mettons en évidence l'impact important de la stochasticité des bancs de test, et ce même pour les plus stables tels que la classification d'images. Nous soutenons d'après ces résultats que les solutions doivent tenir compte de cette stochasticité pour améliorer la reproductibilité des bancs de test. Dans le deuxième article, chapitre 6, nous étudions les différentes sources de variation typiques aux bancs de test en apprentissage automatique, mesurons l'effet de ces variations sur les méthodes de comparaison d'algorithmes et fournissons des recommandations sur la base de nos résultats. Une contribution importante de ce travail est la mesure de la fiabilité d'estimateurs peu coûteux à calculer mais biaisés servant à estimer la performance moyenne des algorithmes. Tel qu'expliqué dans l'article, un estimateur idéal implique plusieurs exécution d'optimisation d'hyperparamètres ce qui le rend trop coûteux à calculer. La plupart des chercheurs doivent donc recourir à l'alternative biaisée, mais nous ne savions pas jusqu'à présent la magnitude de la dégradation de cet estimateur. Sur la base de nos résultats, nous fournissons des recommandations pour la comparison d'algorithmes sur des bancs de test avec des budgets de calculs limités. Premièrement, les sources de variations devraient être randomisé autant que possible. Deuxièmement, la randomization devrait inclure le partitionnement aléatoire des données pour les ensembles d'entraînement, de validation et de test, qui s'avère être la plus importante des sources de variance. Troisièmement, des tests statistiques tel que la version du Mann-Withney U-test présenté dans notre article devrait être utilisé plutôt que des comparisons sur la simple base de moyennes afin de prendre en considération l'incertitude des mesures de performance. Dans le chapitre 7, nous présentons un cadriciel d'optimisation d'hyperparamètres développé avec principal objectif de favoriser les bonnes pratiques d'optimisation des hyperparamètres. Le cadriciel est conçu de façon à privilégier une interface simple et intuitive adaptée aux habitudes de travail des chercheurs en apprentissage automatique. Il inclut un nouveau système de versionnage d'expériences afin d'aider les chercheurs à organiser leurs itérations expérimentales et tirer profit des résultats antérieurs pour augmenter l'efficacité de l'optimisation des hyperparamètres. L'optimisation des hyperparamètres joue un rôle important dans les bancs de test, les hyperparamètres étant un facteur confondant significatif. Fournir aux chercheurs un instrument afin de bien contrôler ces facteurs confondants est complémentaire aux recommandations pour tenir compte des sources de variation dans le chapitre 6. Nos recommendations et l'outil pour l'optimisation d'hyperparametre offre une base solide pour une méthodologie robuste et fiable.The recent revolution in machine learning has been strongly based on the use of standardized benchmarks. Providing clear target metrics and undeniable measures of improvements of learning algorithms, they are at the center of the scientific methodology in machine learning. They do not ensure validity of results however, therefore some scientific conclusions based on flawed methodology may prove to be wrong. In this thesis we address this question by first raising the issue (Chapter 5), then we study it to find solutions and recommendations (Chapter 6) and build tools to help improve the methodology of researchers (Chapter 7). In first article, Chapter 5, we demonstrate the issue of reproducibility in stable and consensual benchmarks, implying that these issues are endemic to a large ensemble of machine learning applications that are possibly less stable or less consensual. We raise awareness of the important impact of stochasticity even in stable image classification tasks and contend that solutions for reproducible benchmarks should account for this stochasticity. In second article, Chapter 6, we study the different sources of variation that are typical in machine learning benchmarks, measure their effect on comparison methods to benchmark algorithms and provide recommendations based on our results. One important contribution of this work is that we measure the reliability of a cheaper but biased estimator for the average performance of algorithms. As explained in the article, an ideal estimator involving multiple rounds of hyperparameter optimization is too computationally expensive. Most researchers must resort to use the biased alternative, but it has been unknown until now how serious a degradation of the quality of estimation this leads to. Our investigations provides guidelines for benchmarks on practical budgets. First, as many sources of variations as possible should be randomized. Second, the partitioning of data in training, validation and test sets should be randomized as well, since this is the most important source of variation. Finally, statistical tests should be used instead of ad-hoc average comparisons so that the uncertainty of performance estimation can be accounted for when comparing machine learning algorithms. In Chapter 7, we present a framework for hyperparameter optimization that has been developed with the main goal of encouraging best practices for hyperparameter optimization. The framework is designed to favor a simple and intuitive interface adapted to the workflow of machine learning researchers. It includes a new version control system for experiments to help researchers organize their rounds of experimentations and leverage prior results for more efficient hyperparameter optimization. Hyperparameter optimization plays an important role in benchmarking, with the effect of hyperparameters being a serious confounding factor. Providing an instrument for researchers to properly control this confounding factor is complementary to our guidelines to account for sources of variation in Chapter 7. Our recommendations together with our tool for hyperparameter optimization provides a solid basis for a reliable methodology in machine learning benchmarks

L’immigration internationale, un fait politique

L’article retrace les sources de l’immigration vers le Canada et les États-Unis depuis l’après-guerre et brosse un tableau de l’immigration pratiquée en Europe de l’Ouest. Traiter de l’immigration internationale, c’est aussi toucher aux pratiques des pays d’accueil en cette matière : leurs politiques aux frontières (sélection) mais aussi leurs politiques à l’intérieur (accueil, intégration). Enfin, toujours en termes politiques, l’immigration peut être perçue dans un jeu de relations de pouvoir qui s’établissent tant au niveau international, entre le pays d’accueil et d’autres pays, qu’au sein même de la société d’accueil.This article retraces the sources of immigration towards Canada and the United States during the post-war period, and paints a picture of the immigration practiced in Western Europe. Dealing with international immigration also means touching on the immigration practices of the receiving countries: their border policies (selection), as well as their policies in the interior (integration). Finally, still in political terms, immigration can be perceived in a power relation game that is established, at the international level, between the receiving countries and other countries, or within the very receiving society.Este artículo rastrea el origen de la inmigración hacia Canadá y Estados Unidos desde el período de la posguerra y bosqueja un cuadro de la inmigración que tuvo lugar en el oeste de Europa. Hablar de la inmigración internacional, es también abordar las normas de los países de destino en esta materia: no nada más en Io que se refiere a su política exterior (de selección), sino también a su política interna (de integración). Para continuar con el aspecto politico de la inmigración, a esta se le puede percibir finalmente dentro del juego de relaciones de poder que se establecen tanto a nivel internacional, entre el país receptor y los otros países, así como en el seno de la propia sociedad de acogida

An Evaluation of the Eating Behaviors of Honors College Undergraduate Students at the University of Mississippi

Eating disorders are defined as an illness that changes one’s relationship with food, that ultimately affects one’s emotions, thoughts, and physical well-being. Three types of eating disorders most commonly diagnosed are anorexia nervosa, bulimia nervosa, and disordered eating. It is important to note that disordered eating is a term used to describe abnormal eating behaviors and feelings related to food that may or may not fall into a certain diagnostic category (Anderson, 2018). Many college students today are diagnosed with an eating disorder or disordered eating as a result of the increasing anxiety and pressures experienced at this age. The purpose of this study was to determine if undergraduate students at the University of Mississippi have an unhealthy relationship with food and body image. Eating disorders and disordered eating has yet to be addressed at the programmatic level at the University of Mississippi. The research in this study will add to our knowledge of disordered eating on college campuses, specifically the University of Mississippi. This study examined knowledge of on-campus resources for students with disordered eating. Students’ attitudes towards eating behaviors and their awareness of eating disorders were evaluated through a Qualtrics survey (Appendix B) and a questionnaire (Appendix A) completed by faculty. Data analytics tests examined the distribution of responses across age, gender, and the effect of weight on respondents who knew someone with an eating disorder. Results indicated, that there was no significance between age, however there was significant difference in responses based on gender and the effect of weight on respondents who knew someone with an eating disorder. This demonstrates that weight affects self-image differently based on gender, and if a person knows someone with an eating disorder

Évaluation des impacts des activités touristiques dans la région du parc marin du Saguenay-Saint-Laurent

Suite à la croissance de l’industrie touristique, les impacts causés par ce commerce ne font qu’augmenter dans les différents secteurs de la société. Dans cette optique, le parc marin du Saguenay-Saint-Laurent, un lieu touristique très achalandé, intègre le concept de développement durable à sa gestion afin de réduire les impacts négatifs que le tourisme peut engendrer. Cependant, malgré l’intégration du développement durable à la gestion du parc, les efforts doivent être poursuivis afin de déterminer les impacts que différentes activités du parc marin peuvent causer sur l’économie, le social et l’environnement. L’essai suivant cherche alors à évaluer les impacts de cinq activités touristiques du parc marin, et ce, sur les trois sphères du développement durable. Il vise aussi à trouver des améliorations possibles pour réduire les impacts de ces activités, afin de les rendre davantage respectueuses du concept de développement durable. L’évaluation de ces activités à l’aide de la Boussole Bernoise a permis de classifier les cinq activités selon un ordre croissant de développement durable. Ainsi, la pêche récréative correspond à l’activité la moins développement durable, suivi de la plongée sous-marine, des bateaux de croisière, des petites embarcations à moteur, pour finir avec le kayak, l’activité la plus développement durable. De plus, il a été possible de constater que les impacts pour les sphères économiques et sociales étaient principalement positifs pour chacune des activités, alors que pour la sphère environnementale les impacts étaient négatifs. Les améliorations à apporter visent alors les aspects négatifs de la sphère environnementale pour chacune des activités. Ainsi, certains impacts communs aux différentes activités, telles que l’introduction d’espèces invasives, la pollution aux hydrocarbures, la pollution aux eaux grises et les risques de collisions avec la faune, ont été répertoriés afin de leur trouver des améliorations. La sensibilisation des touristes demeure l’amélioration applicable à chacun des impacts, puisqu'elle permet d’intégrer des astuces simples que les touristes peuvent appliquer. Certaines astuces sont aussi simples que de nettoyer les équipements pour éviter la propagation d’espèces invasives ou encore d’utiliser un tampon lors du remplissage du moteur afin d’éviter la pollution accidentelle aux hydrocarbures. Finalement, l’essai a permis de constater que le parc marin du Saguenay-Saint-Laurent est déjà un précurseur dans la gestion du parc selon une approche de développement durable. Ainsi, les activités qui s’y déroulent sont déjà réglementées afin de réduire les impacts qu’elles peuvent produire. Cependant, des améliorations peuvent toujours être apportées