A study in Rashomon curves and volumes: A new perspective on generalization and model simplicity in machine learning

The Rashomon effect occurs when many different explanations exist for the same phenomenon. In machine learning, Leo Breiman used this term to characterize problems where many accurate-but-different models exist to describe the same data. In this work, we study how the Rashomon effect can be useful for understanding the relationship between training and test performance, and the possibility that simple-yet-accurate models exist for many problems. We consider the Rashomon set - the set of almost-equally-accurate models for a given problem - and study its properties and the types of models it could contain. We present the Rashomon ratio as a new measure related to simplicity of model classes, which is the ratio of the volume of the set of accurate models to the volume of the hypothesis space; the Rashomon ratio is different from standard complexity measures from statistical learning theory. For a hierarchy of hypothesis spaces, the Rashomon ratio can help modelers to navigate the trade-off between simplicity and accuracy. In particular, we find empirically that a plot of empirical risk vs. Rashomon ratio forms a characteristic $\Gamma$-shaped Rashomon curve, whose elbow seems to be a reliable model selection criterion. When the Rashomon set is large, models that are accurate - but that also have various other useful properties - can often be obtained. These models might obey various constraints such as interpretability, fairness, or monotonicity.Comment: Revisited sections 3, 4, 5, 6, 7, and

A Path to Simpler Models Starts With Noise

The Rashomon set is the set of models that perform approximately equally well on a given dataset, and the Rashomon ratio is the fraction of all models in a given hypothesis space that are in the Rashomon set. Rashomon ratios are often large for tabular datasets in criminal justice, healthcare, lending, education, and in other areas, which has practical implications about whether simpler models can attain the same level of accuracy as more complex models. An open question is why Rashomon ratios often tend to be large. In this work, we propose and study a mechanism of the data generation process, coupled with choices usually made by the analyst during the learning process, that determines the size of the Rashomon ratio. Specifically, we demonstrate that noisier datasets lead to larger Rashomon ratios through the way that practitioners train models. Additionally, we introduce a measure called pattern diversity, which captures the average difference in predictions between distinct classification patterns in the Rashomon set, and motivate why it tends to increase with label noise. Our results explain a key aspect of why simpler models often tend to perform as well as black box models on complex, noisier datasets.Comment: NeurIPS 202

Multitask Learning for Citation Purpose Classification

We present our entry into the 2021 3C Shared Task Citation Context Classification based on Purpose competition. The goal of the competition is to classify a citation in a scientific article based on its purpose. This task is important because it could potentially lead to more comprehensive ways of summarizing the purpose and uses of scientific articles, but it is also difficult, mainly due to the limited amount of available training data in which the purposes of each citation have been hand-labeled, along with the subjectivity of these labels. Our entry in the competition is a multi-task model that combines multiple modules designed to handle the problem from different perspectives, including hand-generated linguistic features, TF-IDF features, and an LSTM-with-attention model. We also provide an ablation study and feature analysis whose insights could lead to future work.Comment: Second Workshop on Scholarly Document Processin

Fast and Interpretable Mortality Risk Scores for Critical Care Patients

Prediction of mortality in intensive care unit (ICU) patients is an important task in critical care medicine. Prior work in creating mortality risk models falls into two major categories: domain-expert-created scoring systems, and black box machine learning (ML) models. Both of these have disadvantages: black box models are unacceptable for use in hospitals, whereas manual creation of models (including hand-tuning of logistic regression parameters) relies on humans to perform high-dimensional constrained optimization, which leads to a loss in performance. In this work, we bridge the gap between accurate black box models and hand-tuned interpretable models. We build on modern interpretable ML techniques to design accurate and interpretable mortality risk scores. We leverage the largest existing public ICU monitoring datasets, namely the MIMIC III and eICU datasets. By evaluating risk across medical centers, we are able to study generalization across domains. In order to customize our risk score models, we develop a new algorithm, GroupFasterRisk, which has several important benefits: (1) it uses hard sparsity constraint, allowing users to directly control the number of features; (2) it incorporates group sparsity to allow more cohesive models; (3) it allows for monotonicity correction on models for including domain knowledge; (4) it produces many equally-good models at once, which allows domain experts to choose among them. GroupFasterRisk creates its risk scores within hours, even on the large datasets we study here. GroupFasterRisk's risk scores perform better than risk scores currently used in hospitals, and have similar prediction performance to black box ML models (despite being much sparser). Because GroupFasterRisk produces a variety of risk scores and handles constraints, it allows design flexibility, which is the key enabler of practical and trustworthy model creation

Professional skill of teacher of higher technical education institution

Проблема підготовки висококваліфікованих фахівців технічних спеціальностей постає дедалі гостріше в сучасному інформаційному середовищі. Як показали дослідження, професіоналізм викладача та його вмотивованість до професійної діяльності є важливим чинником для визначення успішності навчання студентів, навіть після попереднього досвіду здобуття освіти та особливостей їх походження. Професіоналізм викладача зазвичай включає такі чинники, як атестація, тип кваліфікації, здобуті наукові ступені чи багаторічний досвід. Ще один, не менш важливий показник професіоналізму викладача – це його педагогічна майстерність.The article analyzes the notion of pedagogical skills and motivation of teachers of the FTA to its development. The most important components of pedagogical skills of teachers are revealed, which include: personal component: activity, personality culture, hardwork, self-discipline, self-development, etc.; social component: personality orientation, high moral, humanistic orientation, etc.; innovative component: pedagogical creativity, knowledge of information and communication technologies; component of professional activity: experience, educational technology, knowledge and skills

Professional skill of teacher of higher technical education institution

Проблема підготовки висококваліфікованих фахівців технічних спеціальностей постає дедалі гостріше в сучасному інформаційному середовищі. Як показали дослідження, професіоналізм викладача та його вмотивованість до професійної діяльності є важливим чинником для визначення успішності навчання студентів, навіть після попереднього досвіду здобуття освіти та особливостей їх походження. Професіоналізм викладача зазвичай включає такі чинники, як атестація, тип кваліфікації, здобуті наукові ступені чи багаторічний досвід. Ще один, не менш важливий показник професіоналізму викладача – це його педагогічна майстерність.The article analyzes the notion of pedagogical skills and motivation of teachers of the FTA to its development. The most important components of pedagogical skills of teachers are revealed, which include: personal component: activity, personality culture, hardwork, self-discipline, self-development, etc.; social component: personality orientation, high moral, humanistic orientation, etc.; innovative component: pedagogical creativity, knowledge of information and communication technologies; component of professional activity: experience, educational technology, knowledge and skills

Psychological features of the media's influence on the human psyche in the conditions of information warfare

Війна інформації на сьогодні стала одним з найнебезпечніших видів зброї. Користуватися компроматами, виливанням бруду, підкиданням неправдивої інформації, намагання за допомогою інформації ввести в оману стало для багатьох сенсом життя. Зважаючи на роль інформації у сучасному світі, американський дослідник Маклюен виводить цікаву тезу, яка звучить так: «Істинно тотальна війна - це війна за допомогою інформації». Мета інформаційної війни - послабити моральні і матеріальні сили супротивника або конкурента та посилити власні. Вона передбачає заходи пропагандистського впливу на свідомість людини в ідеологічній та емоційній галузях.The article analyze the psychological features of the media influence on the human psyche in the information warfare conditions. Attention is paid to the characteristics of the types of manipulation of human consciousness and behavior. The importance of creating condititions for human information security during martial law is substantiated

Gender charakteristics of the manifestation of leadership among student youth

У статті проводиться теоретичний аналіз та емпіричне дослідження гендерних особливостей прояву лідерства у студентської молоді. Мета статті полягає у теоретичному обґрунтуванні та емпіричному визначенні гендерних особливості прояву лідерства у студентської молоді. Результати. У ході емпіричного дослідження вдалося встановити: яскраво виражені лідерські якості зустрічаються переважно у жінок, ніж у чоловіків, жінки виявляють себе як впевнені, домінантні, наполегливі. Проте, порівняльний аналіз не виявив статистично значущі відмінності у прояві лідерських якостей за статевою ознакою – у чоловіків і жінок (за методикою Є. Жарикова, Є. Крушельницького); така якість виражена більше у чоловіків, ніж у жінок. Це характеризує чоловіків як наполегливих, вони вміють керувати своїми емоціями, ефективно розподіляти час (значні розбіжності на 1% рівні значимості); жінки характеризуються більш вираженим творчим підходом у вирішенні важких ситуацій та професійних завдань, люблять шукати та пробувати щось нове, легко захоплюються новою справою, приймаючи рішення, схильні перебирати кілька варіантів (значні відмінності на 5% рівні значимості); у жінок, більш ніж у чоловіків, виражені «організаторські здібності». Це виявляється у тому, що жінки домагаються злагодженої роботи команди, намагаються у відносинах із людьми досягати порозуміння і знаходити спільну мову, добре відчувають і вгадують настрої товаришів (значні відмінності на 1% рівні значущості); чим вище у чоловіків прояви маскулінності, тим більшою мірою виявляються їх лідерські якості, у той же час, чим менше у жінок виявляються фемінні якості, тим більшою мірою виявляються у них лідерські якості; чим вище у чоловіків і жінок показник маскулінності, тим краще вони вміють керувати собою, зберігати самовладання у важких ситуаціях; Чим вище у чоловіків показники фемінінності, тим більше вони схильні до творчого підходу у вирішенні завдань; високий рівень андрогінності, тобто прояв одночасно чоловічих та жіночих рис, сприяє розвитку у жінок таких лідерських якостей як «уміння працювати з групою», тобто сприяє тому, що жінки-андрогіни вибудовують ефективні міжособистісні взаємини у групі, засновані на довірі, взаємопідтримці та розумінні, одночасно, вирішуючи ефективно вирішуючи перед групою поставлені завдання. Висновок. Чим вищі у чоловіків і жінок показник маскулінності, тим краще вони вміють керувати собою, зберігати самовладання у важких ситуаціях; Чим вище у чоловіків показники фемінінності, тим більше вони схильні до творчого підходу у вирішенні завдань. Притаманна фемінним чоловікам емоційність, емпатійність дозволяє їм шукати і пробувати щось нове, вибираючи, у тому числі, творчі професії. Високий рівень андрогінності, тобто прояв одночасно чоловічих і жіночих рис, сприяє розвитку у жінок таких лідерських якостей як «уміння працювати з групою», тобто сприяє тому, що жінки-андрогіни вибудовують ефективні міжособистісні взаємини в групі, засновані на довірі, взаємопідтримці та розумінні поставлених завдань.The article carries out a theoretical analysis and an empirical study of the gender characteristics of the manifestation of leadership among student youth. The purpose of the article is the theoretical justification and empirical determination of the gender characteristics of the manifestation of leadership among student youth. The results. In the course of empirical research, it was possible to establish: clearly expressed leadership qualities are found mainly in women than in men, women show themselves to be confident, dominant, persistent. However, the comparative analysis did not reveal statistically significant differences in the manifestation of leadership qualities by gender - in men and women (according to the methodology of E. Zharikov, E. Krushelnytskyi); this quality is expressed more in men than in women. This characterizes men as persistent, they know how to manage their emotions, allocate time effectively (significant differences at the 1% level of significance); women are characterized by a more pronounced creative approach to solving difficult situations and professional tasks, like to search and try new things, easily get excited about a new business when making decisions, tend to go through several options (significant differences at the 5% level of significance); women, more than men, have pronounced "organizational abilities". This is manifested in the fact that women strive for harmonious team work, try to reach understanding and find a common language in relations with people, feel and guess the moods of their colleagues well (significant differences at the 1% level of significance); the higher the manifestations of masculinity in men, the more their leadership qualities are revealed, at the same time, the less feminine qualities are revealed in women, the more leadership qualities are revealed in them; the higher the masculinity index in men and women, the better they are able to manage themselves, maintain composure in difficult situations; The higher the femininity indicators in men, the more they are inclined to a creative approach in solving tasks; a high level of androgyny, i.e. the manifestation of both masculine and feminine traits, contributes to the development of such leadership qualities in women as "the ability to work with a group", i.e. contributes to the fact that androgynous women build effective interpersonal relationships in a group, based on trust, mutual support and understanding, at the same time, effectively solving the tasks assigned to the group. Conclusion. The higher the masculinity index in men and women, the better they are able to manage themselves, to maintain composure in difficult situations; The higher the femininity indicators in men, the more they are inclined to a creative approach in solving tasks. Feminine men's inherent emotionality, empathy allows them to look for and try something new, choosing, among other things, creative professions. A high level of androgyny, that is, the manifestation of both male and female traits, contributes to the development of such leadership qualities in women as "the ability to work with a group", that is, it contributes to the fact that androgynous women build effective interpersonal relationships in a group, based on trust, mutual support and understanding of the assigned task

Учебно-методический комплекс учебной дисциплины "Управления конфликтами в сфере образования, базовые навыки медиации"

Навчально-методичний комплекс навчальної дисципліни «Управління конфліктами в сфері освіти, базові навички медіації» для спеціальності 011 «Освітні, педагогічні науки», освітньо-професійна програма «Інноваційні педагогічні технології у закладах вищої технічної освіти»Дана навчальна дисципліна є теоретичною та практичною основою сукупності знань та вмінь, що формують профіль фахівця в галузі педагогіки. Метою викладання дисципліни є формування системи знань про природу конфліктів, набуття практичних навичок у їх розв’язанні, вироблення вмінь прогнозувати і контролювати конфліктні ситуації в освітньому середовищі, адекватно сприймати конфлікт і ефективно його вирішувати, а також оволодіння базовими навичками медіаторів у міжособистісних і групових конфліктах.This discipline is a theoretical and practical basis for a set of knowledge and skills that form the profile of a specialist in the field of pedagogy. The purpose of teaching the discipline is to form a system of knowledge about the nature of conflicts, acquiring practical skills in resolving them, developing skills to predict and control conflict situations in the educational environment, adequately perceive conflict and resolve it effectively, and master the basic skills of mediators in interpersonal and group conflicts.Данная учебная дисциплина является теоретической и практической основой совокупности знаний и умений, которые формируют профиль специалиста в отрасли педагогики. Целью преподавания дисциплины является формирование системы знаний о природе конфликтов, приобретения практических навыков в их решении, выработки умений прогнозировать и контролировать конфликтные ситуации в образовательной среде, адекватно воспринимать конфликт и эффективно его решать, а также овладение базовыми навыками медиаторов в межличностных и групповых конфликтах