A two-head loss function for deep Average-K classification

Average-K classification is an alternative to top-K classification in which the number of labels returned varies with the ambiguity of the input image but must average to K over all the samples. A simple method to solve this task is to threshold the softmax output of a model trained with the cross-entropy loss. This approach is theoretically proven to be asymptotically consistent, but it is not guaranteed to be optimal for a finite set of samples. In this paper, we propose a new loss function based on a multi-label classification head in addition to the classical softmax. This second head is trained using pseudo-labels generated by thresholding the softmax head while guaranteeing that K classes are returned on average. We show that this approach allows the model to better capture ambiguities between classes and, as a result, to return more consistent sets of possible classes. Experiments on two datasets from the literature demonstrate that our approach outperforms the softmax baseline, as well as several other loss functions more generally designed for weakly supervised multi-label classification. The gains are larger the higher the uncertainty, especially for classes with few samples

Stochastic smoothing of the top-K calibrated hinge loss for deep imbalanced classification

International audienceIn modern classification tasks, the number of labels is getting larger and larger, as is the size of the datasets encountered in practice. As the number of classes increases, class ambiguity and class imbalance become more and more problematic to achieve high top-1 accuracy. Meanwhile, Top-K metrics (metrics allowing K guesses) have become popular, especially for performance reporting. Yet, proposing top-K losses tailored for deep learning remains a challenge, both theoretically and practically. In this paper we introduce a stochastic top-K hinge loss inspired by recent developments on top-K calibrated losses. Our proposal is based on the smoothing of the top-K operator building on the flexible "perturbed optimizer" framework. We show that our loss function performs very well in the case of balanced datasets, while benefiting from a significantly lower computational time than the state-of-the-art top-K loss function. In addition, we propose a simple variant of our loss for the imbalanced case. Experiments on a heavy-tailed dataset show that our loss function significantly outperforms other baseline loss functions

Optimisation du couplage traction torsion dans une plaque stratifiée

L'utilisation de matériaux composites permet de personnaliser la réponse d'une structure vis à vis des sollicitations. En vue d'exhiber un couplage traction/torsion très fort sur une plaque rectangulaire, l'optimisation du séquençage d'un stratifié a été menée en exploitant un modèle analytique de plaque homogénéisée prenant en compte les non-linéarités géométriques. Une très bonne corrélation entre les résultats numériques et expérimentaux a permis de valider la loi de comportement atypique du stratifié obtenu

Suivi par DRX des réarrangements microstructuraux induits par sollicitations mécaniques dans les fibres végétales tirées du chanvre

Ce travail propose de suivre in situ les réarrangements microstructuraux subis par les fibres végétales soumises à des chargements mécaniques. Les paramètres microstructuraux sont identifiés par diffraction des rayons X aux grands angles des fibres de chanvre d'une centaine de microns de diamètre. L'analyse des figures de diffraction permet de suivre l'évolution de l'angle des microfibrilles de cellulose lors d'essais de traction. L'étroite corrélation observée entre l'AMF et la contrainte nous permet de quantifier l'alignement réversible des fibrilles dans la direction du chargement

Pl@ntNet-300K: a plant image dataset with high label ambiguity and a long-tailed distribution

International audienceThis paper presents a novel image dataset with high intrinsic ambiguity and a longtailed distribution built from the database of Pl@ntNet citizen observatory. It consists of 306,146 plant images covering 1,081 species. We highlight two particular features of the dataset, inherent to the way the images are acquired and to the intrinsic diversity of plants morphology: (i) the dataset has a strong class imbalance, i.e., a few species account for most of the images, and, (ii) many species are visually similar, rendering identification difficult even for the expert eye. These two characteristics make the present dataset well suited for the evaluation of set-valued classification methods and algorithms. Therefore, we recommend two set-valued evaluation metrics associated with the dataset (macro-average top-k accuracy and macro-average average-k accuracy) and we provide baseline results established by training deep neural networks using the cross-entropy loss

Cuestiones epistemológicas y estudios de caso

En un país -Francia- donde el campo del teatro está estructurado culturalmente durante décadas, el Teatro Aplicado es una noción que a menudo aparece como ancillar, frente a un arte institucionali-zado, incluso mirificado. Por un lado, estaría el Teatro, puro, noble, auténtico y por otro, estarían sus avatares: el teatro de empresa, el teatro para el desarrollo personal, el teatro para patologías, etc. Si tienen la misma fuente, su consanguinidad no deja de asustar. ¿cómo pueden unos artistas que crean alejados de cualquier coacción exterior pertenecer a la misma familia del teatro que unos actores o directores que "obedecen" a un encargo, en un contexto específico, con un público muchas veces participantes de talleres ... y que son por tanto prisioneros, en cierto modo, de un arte instru-mental izado? A este problema ético, este libro intenta responder, a través de ejemplos concretos, para una mayor comprensión inrerculrural Francia/ Colombia.In a country -France- where the field of theater has been culturally structured for decades, Applied Theater is a notion that often appears as an ancillary, in the face of an institutionalized, even mirified, art. On the one hand, there would be the Theater, pure, noble, authentic and on the other, there would be its ups and downs: company theater, theater for personal development, theater for pathologies, etc. If they have the same source, their consanguinity does not stop frightening. How can some artists who create far from any external coercion belong to the same theater family as some actors or directors who "obey" a commission, in a specific context, with an audience that is often workshop participants... are they therefore prisoners, in a certain way, of an instrumented art? To this ethical problem, this book tries to respond, through concrete examples, for a greater intercultural understanding France/ Colombia.Bogot

Fonctions de perte pour la classification à valeurs d’ensembles

The last decade has seen the emergence and growth of deep learning techniques, leading to huge advances in computer vision, natural language processing and speech recognition. These advances are due to hardware improvements and new architectures, notably convolutional neural networks and transformers, used in popular applications such as Siri, Deepl, and ChatGPT. A major challenge in the field of computer vision was ImageNet, a database of one million images divided into 1,000 classes, used as a benchmark to measure model performance. Initial results showed a top-1 error of 37.5%, while the best models now achieve a top-1 error of 9%. However, ImageNet differs from real-life situations in that it features artificially balanced classes and few similarities between them. To address more realistic challenges, it is essential to focus on fine-grained visual categorization tasks, involving similar classes and unbalanced distributions. To this end, in this thesis we will take as a case study Pl@ntNet, an ecological application based on cooperative learning, which enables users to identify plants from images. In such a context of ambiguity, traditional multi-class classifiers, which only return a single proposition, are unable to cope. This is why, in this manuscript, we will study set-valued classifiers, which return a set of possible classes for each image. Set-valued classifiers are useful if they return a restricted number of classes for each image. Thus, there are several constraints on the size of the returned sets. In this thesis, we study two types of constraints: a pointwise constraint, where the classifier returns exactly K candidate classes for each example (top-K classification), and a constraint on the average size of the returned sets (average-K classification). To optimize these set-valued classifiers, we introduce new loss functions to improve the performance of deep learning models, one for each type of constraint. The loss function for top-K classification is based on a hinge loss function combined with a smoothing of the top-K function. For average-K classification, we propose a two-headed model, where one head is responsible for identifying candidate classes for a given example, and the other head optimizes these suggestions with binary cross-entropy. Experiments are carried out on a dataset created from Pl@ntNet data, Pl@ntNet-300K, consisting of 306,146 plant images with high class imbalance and visual ambiguities. The results show that the new loss functions significantly improve performance over cross-entropy, particularly in situations of high uncertainty.La dernière décennie a été marquée par l'émergence et l'essor des techniques d'apprentissage profond, conduisant à d'énormes progrès dans la vision artificielle, le traitement du langage naturel et la reconnaissance vocale. Ces avancées sont dues aux améliorations matérielles et aux nouvelles architectures, notamment les réseaux neuronaux convolutifs et les transformers, utilisées dans des applications populaires telles que Siri, Deepl, et ChatGPT. Un défi majeur du domaine de la vision artificielle a été ImageNet, une base de données d'un million d'images réparties en 1 000 classes, utilisée comme référence pour mesurer les performances des modèles. Les premiers résultats affichaient une erreur top-1 de 37,5%, tandis que les meilleurs modèles atteignent maintenant 9% d'erreur top-1. Cependant, ImageNet diffère des situations réelles car elle présente des classes artificiellement équilibrées et peu de similarités entre elles. Pour relever des défis plus réalistes, il est essentiel de se concentrer sur des tâches de catégorisation visuelle à grain fin, impliquant des classes similaires et des distributions déséquilibrées avec des classes rares. Pour ce faire, dans cette thèse nous prendrons pour cas d'étude Pl@ntNet, une application écologique basée sur l'apprentissage coopératif, qui permet aux utilisateurs d'identifier les plantes à partir d'images. Dans un tel contexte d'ambiguïté, les classificateurs multi-classes traditionnels qui ne renvoient qu'une seule proposition de classe ne suffisent pas. C'est pourquoi dans ce manuscrit nous étudierons les classificateurs à valeurs d'ensembles, qui retournent pour chaque image un ensemble de classes possibles. Les classificateurs à valeurs d'ensembles sont utiles s'ils renvoient un nombre restreint de classes pour chaque image. Ainsi, il existe plusieurs contraintes sur la taille des ensembles retournés. Dans cette thèse, nous étudions deux types de contraintes: une contrainte de taille ponctuelle, où le classificateur renvoie exactement K classes candidates pour chaque exemple (classification top-K), et une contrainte sur la taille moyenne des ensembles retournés (classification average-K). Afin d'optimiser ces classificateurs à valeurs d'ensembles, nous introduisons de nouvelles fonctions de perte pour améliorer les performances des modèles d'apprentissage profond, une pour chaque type de contrainte. La fonction de perte pour la classification top-K se base sur une fonction de perte charnière combinée à un lissage de la fonction top-K. Pour la classification average-K, nous proposons un modèle à deux têtes, où une tête est chargée d'identifier des classes candidates pour un exemple donné, et l'autre tête optimise ces suggestions avec une entropie croisée binaire. Les expériences sont menées sur un jeu de données crée à partir des données de Pl@ntNet, Pl@ntNet-300K, constitué de 306 146 images de plantes avec une forte déséquilibre de classes et des ambiguïtés visuelles importantes. Les résultats montrent que les nouvelles fonctions de perte améliorent significativement les performances par rapport à l'entropie croisée, en particulier dans les situations où l'incertitude est élevée

Fonctions de perte pour la classification à valeurs d’ensembles

The last decade has seen the emergence and growth of deep learning techniques, leading to huge advances in computer vision, natural language processing and speech recognition. These advances are due to hardware improvements and new architectures, notably convolutional neural networks and transformers, used in popular applications such as Siri, Deepl, and ChatGPT. A major challenge in the field of computer vision was ImageNet, a database of one million images divided into 1,000 classes, used as a benchmark to measure model performance. Initial results showed a top-1 error of 37.5%, while the best models now achieve a top-1 error of 9%. However, ImageNet differs from real-life situations in that it features artificially balanced classes and few similarities between them. To address more realistic challenges, it is essential to focus on fine-grained visual categorization tasks, involving similar classes and unbalanced distributions. To this end, in this thesis we will take as a case study Pl@ntNet, an ecological application based on cooperative learning, which enables users to identify plants from images. In such a context of ambiguity, traditional multi-class classifiers, which only return a single proposition, are unable to cope. This is why, in this manuscript, we will study set-valued classifiers, which return a set of possible classes for each image. Set-valued classifiers are useful if they return a restricted number of classes for each image. Thus, there are several constraints on the size of the returned sets. In this thesis, we study two types of constraints: a pointwise constraint, where the classifier returns exactly K candidate classes for each example (top-K classification), and a constraint on the average size of the returned sets (average-K classification). To optimize these set-valued classifiers, we introduce new loss functions to improve the performance of deep learning models, one for each type of constraint. The loss function for top-K classification is based on a hinge loss function combined with a smoothing of the top-K function. For average-K classification, we propose a two-headed model, where one head is responsible for identifying candidate classes for a given example, and the other head optimizes these suggestions with binary cross-entropy. Experiments are carried out on a dataset created from Pl@ntNet data, Pl@ntNet-300K, consisting of 306,146 plant images with high class imbalance and visual ambiguities. The results show that the new loss functions significantly improve performance over cross-entropy, particularly in situations of high uncertainty.La dernière décennie a été marquée par l'émergence et l'essor des techniques d'apprentissage profond, conduisant à d'énormes progrès dans la vision artificielle, le traitement du langage naturel et la reconnaissance vocale. Ces avancées sont dues aux améliorations matérielles et aux nouvelles architectures, notamment les réseaux neuronaux convolutifs et les transformers, utilisées dans des applications populaires telles que Siri, Deepl, et ChatGPT. Un défi majeur du domaine de la vision artificielle a été ImageNet, une base de données d'un million d'images réparties en 1 000 classes, utilisée comme référence pour mesurer les performances des modèles. Les premiers résultats affichaient une erreur top-1 de 37,5%, tandis que les meilleurs modèles atteignent maintenant 9% d'erreur top-1. Cependant, ImageNet diffère des situations réelles car elle présente des classes artificiellement équilibrées et peu de similarités entre elles. Pour relever des défis plus réalistes, il est essentiel de se concentrer sur des tâches de catégorisation visuelle à grain fin, impliquant des classes similaires et des distributions déséquilibrées avec des classes rares. Pour ce faire, dans cette thèse nous prendrons pour cas d'étude Pl@ntNet, une application écologique basée sur l'apprentissage coopératif, qui permet aux utilisateurs d'identifier les plantes à partir d'images. Dans un tel contexte d'ambiguïté, les classificateurs multi-classes traditionnels qui ne renvoient qu'une seule proposition de classe ne suffisent pas. C'est pourquoi dans ce manuscrit nous étudierons les classificateurs à valeurs d'ensembles, qui retournent pour chaque image un ensemble de classes possibles. Les classificateurs à valeurs d'ensembles sont utiles s'ils renvoient un nombre restreint de classes pour chaque image. Ainsi, il existe plusieurs contraintes sur la taille des ensembles retournés. Dans cette thèse, nous étudions deux types de contraintes: une contrainte de taille ponctuelle, où le classificateur renvoie exactement K classes candidates pour chaque exemple (classification top-K), et une contrainte sur la taille moyenne des ensembles retournés (classification average-K). Afin d'optimiser ces classificateurs à valeurs d'ensembles, nous introduisons de nouvelles fonctions de perte pour améliorer les performances des modèles d'apprentissage profond, une pour chaque type de contrainte. La fonction de perte pour la classification top-K se base sur une fonction de perte charnière combinée à un lissage de la fonction top-K. Pour la classification average-K, nous proposons un modèle à deux têtes, où une tête est chargée d'identifier des classes candidates pour un exemple donné, et l'autre tête optimise ces suggestions avec une entropie croisée binaire. Les expériences sont menées sur un jeu de données crée à partir des données de Pl@ntNet, Pl@ntNet-300K, constitué de 306 146 images de plantes avec une forte déséquilibre de classes et des ambiguïtés visuelles importantes. Les résultats montrent que les nouvelles fonctions de perte améliorent significativement les performances par rapport à l'entropie croisée, en particulier dans les situations où l'incertitude est élevée

A non-collinear fretting-fatigue experiment to compare multiaxial fatigue criteria: critical shear plane strategy is better than invariant formulations

International audienceFretting-fatigue crack nucleation is usually predicted from multiaxial fatigue criteria combined with non-local approaches to take account of fretting stress gradient. Conventional collinear fretting-fatigue loadings, being effectively uniaxial near the hotspot surface contact border, lead to similar predictions whatever the non-local approach and fatigue criterion. To differentiate between approaches, a new non-collinear fretting-fatigue set-up was developed applying fatigue stress at a β-angle to the fretting direction. Using this device, the crack nucleation condition of 35NiCrMo16 steel was investigated as a function of the β-angle. 3D elastic simulations enabled, for the first time, performance to be compared between critical plane versus invariant formulations. Experiments and modeling suggested that the McDiarmid criterion provides the best crack nucleation predictions

A new experimental method for measuring skin's natural tension

International audienc