Analysis of Multicore CPU and GPU toward Parallelization of Total Focusing Method ultrasound reconstruction

International audienceUltrasonic imaging and reconstruction tools are commonly used to detect, identify and measure defects in different mechanical parts. Due to the complexity of the underlying physics, and due to the ever growing quantity of acquired data, computation time is becoming a limitation to the optimal inspection of a mechanical part. This article presents the performances of several implementations of a computational heavy algorithm, named Total Focusing Method, on both Graphics Processing Units (GPU) and General Purpose Processors (GPP). The scope of this study is narrowed to planar parts tested in immersion for defects. Using algorithmic simplifications and architectural optimizations, the algorithm has been drastically accelerated resulting in memory-bound implementations. On GPU, high performances can be achieved by profiting from GPU long memory transactions and from hand managed memory. Whereas on GPP, computations cost are overrun by memory access resulting in less efficient performances compared to the computing capabilities available. The following study constitutes the first step toward analyzing the target algorithm for diverse hardware in the non-destructive testing environment

Short-term and medium-term clinical outcomes of multisystem inflammatory syndrome in children:a prospective observational cohort study

BACKGROUND: Even though the incidence of Multisystem Inflammatory Syndrome in children (MIS-C) is decreasing cases are still reported across the world. Studying the consequences of MIS-C enhances our understanding of the disease's prognosis. The objective of this study was to assess short- and medium-term clinical outcomes of MIS-C.METHODS: Prospective observational cohort study at Municipal Children's Hospital Morozovskaya, Moscow, Russia. All children meeting the Royal College of Paediatrics and Child Health (RCPCH), Centers for Disease Control and Prevention (CDC), or the World Health Organization (WHO) MIS-C case definition admitted to the hospital between 17 May and 26 October 2020 were included in the study. All survivors were invited to attend a clinic at 2 and 6 weeks after hospital discharge.RESULTS: 37 children median age 6 years (interquartile range [IQR] 3.3-9.4), 59.5% (22/37) boys were included in the study. 48.6% (18/37) of patients required ICU care. One child died. All children had increased levels of systemic inflammatory markers during the acute event. Echocardiographic investigations identified abnormal findings in 35.1% (13/37) of children. 5.6% (2/36) of children were presenting with any symptoms six weeks after discharge. By six weeks the inflammatory markers were within the reference norms in all children. The echocardiographic evaluation showed persistent coronary dilatation in one child.CONCLUSIONS: Despite the severity of their acute MIS-C, the majority of children in our cohort fully recovered with none having elevated laboratory markers of inflammation at 6 weeks, few (&lt; 10%) reporting persistent symptoms at 6 weeks, and only one with persistent echocardiographic abnormalities.</p

Transfert de représentations de caractéristiques entre les tâches et les domaines

Year after year advances in deep learning allow to solve a rapidly increasing range of challenging tasks, as well as to set new, even more ambitious goals. Such a success, however, comes at a price of increasing requirements for all aspects of learning: large-scale models, which tend to perform best, require large quantities of data, memory, computational resources and time to be properly trained. This cannot always be achieved in practice, especially on smaller datasets, which promotes exploration of the ways to transfer knowledge, i.e. re-purposing existing state-of-the-art models to solving new tasks.This problem of transferring knowledge between tasks comes with its own challenges caused by different factors, such as the type of knowledge which needs to be transferred, or availability of data. In this thesis we focus on two setups from this category: few-shot learning and multi-domain learning. Both problems share the motivation to learn a model that would be able to generalise to solving the same type of task, e.g. image classification, on a number of different domains.Our first contribution explores probabilistic modeling for few-shot classification, where the model aims to solve a wide range of classification tasks, each accompanied with a handful of labeled examples. Limited supervision leads to high uncertainty about the predictions, which can be naturally tackled by probabilistic framework. We treat the task-specific classifier as a latent variable, and propose a novel amortised variational inference scheme which uses a single network to predict parameters of the distribution both for the prior and for the approximated posterior of the latent variable in the considered graphical model. The prior is conditioned on the support set of the task, while the approximated posterior is conditioned on the union of the support and query sets. Minimisation of the distance between these two distributions provides additional guidance from the support set during training, allowing us to exploit the disparity between the two sets of data. We evaluate our model on several few-shot classification benchmarks, and show that it can achieve competitive results on all of them. We also demonstrate the benefits of modeling uncertainty by showing that a sampled ensemble of classifiers slightly improves the performance compared to the inferred classifier mean. This result that cannot be achieved by models relying on Monte Carlo approximations, which, according to our experiments, tend to underestimate the true variance.Our second contribution proposes a novel type of adaptation modules for multi-domain classification, which considers a fixed set of classification tasks on a limited number of domains. We adopt the common approach of using a pre-trained feature extractor as a base network, and adjusting it to novel domains using domain-specific adapters applied to each convolutional layer in the base. For each output channel, our modulation adapter separately scales each kernel in the convolutional weight tensor with its own output-specific scalar. This results in a set of independent re-weightings of the input feature maps, which makes the resulting feature adaptation more flexible compared to previous approaches. To reduce the parameter budget, we factorise our modulation adapter as a product of the two smaller matrices. We evaluate our model one the two common multi-domain classification benchmarks, and show that both the full and the factorised versions achieve state-of-the-art results. In addition to that, we provide results of our model on a span of parameter budgets, which is one of the advantages of our approach. For each parameter budget, modulation adapters outperform the competitors which generally offer only a single budget setting.Année après année, le progrès de l’apprentissage profond permet de résoudre un nombre croissant de tâches difficiles, ainsi que de se fixer de nouveaux objectifs encore plus ambitieux. Un tel succès, cependant, se fait au prix d’exigences croissantes pour tous les aspects de l’apprentissage : les modèles à grande échelle, qui ont tendance à être les plus performants, nécessitent de grandes quantités de données, de mémoire, de ressources de calcul et de temps d’entraînement. Ça peut poser problème en pratique, en particulier sur des petits ensembles de données. Cela motive l’exploration des moyens de transférer les connaissances, c’est-à-dire la valorisation des modèles existants pour résoudre de nouvelles tâches.Ce problème de transfert de connaissances a ses propres défis, tels que le type de connaissances à transférer ou la disponibilité des données. Dans cette thèse, nous nous concentrons sur deux configurations de cette catégorie : l’apprentissage avec très peu de données et l’apprentissage multi-domaines. Les deux problèmes partagent la motivation d’apprendre un modèle qui pourrait se généraliser à la résolution du même type de tâche, par ex. classification d’images, sur un certain nombre de domaines différents.Notre première contribution explore la modélisation probabiliste pour l’apprentissage avec très peu de données, où le modèle vise à résoudre un large éventail de tâches de classification, chacune accompagnée d’une poignée d’exemples étiquetés. Une supervision limitée conduit à une forte incertitude sur les prédictions, qui peut naturellement être résolue par un cadre probabiliste. Nous traitons le classificateur spécifique à une tâche comme une variable latente et proposons un nouveau schéma d’inférence variationnelle amortie qui utilise un seul réseau pour prédire les paramètres de la distribution à la fois pour le prior et pour le postérieur approximé de la variable latente dans le modèle graphique considéré. Nous évaluons notre modèle sur plusieurs benchmarks de classification, et montrons qu’il peut obtenir des résultats compétitifs sur chacun d’eux. Nous démontrons également les avantages de la modélisation de l’incertitude en montrant qu’un ensemble échantillonné de classificateurs améliore légèrement les performances par rapport à la moyenne déduite du classificateur. Ce résultat ne peut être atteint par des modèles reposant sur des approximations de Monte Carlo, qui, selon nos expérimentations, ont tendance à sous-estimer la vraie variance.Notre deuxième contribution propose un nouveau type de modules d’adaptation pour la classification multi-domaine, qui considère un ensemble fixe de tâches de classification sur un nombre limité de domaines. Nous adoptons l’approche commune consistant à utiliser un extracteur de caractéristiques pré-formé comme réseau de base et à l’adapter à de nouveaux domaines à l’aide d’adaptateurs spécifiques au domaine appliqués à chaque couche convolutive de la base. Pour chaque canal de sortie, notre adaptateur de modulation multiplie chaque noyau dans le tenseur de poids convolutif avec son propre scalaire spécifique à la sortie. Cela se traduit par un ensemble de pondérations indépendantes des cartes de caractéristiques d’entrée, ce qui rend l’adaptation des caractéristiques résultante plus flexible par rapport aux approches précédentes. Pour réduire le budget des paramètres, nous factorisons notre adaptateur de modulation comme un produit des deux plus petites matrices. Nous évaluons notre modèle sur les deux benchmarks et montrons que les versions complètes et factorisées obtiennent des résultats de pointe. En plus de cela, nous fournissons les résultats de notre modèle sur une gamme de budgets de paramètres, ce qui est l’un des avantages de notre approche. Pour chaque budget de paramètre, les adaptateurs de modulation surpassent les concurrents qui n’offrent généralement qu’un seul réglage de budget de paramètre

Transferring feature representations across tasks and domains

Année après année, le progrès de l’apprentissage profond permet de résoudre un nombre croissant de tâches difficiles, ainsi que de se fixer de nouveaux objectifs encore plus ambitieux. Un tel succès, cependant, se fait au prix d’exigences croissantes pour tous les aspects de l’apprentissage : les modèles à grande échelle, qui ont tendance à être les plus performants, nécessitent de grandes quantités de données, de mémoire, de ressources de calcul et de temps d’entraînement. Ça peut poser problème en pratique, en particulier sur des petits ensembles de données. Cela motive l’exploration des moyens de transférer les connaissances, c’est-à-dire la valorisation des modèles existants pour résoudre de nouvelles tâches.Ce problème de transfert de connaissances a ses propres défis, tels que le type de connaissances à transférer ou la disponibilité des données. Dans cette thèse, nous nous concentrons sur deux configurations de cette catégorie : l’apprentissage avec très peu de données et l’apprentissage multi-domaines. Les deux problèmes partagent la motivation d’apprendre un modèle qui pourrait se généraliser à la résolution du même type de tâche, par ex. classification d’images, sur un certain nombre de domaines différents.Notre première contribution explore la modélisation probabiliste pour l’apprentissage avec très peu de données, où le modèle vise à résoudre un large éventail de tâches de classification, chacune accompagnée d’une poignée d’exemples étiquetés. Une supervision limitée conduit à une forte incertitude sur les prédictions, qui peut naturellement être résolue par un cadre probabiliste. Nous traitons le classificateur spécifique à une tâche comme une variable latente et proposons un nouveau schéma d’inférence variationnelle amortie qui utilise un seul réseau pour prédire les paramètres de la distribution à la fois pour le prior et pour le postérieur approximé de la variable latente dans le modèle graphique considéré. Nous évaluons notre modèle sur plusieurs benchmarks de classification, et montrons qu’il peut obtenir des résultats compétitifs sur chacun d’eux. Nous démontrons également les avantages de la modélisation de l’incertitude en montrant qu’un ensemble échantillonné de classificateurs améliore légèrement les performances par rapport à la moyenne déduite du classificateur. Ce résultat ne peut être atteint par des modèles reposant sur des approximations de Monte Carlo, qui, selon nos expérimentations, ont tendance à sous-estimer la vraie variance.Notre deuxième contribution propose un nouveau type de modules d’adaptation pour la classification multi-domaine, qui considère un ensemble fixe de tâches de classification sur un nombre limité de domaines. Nous adoptons l’approche commune consistant à utiliser un extracteur de caractéristiques pré-formé comme réseau de base et à l’adapter à de nouveaux domaines à l’aide d’adaptateurs spécifiques au domaine appliqués à chaque couche convolutive de la base. Pour chaque canal de sortie, notre adaptateur de modulation multiplie chaque noyau dans le tenseur de poids convolutif avec son propre scalaire spécifique à la sortie. Cela se traduit par un ensemble de pondérations indépendantes des cartes de caractéristiques d’entrée, ce qui rend l’adaptation des caractéristiques résultante plus flexible par rapport aux approches précédentes. Pour réduire le budget des paramètres, nous factorisons notre adaptateur de modulation comme un produit des deux plus petites matrices. Nous évaluons notre modèle sur les deux benchmarks et montrons que les versions complètes et factorisées obtiennent des résultats de pointe. En plus de cela, nous fournissons les résultats de notre modèle sur une gamme de budgets de paramètres, ce qui est l’un des avantages de notre approche. Pour chaque budget de paramètre, les adaptateurs de modulation surpassent les concurrents qui n’offrent généralement qu’un seul réglage de budget de paramètre.Year after year advances in deep learning allow to solve a rapidly increasing range of challenging tasks, as well as to set new, even more ambitious goals. Such a success, however, comes at a price of increasing requirements for all aspects of learning: large-scale models, which tend to perform best, require large quantities of data, memory, computational resources and time to be properly trained. This cannot always be achieved in practice, especially on smaller datasets, which promotes exploration of the ways to transfer knowledge, i.e. re-purposing existing state-of-the-art models to solving new tasks.This problem of transferring knowledge between tasks comes with its own challenges caused by different factors, such as the type of knowledge which needs to be transferred, or availability of data. In this thesis we focus on two setups from this category: few-shot learning and multi-domain learning. Both problems share the motivation to learn a model that would be able to generalise to solving the same type of task, e.g. image classification, on a number of different domains.Our first contribution explores probabilistic modeling for few-shot classification, where the model aims to solve a wide range of classification tasks, each accompanied with a handful of labeled examples. Limited supervision leads to high uncertainty about the predictions, which can be naturally tackled by probabilistic framework. We treat the task-specific classifier as a latent variable, and propose a novel amortised variational inference scheme which uses a single network to predict parameters of the distribution both for the prior and for the approximated posterior of the latent variable in the considered graphical model. The prior is conditioned on the support set of the task, while the approximated posterior is conditioned on the union of the support and query sets. Minimisation of the distance between these two distributions provides additional guidance from the support set during training, allowing us to exploit the disparity between the two sets of data. We evaluate our model on several few-shot classification benchmarks, and show that it can achieve competitive results on all of them. We also demonstrate the benefits of modeling uncertainty by showing that a sampled ensemble of classifiers slightly improves the performance compared to the inferred classifier mean. This result that cannot be achieved by models relying on Monte Carlo approximations, which, according to our experiments, tend to underestimate the true variance.Our second contribution proposes a novel type of adaptation modules for multi-domain classification, which considers a fixed set of classification tasks on a limited number of domains. We adopt the common approach of using a pre-trained feature extractor as a base network, and adjusting it to novel domains using domain-specific adapters applied to each convolutional layer in the base. For each output channel, our modulation adapter separately scales each kernel in the convolutional weight tensor with its own output-specific scalar. This results in a set of independent re-weightings of the input feature maps, which makes the resulting feature adaptation more flexible compared to previous approaches. To reduce the parameter budget, we factorise our modulation adapter as a product of the two smaller matrices. We evaluate our model one the two common multi-domain classification benchmarks, and show that both the full and the factorised versions achieve state-of-the-art results. In addition to that, we provide results of our model on a span of parameter budgets, which is one of the advantages of our approach. For each parameter budget, modulation adapters outperform the competitors which generally offer only a single budget setting

Transfert de représentations de caractéristiques entre les tâches et les domaines

Year after year advances in deep learning allow to solve a rapidly increasing range of challenging tasks, as well as to set new, even more ambitious goals. Such a success, however, comes at a price of increasing requirements for all aspects of learning: large-scale models, which tend to perform best, require large quantities of data, memory, computational resources and time to be properly trained. This cannot always be achieved in practice, especially on smaller datasets, which promotes exploration of the ways to transfer knowledge, i.e. re-purposing existing state-of-the-art models to solving new tasks.This problem of transferring knowledge between tasks comes with its own challenges caused by different factors, such as the type of knowledge which needs to be transferred, or availability of data. In this thesis we focus on two setups from this category: few-shot learning and multi-domain learning. Both problems share the motivation to learn a model that would be able to generalise to solving the same type of task, e.g. image classification, on a number of different domains.Our first contribution explores probabilistic modeling for few-shot classification, where the model aims to solve a wide range of classification tasks, each accompanied with a handful of labeled examples. Limited supervision leads to high uncertainty about the predictions, which can be naturally tackled by probabilistic framework. We treat the task-specific classifier as a latent variable, and propose a novel amortised variational inference scheme which uses a single network to predict parameters of the distribution both for the prior and for the approximated posterior of the latent variable in the considered graphical model. The prior is conditioned on the support set of the task, while the approximated posterior is conditioned on the union of the support and query sets. Minimisation of the distance between these two distributions provides additional guidance from the support set during training, allowing us to exploit the disparity between the two sets of data. We evaluate our model on several few-shot classification benchmarks, and show that it can achieve competitive results on all of them. We also demonstrate the benefits of modeling uncertainty by showing that a sampled ensemble of classifiers slightly improves the performance compared to the inferred classifier mean. This result that cannot be achieved by models relying on Monte Carlo approximations, which, according to our experiments, tend to underestimate the true variance.Our second contribution proposes a novel type of adaptation modules for multi-domain classification, which considers a fixed set of classification tasks on a limited number of domains. We adopt the common approach of using a pre-trained feature extractor as a base network, and adjusting it to novel domains using domain-specific adapters applied to each convolutional layer in the base. For each output channel, our modulation adapter separately scales each kernel in the convolutional weight tensor with its own output-specific scalar. This results in a set of independent re-weightings of the input feature maps, which makes the resulting feature adaptation more flexible compared to previous approaches. To reduce the parameter budget, we factorise our modulation adapter as a product of the two smaller matrices. We evaluate our model one the two common multi-domain classification benchmarks, and show that both the full and the factorised versions achieve state-of-the-art results. In addition to that, we provide results of our model on a span of parameter budgets, which is one of the advantages of our approach. For each parameter budget, modulation adapters outperform the competitors which generally offer only a single budget setting.Année après année, le progrès de l’apprentissage profond permet de résoudre un nombre croissant de tâches difficiles, ainsi que de se fixer de nouveaux objectifs encore plus ambitieux. Un tel succès, cependant, se fait au prix d’exigences croissantes pour tous les aspects de l’apprentissage : les modèles à grande échelle, qui ont tendance à être les plus performants, nécessitent de grandes quantités de données, de mémoire, de ressources de calcul et de temps d’entraînement. Ça peut poser problème en pratique, en particulier sur des petits ensembles de données. Cela motive l’exploration des moyens de transférer les connaissances, c’est-à-dire la valorisation des modèles existants pour résoudre de nouvelles tâches.Ce problème de transfert de connaissances a ses propres défis, tels que le type de connaissances à transférer ou la disponibilité des données. Dans cette thèse, nous nous concentrons sur deux configurations de cette catégorie : l’apprentissage avec très peu de données et l’apprentissage multi-domaines. Les deux problèmes partagent la motivation d’apprendre un modèle qui pourrait se généraliser à la résolution du même type de tâche, par ex. classification d’images, sur un certain nombre de domaines différents.Notre première contribution explore la modélisation probabiliste pour l’apprentissage avec très peu de données, où le modèle vise à résoudre un large éventail de tâches de classification, chacune accompagnée d’une poignée d’exemples étiquetés. Une supervision limitée conduit à une forte incertitude sur les prédictions, qui peut naturellement être résolue par un cadre probabiliste. Nous traitons le classificateur spécifique à une tâche comme une variable latente et proposons un nouveau schéma d’inférence variationnelle amortie qui utilise un seul réseau pour prédire les paramètres de la distribution à la fois pour le prior et pour le postérieur approximé de la variable latente dans le modèle graphique considéré. Nous évaluons notre modèle sur plusieurs benchmarks de classification, et montrons qu’il peut obtenir des résultats compétitifs sur chacun d’eux. Nous démontrons également les avantages de la modélisation de l’incertitude en montrant qu’un ensemble échantillonné de classificateurs améliore légèrement les performances par rapport à la moyenne déduite du classificateur. Ce résultat ne peut être atteint par des modèles reposant sur des approximations de Monte Carlo, qui, selon nos expérimentations, ont tendance à sous-estimer la vraie variance.Notre deuxième contribution propose un nouveau type de modules d’adaptation pour la classification multi-domaine, qui considère un ensemble fixe de tâches de classification sur un nombre limité de domaines. Nous adoptons l’approche commune consistant à utiliser un extracteur de caractéristiques pré-formé comme réseau de base et à l’adapter à de nouveaux domaines à l’aide d’adaptateurs spécifiques au domaine appliqués à chaque couche convolutive de la base. Pour chaque canal de sortie, notre adaptateur de modulation multiplie chaque noyau dans le tenseur de poids convolutif avec son propre scalaire spécifique à la sortie. Cela se traduit par un ensemble de pondérations indépendantes des cartes de caractéristiques d’entrée, ce qui rend l’adaptation des caractéristiques résultante plus flexible par rapport aux approches précédentes. Pour réduire le budget des paramètres, nous factorisons notre adaptateur de modulation comme un produit des deux plus petites matrices. Nous évaluons notre modèle sur les deux benchmarks et montrons que les versions complètes et factorisées obtiennent des résultats de pointe. En plus de cela, nous fournissons les résultats de notre modèle sur une gamme de budgets de paramètres, ce qui est l’un des avantages de notre approche. Pour chaque budget de paramètre, les adaptateurs de modulation surpassent les concurrents qui n’offrent généralement qu’un seul réglage de budget de paramètre

Diffraction inverse par des petites inclusions.

Small inclusions of congestion are sources of disruption to ambient electromagnetic fields (those that exist in their absence, by example). It is easily conceivable that the extent of these disturbances can provide information enabling the identification of inclusions, which by iden- cation means at least one location, but where we could also quantifocation serve their electrical parameters, even in the best assumptions, congestion and characterization of their shapes. Recently, mathematical theory was developed to identify small inclusions from border measures, see [7] and references therein. This thesis focuses on the identi? Cation of homogeneous inclusions (from a priori unknown number) of a given medium from measurements of amplitudes di? raction at the appropriate illumination of the medium. First, we pro- Nisson new asymptotic formulas, as sturdy as specific fields electromagnetic phenomenon resulting from diffraction. Then, we ex- ploitons for the construction of identification algorithms noniterative relevant. The problem is treated in three parts, each dedicated to a specific geometry? that: 1) The burial environment of the collection is homogeneous, free space. 2) The medium consists of two half-spaces separated by a plane interface, collection studied lying in the lower half-space and sources and sensors located in the upper half-space. 3) The medium is a waveguide, and the collection is in the heart of this guide waveDes inclusions de petits encombrements sont sources de perturbations pour les champs électromagnétiques ambiants (ceux qui existeraient en leurs absences, par exemple). Il est facilement imaginable que la mesure de ces perturbations puisse fournir des informations permettant l'identification des inclusions, où par iden- tification l'on signifie au minimum leur localisation, mais où l'on pourrait aussi signifier quantifocation de leurs paramètres électriques, voire dans la meilleure des hypothèses, caractérisation de leurs encombrements et formes. Récemment, une théorie mathématique a été développée pour préciser de petites inclusions à partir de mesures de frontière, voir [7] et références citées. Cette thèse porte principalement sur l'identication d'inclusions homogènes (de nombre inconnu a priori) d'un milieu donné à partir de mesures d'amplitudes de diraction lors de l'éclairement approprié de ce milieu. Premièrement, nous four- nissons de nouvelles formules asymptotiques, tant robustes que précises, des champs électromagnétiques résultant du phénomène de diffraction. Ensuite, nous les ex- ploitons pour la construction d'algorithmes d'identification non itératifs pertinents. Le problème est traité en trois grandes parties, chacune étant dédiée à une géométrie spécique : 1) Le milieu d'enfouissement de la collection est homogène, l'espace libre. 2) Le milieu est constitué de deux demi-espaces séparés par une interface plane, la collection étudiée se situant dans le demi-espace inférieur et sources et capteurs se situant dans le demi-espace supérieur. 3) Le milieu est un guide d'ondes, et la collection est dans le coeur de ce guide d'ondes

Transfert de représentations de caractéristiques entre les tâches et les domaines

Year after year advances in deep learning allow to solve a rapidly increasing range of challenging tasks, as well as to set new, even more ambitious goals. Such a success, however, comes at a price of increasing requirements for all aspects of learning: large-scale models, which tend to perform best, require large quantities of data, memory, computational resources and time to be properly trained. This cannot always be achieved in practice, especially on smaller datasets, which promotes exploration of the ways to transfer knowledge, i.e. re-purposing existing state-of-the-art models to solving new tasks.This problem of transferring knowledge between tasks comes with its own challenges caused by different factors, such as the type of knowledge which needs to be transferred, or availability of data. In this thesis we focus on two setups from this category: few-shot learning and multi-domain learning. Both problems share the motivation to learn a model that would be able to generalise to solving the same type of task, e.g. image classification, on a number of different domains.Our first contribution explores probabilistic modeling for few-shot classification, where the model aims to solve a wide range of classification tasks, each accompanied with a handful of labeled examples. Limited supervision leads to high uncertainty about the predictions, which can be naturally tackled by probabilistic framework. We treat the task-specific classifier as a latent variable, and propose a novel amortised variational inference scheme which uses a single network to predict parameters of the distribution both for the prior and for the approximated posterior of the latent variable in the considered graphical model. The prior is conditioned on the support set of the task, while the approximated posterior is conditioned on the union of the support and query sets. Minimisation of the distance between these two distributions provides additional guidance from the support set during training, allowing us to exploit the disparity between the two sets of data. We evaluate our model on several few-shot classification benchmarks, and show that it can achieve competitive results on all of them. We also demonstrate the benefits of modeling uncertainty by showing that a sampled ensemble of classifiers slightly improves the performance compared to the inferred classifier mean. This result that cannot be achieved by models relying on Monte Carlo approximations, which, according to our experiments, tend to underestimate the true variance.Our second contribution proposes a novel type of adaptation modules for multi-domain classification, which considers a fixed set of classification tasks on a limited number of domains. We adopt the common approach of using a pre-trained feature extractor as a base network, and adjusting it to novel domains using domain-specific adapters applied to each convolutional layer in the base. For each output channel, our modulation adapter separately scales each kernel in the convolutional weight tensor with its own output-specific scalar. This results in a set of independent re-weightings of the input feature maps, which makes the resulting feature adaptation more flexible compared to previous approaches. To reduce the parameter budget, we factorise our modulation adapter as a product of the two smaller matrices. We evaluate our model one the two common multi-domain classification benchmarks, and show that both the full and the factorised versions achieve state-of-the-art results. In addition to that, we provide results of our model on a span of parameter budgets, which is one of the advantages of our approach. For each parameter budget, modulation adapters outperform the competitors which generally offer only a single budget setting.Année après année, le progrès de l’apprentissage profond permet de résoudre un nombre croissant de tâches difficiles, ainsi que de se fixer de nouveaux objectifs encore plus ambitieux. Un tel succès, cependant, se fait au prix d’exigences croissantes pour tous les aspects de l’apprentissage : les modèles à grande échelle, qui ont tendance à être les plus performants, nécessitent de grandes quantités de données, de mémoire, de ressources de calcul et de temps d’entraînement. Ça peut poser problème en pratique, en particulier sur des petits ensembles de données. Cela motive l’exploration des moyens de transférer les connaissances, c’est-à-dire la valorisation des modèles existants pour résoudre de nouvelles tâches.Ce problème de transfert de connaissances a ses propres défis, tels que le type de connaissances à transférer ou la disponibilité des données. Dans cette thèse, nous nous concentrons sur deux configurations de cette catégorie : l’apprentissage avec très peu de données et l’apprentissage multi-domaines. Les deux problèmes partagent la motivation d’apprendre un modèle qui pourrait se généraliser à la résolution du même type de tâche, par ex. classification d’images, sur un certain nombre de domaines différents.Notre première contribution explore la modélisation probabiliste pour l’apprentissage avec très peu de données, où le modèle vise à résoudre un large éventail de tâches de classification, chacune accompagnée d’une poignée d’exemples étiquetés. Une supervision limitée conduit à une forte incertitude sur les prédictions, qui peut naturellement être résolue par un cadre probabiliste. Nous traitons le classificateur spécifique à une tâche comme une variable latente et proposons un nouveau schéma d’inférence variationnelle amortie qui utilise un seul réseau pour prédire les paramètres de la distribution à la fois pour le prior et pour le postérieur approximé de la variable latente dans le modèle graphique considéré. Nous évaluons notre modèle sur plusieurs benchmarks de classification, et montrons qu’il peut obtenir des résultats compétitifs sur chacun d’eux. Nous démontrons également les avantages de la modélisation de l’incertitude en montrant qu’un ensemble échantillonné de classificateurs améliore légèrement les performances par rapport à la moyenne déduite du classificateur. Ce résultat ne peut être atteint par des modèles reposant sur des approximations de Monte Carlo, qui, selon nos expérimentations, ont tendance à sous-estimer la vraie variance.Notre deuxième contribution propose un nouveau type de modules d’adaptation pour la classification multi-domaine, qui considère un ensemble fixe de tâches de classification sur un nombre limité de domaines. Nous adoptons l’approche commune consistant à utiliser un extracteur de caractéristiques pré-formé comme réseau de base et à l’adapter à de nouveaux domaines à l’aide d’adaptateurs spécifiques au domaine appliqués à chaque couche convolutive de la base. Pour chaque canal de sortie, notre adaptateur de modulation multiplie chaque noyau dans le tenseur de poids convolutif avec son propre scalaire spécifique à la sortie. Cela se traduit par un ensemble de pondérations indépendantes des cartes de caractéristiques d’entrée, ce qui rend l’adaptation des caractéristiques résultante plus flexible par rapport aux approches précédentes. Pour réduire le budget des paramètres, nous factorisons notre adaptateur de modulation comme un produit des deux plus petites matrices. Nous évaluons notre modèle sur les deux benchmarks et montrons que les versions complètes et factorisées obtiennent des résultats de pointe. En plus de cela, nous fournissons les résultats de notre modèle sur une gamme de budgets de paramètres, ce qui est l’un des avantages de notre approche. Pour chaque budget de paramètre, les adaptateurs de modulation surpassent les concurrents qui n’offrent généralement qu’un seul réglage de budget de paramètre

On the MUSIC-type electromagnetic imaging of a small collection of dielectric spheres from its multi-static response matrix using exact and asymptotic numerical data

International audienceMUSIC-type, non-iterative imaging of a collection of dielectric and/or magnetic inclusions in the 3-D electromagnetic case is considered. It is based on the singular value decomposition of its Multi-Static Response matrix (MSR), emphasis being on the adverse situation in which a fixed electric dipole array is operated in the transmit/receive mode at a single frequency. The study is illustrated in the present paper from synthetic data independently computed by the coupled dipole method (P. Chaumet et al., Physical Rev. E, vol. 70, 03606, 2004)