Baby Llama: knowledge distillation from an ensemble of teachers trained on a small dataset with no performance penalty

We present our proposed solution to the BabyLM challenge [arXiv:2301.11796], whose goal was to improve the sample efficiency of language models. We trained an ensemble consisting of a GPT-2 and small LLaMA models on the developmentally-plausible, 10M-word BabyLM dataset, then distilled it into a small, 58M-parameter LLaMA model, which exceeds in performance both of its teachers as well as a similar model trained without distillation. This suggests that distillation can not only retain the full performance of the teacher model when the latter is trained on a sufficiently small dataset; it can exceed it, and lead to significantly better performance than direct training.Comment: 11 pages, 4 figures, 4 tables, submitted to the BabyLM Challenge (CoNLL--CMCL 2023 Shared Task

The present and future status of heavy neutral leptons

Artículo escrito por un elevado número de autores, solo se referencian el que aparece en primer lugar, los autores pertenecientes a la UAM y el nombre del grupo de colaboración, si lo hubiereThe existence of nonzero neutrino masses points to the likely existence of multiple Standard Model neutral fermions. When such states are heavy enough that they cannot be produced in oscillations, they are referred to as heavy neutral leptons (HNLs). In this white paper, we discuss the present experimental status of HNLs including colliders, beta decay, accelerators, as well as astrophysical and cosmological impacts. We discuss the importance of continuing to search for HNLs, and its potential impact on our understanding of key fundamental questions, and additionally we outline the future prospects for next-generation future experiments or upcoming accelerator run scenario

Validation d'un modèle de simulation d'imagerie par microscopie électronique à balayage par l'étude d'hétérostructures semi-conductrices de très haute résolution

Ce mémoire de maîtrise, a pour thème la validation d'un modèle de simulation de l'interaction électrons-matière en rapport avec la microscopie électronique à balayage. Un logiciel de simulation, CASINO, basé sur la méthode de Monte Carlo, a été développé à Sherbrooke, par le Dr Dominique Drouin [Drouin, 2001]. On peut comparer les résultats théoriques aux données expérimentales. Si on connaît les conditions expérimentales, et que les résultats théoriques concordent, on peut alors considérer que le modèle de calcul est adéquat pour ces conditions de travail. Tout ce travail est basé sur cette démarche de comparaisons. Plusieurs échantillons ont été fabriqués par épitaxie par jets moléculaires de matériaux III-V; Cette technique permet un excellent contrôle de la composition chimique et de l'épaisseur des couches déposées. Des structures équivalentes vont être décrites dans CASINO. Les micrographies obtenues en microscopie électronique à balayage vont servir de données expérimentales; les simulations seront alors comparées aux mesures expérimentales".--Résumé abrégé par UMI

Contrôle génétique de l’épissage alternatif dans le contexte de la réponse immunitaire innée

Lorsqu’enclenchée, la réponse immunitaire innée permet l’initiation de changements moléculaires qui permettent une défense appropriée contre la menace détectée. Ces changements affectent la transcription de gènes impliqués dans l’immunité de l’organisme. L’épissage alternatif joue un rôle crucial dans la régulation de la transcription des ARN messagers. De récentes études ont mis en évidence les changements significatifs du traitement des exons dus à l’épissage alternatif lors de l’infection bactérienne de macrophages humains. Ce projet vise à caractériser l’impact de la variabilité génétique sur l’épissage alternatif dans le contexte de la réponse à un agent bactérien. Nous avons tout d’abord identifié un ensemble d’événements distincts de traitement d’exons pour lesquels nous pouvions obtenir le pourcentage d’inclusion (valeur PSI). Ce phénotype fût utilisé pour étudier le traitement de l’ARNm. Contrairement aux études qui traitent chaque isoforme séparément, notre approche isole les différentes catégories d’événements d’épissage. Une approche tirant profit de la régression linéaire a été utilisée pour associer la variation interindividuelle des valeurs PSI à la variabilité génétique de polymorphismes locaux. Nous avons pu identifier 1948 associations significatives impliquant 1 162 gènes uniques et plus d’une centaine associations spécifiques à l’infection. L’analyse des variants montre une indépendance entre l’effet du génotype sur l’expression (eQTL) et sur le traitement des exons lors de l’épissage d’un transcrit (rpQTL). Nos résultats montrent que l’épissage alternatif de gènes impliquésWhen triggered, the innate immune response initiates molecular changes in the cells that allow an appropriate defense to the detected threat. These changes will affect the transcription of immune related genes while other genes are turned off to efficiently let the organism fight the pathogen. Alternative splicing plays a major role in the fine-tuning of messenger RNA expression. Recent researches have shown that there were major shifts of RNA splicing following infection by two bacteria (Listeria monocytogenes and Salmonella typhimurium). This study aims to better define the role of inter-individual genetic variation on alternative splicing in the context of bacterial infection. We first defined a list of annotated alternative splicing events for which we could recover the proportion of exclusion and inclusion form (PSI-value). We used this phenotype as a proxy for isoform usage. Unlike researches focusing on the proportion of annotated transcripts, we could isolate certain types of events and analyze the processing of exon separately. A multiple linear regression approach was then used to map the psi-value on the genotyping data. We identified 1948 unique events significantly correlated to genotype (rpQTL) and hundreds that were specific to infected macrophages. In total, this set of events spanned 1 162 genes. These results show that the inclusion of certain exons is genetically controlled in macrophages and that some of this control only occurs in infected macrophages. We also showed that alternative-first-exon (AFE) seem to be the least affected by genotype while alternative-last-exon (ALE) and TandemUTR are the most affected. Further analysis of rpQTL SNP showed independence between eQTLs and rpQTLs. Overall our results propose that splicing-QTLs are an important force in gene regulation during the immune response

Improved mass spectrometry compatibility is afforded by ammoniacal silver staining

Sequence coverage in MS analysis of protein digestion-derived peptides is a key issue for detailed characterization of proteins or identification at low quantities. In gel-based proteomics studies, the sequence coverage greatly depends on the protein detection method. It is shown here that ammoniacal silver detection methods offer improved sequence coverage over standard silver nitrate methods, while keeping the high sensitivity of silver staining. With the development of 2D-PAGE-based proteomics, another burden is placed on the detection methods used for protein detection on 2-D-gels. Besides the classical requirements of linearity, sensitivity, and homogeneity from one protein to another, detection methods must now take into account another aspect, namely their compatibility with MS. This compatibility is evidenced by two different and complementary aspects, which are (i) the absence of adducts and artefactual modifications on the peptides obtained after protease digestion of a protein detected and digested in - gel, and (ii) the quantitative yield of peptides recovered after digestion and analyzed by the mass spectrometer. While this quantitative yield is not very important per se, it is however a crucial parameter as it strongly influences the S/N of the mass spectrum and thus the number of peptides that can be detected from a given protein input, especially at low protein amounts. This influences in turn the sequence coverage and thus the detail of the analysis provided by the mass spectrometer.Comment: website publisher http://www.interscience.wiley.co

IdeaValuation : Favoriser les échanges lors d'un atelier de créativité par le vote qualitatif des idées à l'aide d'un outil numérique

International audienceIn the context of the emergence of collaborative innovation projects, the animation of creative sessions permits to identify new opportunities. The number of ideas generated is a lot more important than the number of collaborative projects implemented. To improve this ratio, we assume that group discussions could be facilitated by the cleavage of opinions about the quality of the ideas discussed during the meeting. We support our approach with a digital tool to promote information feedback throughout the session.Dans le cadre de l'émergence de projets collaboratifs d'innovation, l'animation de séance de créativité permet d'identifier de nouvelles opportunités. Généralement, le nombre d'idées générées est bien plus important que le nombre de suites données (e.g. étude, lancement et montage de projets associés). Afin d'améliorer ce ratio, nous faisons les hypothèses que d'une part les évaluations et discussions en groupe sur les idées proposées pourraient être facilitées, et d'autre part que la singularité d'opinions concernant la qualité des idées évoquées en séance peut être facilitateur d'échanges. Pour cela, nous appuyons notre démarche par un outil numérique pour réaliser le partage d'informations des évaluations tout au long de la séance de créativité

L'hypertension artérielle systolique et la progression de la calcification valvulaire aortique chez les patients atteints de sténose aortique

La sténose aortique calcifiante est la plus commune des maladies cardiovasculaires dans les pays occidentaux après la maladie des artères coronaires et l’hypertension artérielle systémique. À ce jour on ne dispose d’aucun traitement capable d’arrêter ou ralentir la progression de la sténose aortique. Les seuls traitements dont on dispose, sont le remplacement valvulaire aortique ou l’implantation de valves par transcathéter dans les cas de sténose sévère symptomatique. Dans ce contexte, il est indispensable de pouvoir développer une solution pharmaceutique efficace permettant de ralentir la progression de la sténose et ainsi éviter une intervention invasive. Par le passé, la sténose aortique était considérée comme une simple atteinte dégénérative de la valve aortique, en lien avec le vieillissement. Néanmoins, de par les avancées effectuées durant les deux dernières décennies, on sait désormais que la sténose aortique est une maladie hautement complexe et activement régulée, impliquant notamment des processus pathologiques semblables à l’athérosclérose ou encore l’artériosclérose. De surcroît, identifier les facteurs impliqués dans la progression de la maladie s’avère indispensable pour la compréhension de la pathogénèse de la sténose aortique. À cet égard, l’hypertension artérielle est une comorbidité fréquemment associée à la sténose aortique et de précédentes observations suggèrent qu’elle pourrait avoir un impact à la fois sur le développement et la progression de la sténose aortique. L’hypothèse principale à l’origine de ce projet de maîtrise était que l’hypertension artérielle systolique, la forme la plus prévalente d’hypertension chez les patients atteints de sténose aortique, conduit à une progression plus rapide de la calcification de la valve aortique. L’objectif principal de cette étude était donc d’évaluer l’impact de l’hypertension artérielle systolique sur la progression de la calcification valvulaire aortique mesurée par tomodensitométrie chez les patients atteints de sténose aortique.Calcific aortic stenosis is the most common cardiovascular disease in Western countries after coronary artery disease and hypertension. So far, there is no effective medical therapy able to stop or slow the progression of aortic stenosis. The only available treatments are surgical or transcatheter aortic valve replacement for patients with severe symptomatic aortic stenosis. In this context, it is crucial to develop efficient pharmaceutical therapy able to slow the stenosis progression and thus prevent such invasive intervention. In the past, aortic stenosis was thought to be a simple degenerative process of the aortic valve linked to aging. However, the advances performed during the last two decades showed that aortic stenosis is a highly complex and actively regulated disease, especially involving pathological processes close to atherosclerosis or arteriosclerosis. Furthermore, identified the key factors involved in the disease progression is essential to understand the pathogenesis of aortic stenosis. In this regard, hypertension is a common comorbidity of aortic stenosis and previous findings suggest that it may have an impact both on the development and progression of aortic stenosis. The primary hypothesis of this MSc project was that systolic hypertension, the most prevalent form of hypertension in patients with aortic stenosis, leads to faster progression of aortic valve calcification. Thus the main objective of this study was to assess the impact of systolic hypertension on the progression of aortic valve calcification assessed by multidetector computed tomography in patients with aortic stenosis

Sensitivities to feebly interacting particles: public and unified calculations

The idea that new physics could take the form of feebly interacting particles (FIPs) - particles with a mass below the electroweak scale, but which may have evaded detection due to their tiny couplings or very long lifetime - has gained a lot of traction in the last decade, and numerous experiments have been proposed to search for such particles. It is important, and now very timely, to consistently compare the potential of these experiments for exploring the parameter space of various well-motivated FIPs. The present paper addresses this pressing issue by presenting an open-source tool to estimate the sensitivity of many experiments - located at Fermilab or at the CERN's SPS, LHC, and FCC-hh - to various models of FIPs in a unified way: the Mathematica-based code SensCalc