DiviML: A Module-based Heuristic for Mapping Neural Networks onto Heterogeneous Platforms

Datacenters are increasingly becoming heterogeneous, and are starting to include specialized hardware for networking, video processing, and especially deep learning. To leverage the heterogeneous compute capability of modern datacenters, we develop an approach for compiler-level partitioning of deep neural networks (DNNs) onto multiple interconnected hardware devices. We present a general framework for heterogeneous DNN compilation, offering automatic partitioning and device mapping. Our scheduler integrates both an exact solver, through a mixed integer linear programming (MILP) formulation, and a modularity-based heuristic for scalability. Furthermore, we propose a theoretical lower bound formula for the optimal solution, which enables the assessment of the heuristic solutions' quality. We evaluate our scheduler in optimizing both conventional DNNs and randomly-wired neural networks, subject to latency and throughput constraints, on a heterogeneous system comprised of a CPU and two distinct GPUs. Compared to na\"ively running DNNs on the fastest GPU, he proposed framework can achieve more than 3$\times$ times lower latency and up to 2.9$\times$ higher throughput by automatically leveraging both data and model parallelism to deploy DNNs on our sample heterogeneous server node. Moreover, our modularity-based "splitting" heuristic improves the solution runtime up to 395$\times$ without noticeably sacrificing solution quality compared to an exact MILP solution, and outperforms all other heuristics by 30-60% solution quality. Finally, our case study shows how we can extend our framework to schedule large language models across multiple heterogeneous servers by exploiting symmetry in the hardware setup. Our code can be easily plugged in to existing frameworks, and is available at https://github.com/abdelfattah-lab/diviml.Comment: accepted at ICCAD'2

Towards a Stronger Theory for Permutation-based Evolutionary Algorithms

While the theoretical analysis of evolutionary algorithms (EAs) has made significant progress for pseudo-Boolean optimization problems in the last 25 years, only sporadic theoretical results exist on how EAs solve permutation-based problems. To overcome the lack of permutation-based benchmark problems, we propose a general way to transfer the classic pseudo-Boolean benchmarks into benchmarks defined on sets of permutations. We then conduct a rigorous runtime analysis of the permutation-based $(1+1)$ EA proposed by Scharnow, Tinnefeld, and Wegener (2004) on the analogues of the \textsc{LeadingOnes} and \textsc{Jump} benchmarks. The latter shows that, different from bit-strings, it is not only the Hamming distance that determines how difficult it is to mutate a permutation $\sigma$ into another one $\tau$, but also the precise cycle structure of $\sigma \tau^{-1}$. For this reason, we also regard the more symmetric scramble mutation operator. We observe that it not only leads to simpler proofs, but also reduces the runtime on jump functions with odd jump size by a factor of $\Theta(n)$. Finally, we show that a heavy-tailed version of the scramble operator, as in the bit-string case, leads to a speed-up of order $m^{\Theta(m)}$ on jump functions with jump size~$m$.%Comment: To appear in the proceedings of GECCO 2022. This version contains the proofs omitted in the proceedings version for reasons of spac

Traumatisme vertebro-medullaire compliquant une spondylarthrite ankylosante

La survenue d’un traumatisme vertébral constitue un événement potentiellement grave dans l’évolution d’une spondylarthrite ankylosante (SPA). Le risque d’une atteinte médullaire est relativement élevé. Nous rapportons deux observations illustratives de la gravité du traumatisme vertébro-médullaire compliquant une SPA, avec une revue des différents facteurs de risque, et des aspects cliniques et thérapeutiques de la prise en charge dans cette situation

Les kystes dermoïdes de la fosse cerebrale postereure

Matériel et Méthode 3 enfants âgés de 18 mois à 8 ans ont été colligés au service entre 2005 et 2010. Résultas 3 patients ont présenté un syndrome d’hypertension intracrânienne, dont un patient a présenté une méningite récidivante. Tous avaient un sinus dermique. L’IRM a été réalisée dans tous les cas. Tous ont bénéficié d’une exérèse chirurgicale totale et d’une dérivation du LCR par ventriculo-cisternostomie première en urgence dans un cas et par dérivation ventriculo-péritonéale en post-opératoire dans deux cas. L’évolution était satisfaisante sans récidive avec un recul moyen de 3 ans. Conclusion Dans notre série, le KD de la fosse cérébrale postérieure est toujours associé à un sinus dermique et à une hydrocéphalie. La prise en charge repose sur l’exérèse chirurgicale et sur la dérivation du liquide cérébro-spinal.Mots clés : kyste dermoïde, sinus dermique, fosse cérébrale postérieure, chirurgie, résonance magnétiqu

Nocardia brain abscess - case report and literature review

Background and purposeNocardia species is an aerobic soil-saprophyte bacterium, responsible for rare opportunistic infections, mainly reported in immunocompromised patients. Nocardia brain abscess accounts for 1 to 2% of cerebral abscess. Abscesses are mainly located in the brain stem. Prognosis is poor.Methods The authors report one biloculated cerebral abscess case located in the left cerebellar and occipital lobes. We describe clinical, radiological and bacteriological findings and management; we also a review literature on Nocardia cerebral abscess.Case report A 56 year old man who was immunosuppressed, presented with headache and cerebellar syndrome. Head Computerised Tomography showed an irregularly enhancing cystic lesion in the left cerebellar and occipital lobes. He underwent posterior fossa cranitomy and chemotherapy that included high doses of Sulfamethoxazole-Trimethoprim and cefotaxime as microbateriologic examination revealed norcardia asteroids. He was eventually discharged home.Conclusion Nocardiasis is a rare cause of cerebral abcess in Morocco. Effective management includes early surgery and treatment with appropriate antibiotics

Hémangiopéricytome de l’angle ponto-cérébelleux: cas clinique et revue de la littérature

Les hémangiopéricytomes primitifs du système nerveux central sont rares et représentent moins de 1% des tumeurs intracraniennes. La localisation au niveau de l'angle ponto-cerebelleux est très rare, pouvant simuler un neurinome de l'acoustique ou un méningiome. Le diagnostic de certitude est basé sur l'étude histologique et immunohistochimique. Notre but est d'illustrer avec une revue de la littérature les aspects clinicoradiologiques, anatomopathologiques et la prise en charge thérapeutique de ce type de lésion

Lipoblastome de la fosse sous temporale

Le lipoblastome est une tumeur bénigne rare, formée d'adypocytes immatures associés à la présence d'une matrice myxoide, de septas fibreux, et d'une architecture lobulaire. Il survient généralement chez le nourrisson et l'enfant. Cette tumeur touche dans la majorité des cas les tissus sous-cutanés des extrémités et du tronc. Elle est extrêmement rare au niveau de la tête et du cou. Un total de moins de 100 cas ont été rapportés précédemment dans la littérature