Automatic 3D segmentation of individual facial muscles using unlabeled prior information

Purpose Segmentation of facial soft tissues is required for surgical planning and evaluation, but this is laborious using manual methods and has been difficult to achieve with digital segmentation methods. A new automatic 3D segmentation method for facial soft tissues in magnetic resonance imaging (MRI) images was designed, implemented, and tested

Facial soft tissue segmentation

The importance of the face for socio-ecological interaction is the cause for a high demand on any surgical intervention on the facial musculo-skeletal system. Bones and soft-tissues are of major importance for any facial surgical treatment to guarantee an optimal, functional and aesthetical result. For this reason, surgeons want to pre-operatively plan, simulate and predict the outcome of the surgery allowing for shorter operation times and improved quality. Accurate simulation requires exact segmentation knowledge of the facial tissues. Thus semi-automatic segmentation techniques are required. This thesis proposes semi-automatic methods for segmentation of the facial soft-tissues, such as muscles, skin and fat, from CT and MRI datasets, using a Markov Random Fields (MRF) framework. Due to image noise, artifacts, weak edges and multiple objects of similar appearance in close proximity, it is difficult to segment the object of interest by using image information alone. Segmentations would leak at weak edges into neighboring structures that have a similar intensity profile. To overcome this problem, additional shape knowledge is incorporated in the energy function which can then be minimized using Graph-Cuts (GC). Incremental approaches by incorporating additional prior shape knowledge are presented. The proposed approaches are not object specific and can be applied to segment any class of objects be that anatomical or non-anatomical from medical or non-medical image datasets, whenever a statistical model is present. In the first approach a 3D mean shape template is used as shape prior, which is integrated into the MRF based energy function. Here, the shape knowledge is encoded into the data and the smoothness terms of the energy function that constrains the segmented parts to a reasonable shape. In the second approach, to improve handling of shape variations naturally found in the population, the fixed shape template is replaced by a more robust 3D statistical shape model based on Probabilistic Principal Component Analysis (PPCA). The advantages of using the Probabilistic PCA are that it allows reconstructing the optimal shape and computing the remaining variance of the statistical model from partial information. By using an iterative method, the statistical shape model is then refined using image based cues to get a better fitting of the statistical model to the patient's muscle anatomy. These image cues are based on the segmented muscle, edge information and intensity likelihood of the muscle. Here, a linear shape update mechanism is used to fit the statistical model to the image based cues. In the third approach, the shape refinement step is further improved by using a non-linear shape update mechanism where vertices of the 3D mesh of the statistical model incur the non-linear penalty depending on the remaining variability of the vertex. The non-linear shape update mechanism provides a more accurate shape update and helps in a finer shape fitting of the statistical model to the image based cues in areas where the shape variability is high. Finally, a unified approach is presented to segment the relevant facial muscles and the remaining facial soft-tissues (skin and fat). One soft-tissue layer is removed at a time such as the head and non-head regions followed by the skin. In the next step, bones are removed from the dataset, followed by the separation of the brain and non-brain regions as well as the removal of air cavities. Afterwards, facial fat is segmented using the standard Graph-Cuts approach. After separating the important anatomical structures, finally, a 3D fixed shape template mesh of the facial muscles is used to segment the relevant facial muscles. The proposed methods are tested on the challenging example of segmenting the masseter muscle. The datasets were noisy with almost all possessing mild to severe imaging artifacts such as high-density artifacts caused by e.g. dental fillings and dental implants. Qualitative and quantitative experimental results show that by incorporating prior shape knowledge leaking can be effectively constrained to obtain better segmentation results

Quantitative Schnittbildanalyse der mimischen Muskulatur

Welche mimischen Muskeln können durch klinische Ultraschallgeräte reproduzierbar erfasst und vermessen werden? Der M. mentalis, M. depressor anguli oris, M. depressor labii inferioris, M. zygomaticus major, M. orbicularis oris, M. orbicularis oculi, M. procerus, M. nasalis und der M. frontalis sowie der Kaumuskeln M. temporalis und M. masseter sind reproduzierbar darstellbar. Damit sind 9 von 23 mimischen Muskeln immer, und mit dem M. corrugator supercilii, M. levator labii superioris, M. levator labii superioris alaeque nasi, M. buccinator, M. zygomaticus minor und M. risorius 15 von 23 mimischen Muskeln in den meisten Fällen per Sonographie darstellbar. Welche quantitativen Daten lassen sich erfassen und wie hoch ist deren Reliabilität? Die besten Inter-Oberserver-Reliabilitäten zeigten sich bei den Querschnittflächen des M. mentalis, M. depressor anguli oris, M. depressor labii inferioris und M. zygomaticus (ICC in Ruhe ? 0,965) sowie der maximale Durchmesser des M. orbicularis oris, M. orbicularis oculi, und der M. frontalis sowie dem maximalen Durchmesser der Kaumuskeln M. temporalis, M. masseter (ICC in Ruhe ? 0,815). Wie groß sind die darstellbaren mimischen Muskeln? Gibt es Geschlechts- und Altersunterschiede? Gibt es Zusammenhänge mit der Körpergröße, oder dem -gewicht? An Referenzwerte von 140 Freiwilligen im Alter zwischen 21 und 93 Jahren konnte gezeigt werden, dass es keine relevanten Seitenunterschiede bei der mimischen Muskulatur gibt. Es zeigte sich jedoch eine Korrelation zwischen dem Körpergewicht und der Muskelgröße. Im Gegensatz dazu hatte das Alter keinen relevanten Effekt auf die mimischen Muskeln, obwohl bei Hals- und Kaumuskeln eine Abnahme der Muskelgröße im Laufe des Lebens bekannt ist. Ist die Methode geeignet, pathologische Veränderungen der mimischen Muskulatur zu detektieren? Wenn es zu keiner Reinervation kam, zweite sich die deutlichste Abnahme der Querschnittsflächen und Durchmesser um den 3. bis 7. Monat nach Beginn der Fazialisparese. Nach Reinnervation kam es nicht nur zu einer Zunahme der zuvor atrophierten Muskulatur bis zur Angleichung an die gesunde Gegenseite, sondern teilweise deutlich darüber hinaus. Diese Hypertrophie scheint das sonoanatomische Korrelat des klinischen Phänomens des Hyperkinesie bzw. der Synkinesie bei Defektheilung nach axonaler Schädigung und fehlgeleiteter bzw. überschießender Reinnervation des N. fazialis zu sein. Sind 3D-Ultraschall-Aufnahmen der mimischen Muskulatur möglich und enthalten Ihre Daten neue Erkenntnisse, die 2D-Ulraschall-Aufnahmen nicht hätten liefern können? Der M. frontalis, M. orbicularis oculi, M. depressor anguli oris, M. depressor labii inferioris und M. mentalis können erfasst werden und so Volumeninformationen, die sonst nur MRT und CT vorbehalten waren, gewonnen werden. Zukünftige sollte es durch z. B. Freihand-Aufnahmen unter Navigations-Kontrolle möglich sein, noch mehr Muskeln zu vermessen und so die 3D-Sonographie eine echte Alternative zur MRT darstellen. Können auch in MRT-Datensätze die mimischen Muskeln reproduzierbar identifiziert und segmentiert werden? Wenn ja, was ist dafür ein sinnvolles Vorgehen? Ähnlich wie beim Ultraschall, sind auch beim MRT zu dünne oder schlecht abgegrenzte Muskeln nicht zu erfassen. In allen Regionen des Gesichts sind aber ausreichend gut identifizierbare Muskeln vorhanden: Einer im Internet veröffentlichen Anleitung folgend sind der M. frontalis, M. procerus, M. risorius, M. corrugator supercilii, M. orbiculairs oculi, M. nasalis, M. zygomaticus major, M. zygomaticus minor, M. levator labii superior, M. orbicularis oris, M. depressor anguli oris, M. depressor labii inferioris und M. mentalis, sowie die beiden Kaumuskeln M. masseter und M. temporalis reproduzierbar segmentierbar (ICC = 0,82). Korrelieren die in den Bildgebungen gesehenen Veränderungen mit elektrophysiologischen Untersuchungsergebnissen? Wie ergänzen sich diese Methoden? In der klinisch definierten Denervierungsphase zeigten sich Korrelationen zwischen den Ultraschalluntersuchungen des Muskels und den Nadel-EMG-Ergebnissen: Vermehrte Einstichaktivität, das Fehlen von pathologischer Spontanaktivität, vermehrte Willküraktivität und normale Morphologie der Muskelaktionspotentiale korrelierte mit einer höheren Muskelgröße. Mit Blick auf die klinischen Parameter zeigte sich eine negative Korrelation zwischen dem Stennert Parese Index in Ruhe und der Muskeldicke in Ruhe. Nach Schaffung von Referenzwerte bei unterschiedlichen Krankheitsverläufen könnte die Sonographie zukünftige ungünstige Verläufe bereits in den ersten Tagen der Erkrankung erkennen und damit die Therapie beeinflussen

Magnetresonanztomographie zur Quantifizierung der mimischen Muskulatur von Probanden : Erstellung einer Segmentierungsanleitung

Die Magnetresonanztomographie zur Quantifizierung der mimischen Muskeln sollte re-evaluiert und durch Erstellung einer Segmentierungsanleitung im Klinikalltag nutzbar gemacht werden. Mit einer 12-Kanal Kopfspule wurden in einem 3-Tesla MRT Gerät (Magnetom Tim Trio, Siemens, Erlangen) die mimische Muskulatur von acht Probanden untersucht. Das Untersuchungsprotokoll beinhaltete eine 3-D T1 gewichtete MPRAGE-Sequenz. Mit Hilfe des open-source Segmentierungs-programmes MITK wurden alle identifizierbaren mimischen Muskeln sowie die Mm. masseter et temporalis durch zwei Untersucher unabhängig voneinander segmentiert sowie die Grauwerte und Volumina ermittelt. Zum Zwecke der qualitativen und quantitativen Evaluierung wurde ein MRT eines fixierten Körperspenders vorgenommen sowie die mimische Muskulatur des selbigen anatomisch präpariert. Abschließend wurde auf der Grundlage einer neu erstellten Segmentierungsanleitung die Muskulatur von drei weiteren Probanden segmentiert. Durch Vergleich der MRT-Daten mit den Ergebnissen der Präparation konnte die korrekte Identifikation und Segmentierung der Muskeln erstmalig sichergestellt werden. Neun mimische Muskeln konnten mit ausreichender Sicherheit in den MRT-Datensätzen aufgefunden werden. Für diese wurde eine Anleitung zur standardisierten Segmentierung entwickelt (www.facial.muscles.wiki). Der Vergleich der Interobserver Reliabilität und dem Zeitaufwand mit und ohne Anleitung verdeutlichte, dass die Ergebnisse der Segmentierungen durch Nutzung der Anleitung sowohl qualitativ als auch quantitativ verbessert werden konnten. Die entwickelte Segmentierungsanleitung ermöglicht eine effiziente nicht-invasive Quantifizierung der Volumina der mimischen Muskulatur. Damit ist der Grundstein für eine präzisere Diagnostik pathologischer Veränderungen, wie sie z.B. durch Fazialisparesen oder angeborene Fehlbildungen verursacht werden, gelegt worden

Etude biomécanique de la mimique faciale

The aim of this research is to study facials mimics movements and to correlate externat soft tissue (i.e., cutaneous) movement during facial mimics with internal (i.e., facial mimic muscle) movement. The entire facial mimicry couldn't be studied, that's why relevant movements had been selected. Those movements were characterised by a clinically qualitative analysis in 23 young healthy volunteers. The analysis was performed with video recordings including scaling derived from the FACS (Facial Action Coding System). After the validation of external characterisation by this method, internal characterisation of the mimic facial muscle was carried out in 10 volunteers. A modelization of selected facial mimic muscle as Zygomaticus Major was achieved. With this work, morphological parameters could be extracted, 3D morphometric data were analysed to provide a better understanding of cinematic behaviour of muscle in different positions.This research is included in the Simovi Project, which aims to determine to what extent a facial mimic can be evaluated objectively, to select the qualitative and quantitative indicators for evaluation of mimic facial disorders, and to transfer our technological developments in clinical field. This research is a first step and provides data for simulation or developments of measurement tools in evaluation and follow-up of mimic facial disorders.Ce travail de thèse, inclus dans un projet structurant plus vaste, projet SIMOVI (SImulation des MOuvements du VIsage), s’attache à étudier spécifiquement la mimique faciale en corrélant les déplacements visibles du revêtement cutané et les mouvements musculaires internes à travers le développement de plusieurs méthodologies. L’ensemble de la mimique faciale ne pouvant être étudié, étant donné la multitude d’expressions, les mouvements pertinents à étudier dans nos travaux ont été identifiés. Ces mouvements ont été caractérisés chez 23 sujets jeunes dans une analyse descriptive qualitative et clinique, basée sur une méthodologie s’appuyant sur l’analyse d’enregistrements vidéoscopiques, et le développement d’un codage issu du FACS (Facial Action Coding System). Une cohorte de référence a ainsi été constituée. Après avoir validé notre méthodologie pour la caractérisation externe de la mimique, l’analyse des muscles peauciers par l’IRM a été réalisée sur 10 hémifaces parmi les sujets sains issus de la cohorte. Cette caractérisation a fait appel, à partir d’une anatomie in vivo, à une modélisation de certains muscles peauciers (zygomaticus major en particulier) afin d’extraire des paramètres morphologiques, de réaliser une analyse plus fine de la morphologie musculaire en 3 dimensions, et d’apporter une meilleure compréhension du comportement cinématique du muscle dans différentes positions. Par son intégration dans un questionnement plus vaste :- comment caractériser objectivement la mimique faciale ? - quels sont les indicateurs qualitatifs et quantitatifs de la mimique que nous pouvons recueillir, et comment réaliser ce recueil ? - comment utiliser les développements technologiques dans les applications cliniques ? Ce travail constitue une étape préliminaire à d’autres travaux. Il pourra fournir des données de référence à des fins de modélisation, de simulation de la mimique faciale, ou de développements d’outil de mesures pour le suivi et l’évaluation des déficits de la mimique faciale

Bionic Lid Implant for Natural Closure (BLINC)

Facial nerve palsy (FNP) leads to an inability to blink. The exposed eye is at risk of developing corneal keratopathy and currently there is a lack of solution to active eye closure that is immediate and reliable. Bionic Lid Implant for Natural Closure (BLINC) proposes the use of an implantable actuator combined with the effects of an eyelid sling for dynamic eye closure. The aims of this thesis are to 1) explore the clinical need for BLINC, 2) describe the BLINC technology, and 3) present the results of its application in cadaveric and live models. Methods The aims of this project are addressed in three parts. In part one, the current therapies addressing key clinical end points in FNP from an ocular perspective and the setting where BLINC may first be used are explored. In part two the science behind BLINC is outlined. Finally in part three application of BLINC in cadaveric and live models are studied followed by a discussion on future steps preceding a pilot study in humans. Results Patients with FNP consistently identify issues related to the eye a primary concern. Current reanimation strategies offer the possibility of dynamic eye closure but the results are delayed and often unpredictable. BLINC reliably achieves active eye closure in cadaveric models by means of a wireless-powered, implantable electromagnetic actuator in conjunction with an eyelid sling. BLINC closes the eye in a similar fashion to natural closure for a symmetrical blink in FNP. Successful application of an inactive device in its complete form is achieved in a live animal without significant morbidity. Conclusion BLINC offers the possibility of restoring active eye closure with use of an implantable actuator. The concept has been successfully demonstrated in cadaveric models with successful device implantation in a live model. Future live trials are needed to address the remaining biocompatibility issues in preparation for human application