Αλγόριθμοι πλημμυρίδας κατά Bayes για τμηματοποίηση εικόνων και βίντεο

Image segmentation is one of the fundamental problems in image processing and computer vision. Segmentation is also one of the first steps in many image analysis tasks. Image understanding systems such as face or object recognition often assume that the objects of interest are well segmented. Different visual cues, such as colour and texture in still images and motion in image sequences, help in achieving segmentation. Segmentation is also goal dependent, subjective, and hence ill-posed in a general set up. However, it is desirable to consider generic methods that can be applied to a large variety of images and can be adapted for specific applications. This thesis work focuses on developing such segmentation methods that work on natural images. Segmentation is based on a statistical framework. Visual feature description is unified under a statistical point of view. The first part of the framework proposes a new, block based clustering method for visual content classification. Starting with the computation of visual cues, statistics of blocks are estimated and a k-means algorithm is employed for classification of blocks in a number of classes, using statistical dissimilarity criteria. A novel distance metric between affine models of optical flow is also described. Towards the automation of clustering, a method for computing the number of visual classes as well as a feature selection procedure are also proposed. Second part of the framework explores region based segmentation, given the statistical description of classes. Initial regions of high confidence per class are determined and two new region growing algorithms are proposed to expand initial regions. The strong relation of region growing on statistical surfaces to the connectivity percolation process is also underlined. To test the effectiveness of these new techniques, extensive tests are conducted on the Berkeley segmentation data set and the associated ground truth, using colour and texture. Furthermore, segmentation of independently moving objects using interframe difference and colour as well optical flow based segmentation in image sequences is also described. Finally, an application is shown, in which the proposed framework is used for extracting left ventricle in medical cardiac images.Η τμηματοποίηση εικόνων είναι ένα από τα θεμελιώδη προβλήματα στην επεξεργασία εικόνας και τη μηχανική όραση. Αποτελεί επίσης ένα από τα πρώτα βήματα σε πολλές εφαρμογές ανάλυσης εικόνας. Σε συστήματα κατανόησης εικόνων όπως η αναγνώριση προσώπων ή αντικειμένων, συχνά γίνεται η υπόθεση ότι τα αντικείμενα ενδιαφέροντος είναι καλά τμηματοποιημένα. Τα διάφορα οπτικά χαρακτηριστικά, όπως το χρώμα και η υφή στατικών εικόνων καθώς και η κίνηση στις ακολουθίες εικόνων, βοηθούν στην επίτευξη της τμηματοποίησης. Η τμηματοποίηση είναι ένα όχι καλά ορισμένο πρόβλημα, καθώς είναι γνωστό ότι εξαρτάται από την εφαρμογή και το αποτέλεσμα κρίνεται ενίοτε υποκειμενικά από το χρήστη. Εντούτοις, είναι αναγκαίο να εξετασθούν γενικές μέθοδοι που βρίσκουν εφαρμογή σε μεγάλη ποικιλία εικόνων και μπορούν να προσαρμοστούν σε συγκεκριμένες εφαρμογές. Η εργασία εστιάζει στην ανάπτυξη μεθόδων τμηματοποίησης αυτού του τύπου για εφαρμογή σε φυσικές εικόνες. Η τμηματοποίηση βασίζεται σε ένα πλαίσιο στατιστικής περιγραφής των χαρακτηριστικών. Η περιγραφή αυτή επιτρέπει την ενιαία αντιμετώπιση των χαρακτηριστικών από στατιστικές κατανομές. Στο πρώτο μέρος του πλαισίου προτείνεται μια νέα μέθοδος ομαδοποίησης των μπλοκ της εικόνας βασισμένη στο οπτικό περιεχόμενο. Ξεκινώντας με τον υπολογισμό των οπτικών χαρακτηριστικών, εκτιμάται η στατιστική περιγραφή των χαρακτηριστικών των μπλοκ. Στη συνέχεια, εφαρμόζεται ένας k-means αλγόριθμος για την ταξινόμηση των μπλοκ σε ένα αριθμό κλάσεων, χρησιμοποιώντας αποστάσεις ανομοιότητας κατανομών. Επίσης, περιγράφεται μια νέα μετρική απόστασης μεταξύ αφινικών μοντέλων οπτικής ροής. Για την αυτοματοποίηση της ομαδοποίησης, προτείνονται μια μέθοδος υπολογισμού του αριθμού των κλάσεων, όπως επίσης και μια τεχνική επιλογής χαρακτηριστικών. Στο δεύτερο μέρος του πλαισίου, διερευνάται η τμηματοποίηση σε περιοχές, με δεδομένη τη στατιστική περιγραφή των κλάσεων. Το πρώτο βήμα της προσέγγισης είναι ο προσδιορισμός αρχικών περιοχών μεγάλης εμπιστοσύνης για κάθε κλάση, οι οποίες επεκτείνονται στη συνέχεια από δύο νέους αλγορίθμους επέκτασης περιοχών. Επίσης, υπογραμμίζεται η ισχυρή σύνδεση που υπάρχει μεταξύ της επέκτασης περιοχών σε στατιστικές επιφάνειες και τη θεωρία διήθησης από τη στατιστική φυσική. Ο έλεγχος της αποτελεσματικότητας των νέων τεχνικών βασίζεται σε εκτεταμένα πειράματα στο γνωστό σύνολο εικόνων του Berkeley, βάσει της τμηματοποίησης από ανθρώπους που συνοδεύουν αυτό το σύνολο. Επιπλέον, περιγράφεται η εφαρμογή των τεχνικών στην τμηματοποίηση αντικειμένων που κινούνται ανεξάρτητα από την κίνηση της κάμερας, χρησιμοποιώντας είτε τη διαφορά φωτεινότητας μεταξύ διαδοχικών καρέ video σε συνδυασμό με το χρώμα είτε την οπτική ροή που εξάγεται από διαδοχικά καρέ. Τέλος, αναλύεται η εφαρμογή του προτεινόμενου πλαισίου στην εξαγωγή της αριστερής κοιλίας σε ιατρικές εικόνες καρδιάς

Ανάλυση Περιεχομένου Video

Nowadays, the progress in the development of broadband networks which is followed by the concurrent progress in building high-powered workstations, has increased the data manipulation capabilities. This advent, provides the ability to efficiently parse the multimedia information which in turn, increases the importance of efficient optical information management systems. The management consists of video and image manipulation methods, which facilitate the decreasing of the data storage capacity as well as the efficient indexing and retrieval of their content. The special nature of the optical information compared to other digital data sources, such as the text, has lead to the development of indexing/retrieval methods that are based on the optical information content. In this thesis, a feature extraction system is described which is based on the content of the video and its images. The design of the system follows the current approaches on the indexing/retrieval and processing of the optical information. In the first part of the thesis, a fast video segmentation procedure to scenes, is presented. The method cooperates with a key-frame extraction procedure in order to fill the entries of a hierarchical data model, which in general, follows the video indexing data model of the stand ard MPEG7. The method has been applied on MPEG compressed video. In the second part of the thesis, two object extraction methods are presented. The first one is based on the object color, while the second uses the object motion information, to segment the image. Both of them, are based on the segmentation algorithm Seeded Region Growing (SRG). First, the extension of the user-guided SRG algorithm is described, in order to be used in the color image segmentation. Then, an automatic region extraction method which is based on the color of images is proposed. The algorithm is performed on images with faces. The results include the comparison between the systems GLHS and Lab. The extracted regions may then be used as input to the motion segmentation and tracking system.Στις μέρες μας, είναι δεδομένη η πρόοδος στην ανάπτυξη δικτύων ευρείας μετάδοσης η οποία συνοδεύεται από την ανάπτυξη σταθμών εργασίας μεγάλης υπολογιστικής ισχύος.Η πρόοδος αυτή, δίνει πλέον τη δυνατότητα αποδοτικής επεξεργασίας της πληροφορίας των πολυμέσων, με αποτέλεσμα να αυξάνεται διαρκώς η σημασία της ανάπτυξης συστημάτων αποδοτικής διαχείρισης της οπτικής πληροφορίας. Η διαχείριση συνίσταται σε μεθόδους επεξεργασίας των δεδομένων video και εικόνων, που οδηγούν στη μείωση του απαιτούμενου χώρου αποθήκευσης και στην αποδοτική δεικτοδότηση και ανάκτηση του περιεχομένου τους. Η διαφορετική φύση της οπτικής πληροφορίας σε σχέση με άλλες πηγές ψηφιακών δεδομένων, όπως είναι το κείμενο, έχει οδηγήσει στη ανάπτυξη μεθόδων δεικτοδότησης και ανάκτησης που βασίζονται στο περιεχόμενο της οπτικής πληροφορίας. Στην εργασία που παρουσιάζεται στη συνέχεια, περιγράφεται ένα σύστημα εξαγωγής χαρακτηριστικών βάσει του περιεχομένου του video και των εικόνων που το αποτελούν. Ο σχεδιασμός του συστήματος ακολουθεί τις τρέχουσες προσεγγίσεις αποθήκευσης/ανάκτησης και επεξεργασίας της οπτικής πληροφορίας. Στο πρώτο μέρος της εργασίας παρουσιάζεται μια μέθοδος που συνίσταται στην ταχεία τμηματοποίηση του video στις σκηνές από τις οποίες αποτελείται. Η μέθοδος εκτελείται ταυτόχρονα με τη διαδικασία αυτόματης εξαγωγής των αντιπροσωπευτικών εικόνων κάθε σκηνής με σκοπό τη συμπλήρωση των εισόδων ενός ιεραρχικού μοντέλου δεδομένων το οποίο γενικά ακολουθείτο πρότυπο μοντέλο δεικτοδότησης video MPEG7. Η μέθοδος εφαρμόστηκε σε video τα οποία έχουν συμπιεστεί σύμφωνα με το πρότυπο MPEG. Στο δεύτερο μέρος της εργασίας παρουσιάζονται μια μέθοδος εξαγωγής αντικειμένων από εικόνες βάσει του χρώματος τους και μια μέθοδος εξαγωγής και παρακολούθησης αντικειμένων στο χρόνο βάσει της κίνησής τους. Οι μέθοδοι βασίζονται στον αλγόριθμο τμηματοποίησης εικόνων Seeded Region Growing (SRG). Αρχικά, παρουσιάζεται η επέκταση του καθοδηγούμενου από το χρήστη αλγορίθμου SRG για την τμηματοποίηση εικόνων χρώματος. Στη συνέχεια, προτείνεται μια μέθοδος αυτόματης εξαγωγής περιοχών χρώματος η οποία επίσης στηρίζεται στον αλγόριθμο SRG. Ο αλγόριθμος εφαρμόστηκε σε εικόνες προσώπων. Τα αποτελέσματα περιλαμβάνουν τη σύγκριση των χώρων χρώματος GLHS και Lab. Τα εξαγόμενα αντικείμενα μπορούν να αποτελέσουν στη συνέχεια την είσοδο του συστήματος τμηματοποίησης και παρακολούθησης αντικειμένων βάσει της κίνησής τους

Interactive Image Segmentation via Graph Clustering and Synthetic Coordinates Modeling

International audienceWe propose a method for interactive image segmentation. We construct a weighted graph that represents the superpixels and the connections between them. An efficient algorithm for graph clustering based on synthetic coordinates is used yielding an initial map of classified pixels. The proposed method minimizes a min-max Bayesian criterion that has been successfully used on image segmentation problem taking into account visual information as well as the given markers. Experimental results and comparisons with other methods demonstrate the high performance of the proposed scheme

Interactive Image Segmentation Based on Synthetic Graph Coordinates

International audienceIn this paper, we propose a framework for interactive image segmentation. The goal of interactive image segmentation is to classify the image pixels into foreground and background classes, when some foreground and background markers are given. The proposed method minimizes a min-max Bayesian criterion that has been successfully used on image segmentation problem and it consists of several steps in order to take into account visual information as well as the given markers, without any requirement of training. First, we partition the image into contiguous and perceptually similar regions (superpixels). Then, we construct a weighted graph that represents the superpixels and the connections between them. An efficient algorithm for graph clustering based on synthetic coordinates is used yielding an initial map of classified pixels. This method reduces the problem of graph clustering to the simpler problem of point clustering, instead of solving the problem on the graph data structure, as most of the known algorithms from literature do. Finally, having available the data modeling and the initial map of classified pixels, we use a Markov Random Field (MRF) model or a flooding algorithm to get the image segmentation by minimizing a min-max Bayesian criterion. Experimental results and comparisons with other methods from the literature are presented on LHI, Gulshan and Zhao datasets, demonstrating the high performance and accuracy of the proposed scheme

Left Ventricle Quantification Challenge: A Comprehensive Comparison and Evaluation of Segmentation and Regression for Mid-ventricular Short-axis Cardiac MR Data

International audienceAutomatic quantification of the left ventricle (LV) from cardiac magnetic resonance (CMR) images plays an important role in making the diagnosis procedure efficient, reliable, and alleviating the laborious reading work for physicians. Considerable efforts have been devoted to LV quantification using different strategies that include segmentation-based (SG) methods and the recent direct regression (DR) methods. Although both SG and DR methods have obtained great success for the task, a systematic platform to benchmark them remains absent because of differences in label information during model learning. In this paper, we conducted an unbiased evaluation and comparison of cardiac LV quantification methods that were submitted to the Left Ventricle Quantification (LVQuan) challenge, which was held in conjunction with the Statistical Atlases and Computational Modeling of the Heart (STACOM) workshop at the MICCAI 2018. The challenge was targeted at the quantification of 1) areas of LV cavity and myocardium, 2) dimensions of the LV cavity, 3) regional wall thicknesses (RWT), and 4) the cardiac phase, from mid-ventricle short-axis CMR images. First, we constructed a public quantification dataset Cardiac-DIG with ground truth labels for both the myocardium mask and these quantification targets across the entire cardiac cycle. Then, the key techniques employed by each submission were described. Next, quantitative validation of these submissions were conducted with the constructed dataset. The evaluation results revealed that both SG and DR methods can offer good LV quantification performance, even though DR methods do not require densely labeled masks for supervision. Among the 12 submissions, the DR method LDAMT offered the best performance, with a mean estimation error of 301 m