Bayesian flooding for image and video segmentation

Abstract

Image segmentation is one of the fundamental problems in image processing and computer vision. Segmentation is also one of the first steps in many image analysis tasks. Image understanding systems such as face or object recognition often assume that the objects of interest are well segmented. Different visual cues, such as colour and texture in still images and motion in image sequences, help in achieving segmentation. Segmentation is also goal dependent, subjective, and hence ill-posed in a general set up. However, it is desirable to consider generic methods that can be applied to a large variety of images and can be adapted for specific applications. This thesis work focuses on developing such segmentation methods that work on natural images. Segmentation is based on a statistical framework. Visual feature description is unified under a statistical point of view. The first part of the framework proposes a new, block based clustering method for visual content classification. Starting with the computation of visual cues, statistics of blocks are estimated and a k-means algorithm is employed for classification of blocks in a number of classes, using statistical dissimilarity criteria. A novel distance metric between affine models of optical flow is also described. Towards the automation of clustering, a method for computing the number of visual classes as well as a feature selection procedure are also proposed. Second part of the framework explores region based segmentation, given the statistical description of classes. Initial regions of high confidence per class are determined and two new region growing algorithms are proposed to expand initial regions. The strong relation of region growing on statistical surfaces to the connectivity percolation process is also underlined. To test the effectiveness of these new techniques, extensive tests are conducted on the Berkeley segmentation data set and the associated ground truth, using colour and texture. Furthermore, segmentation of independently moving objects using interframe difference and colour as well optical flow based segmentation in image sequences is also described. Finally, an application is shown, in which the proposed framework is used for extracting left ventricle in medical cardiac images.

Η τμηματοποίηση εικόνων είναι ένα από τα θεμελιώδη προβλήματα στην επεξεργασία εικόνας και τη μηχανική όραση. Αποτελεί επίσης ένα από τα πρώτα βήματα σε πολλές εφαρμογές ανάλυσης εικόνας. Σε συστήματα κατανόησης εικόνων όπως η αναγνώριση προσώπων ή αντικειμένων, συχνά γίνεται η υπόθεση ότι τα αντικείμενα ενδιαφέροντος είναι καλά τμηματοποιημένα. Τα διάφορα οπτικά χαρακτηριστικά, όπως το χρώμα και η υφή στατικών εικόνων καθώς και η κίνηση στις ακολουθίες εικόνων, βοηθούν στην επίτευξη της τμηματοποίησης. Η τμηματοποίηση είναι ένα όχι καλά ορισμένο πρόβλημα, καθώς είναι γνωστό ότι εξαρτάται από την εφαρμογή και το αποτέλεσμα κρίνεται ενίοτε υποκειμενικά από το χρήστη. Εντούτοις, είναι αναγκαίο να εξετασθούν γενικές μέθοδοι που βρίσκουν εφαρμογή σε μεγάλη ποικιλία εικόνων και μπορούν να προσαρμοστούν σε συγκεκριμένες εφαρμογές. Η εργασία εστιάζει στην ανάπτυξη μεθόδων τμηματοποίησης αυτού του τύπου για εφαρμογή σε φυσικές εικόνες. Η τμηματοποίηση βασίζεται σε ένα πλαίσιο στατιστικής περιγραφής των χαρακτηριστικών. Η περιγραφή αυτή επιτρέπει την ενιαία αντιμετώπιση των χαρακτηριστικών από στατιστικές κατανομές. Στο πρώτο μέρος του πλαισίου προτείνεται μια νέα μέθοδος ομαδοποίησης των μπλοκ της εικόνας βασισμένη στο οπτικό περιεχόμενο. Ξεκινώντας με τον υπολογισμό των οπτικών χαρακτηριστικών, εκτιμάται η στατιστική περιγραφή των χαρακτηριστικών των μπλοκ. Στη συνέχεια, εφαρμόζεται ένας k-means αλγόριθμος για την ταξινόμηση των μπλοκ σε ένα αριθμό κλάσεων, χρησιμοποιώντας αποστάσεις ανομοιότητας κατανομών. Επίσης, περιγράφεται μια νέα μετρική απόστασης μεταξύ αφινικών μοντέλων οπτικής ροής. Για την αυτοματοποίηση της ομαδοποίησης, προτείνονται μια μέθοδος υπολογισμού του αριθμού των κλάσεων, όπως επίσης και μια τεχνική επιλογής χαρακτηριστικών. Στο δεύτερο μέρος του πλαισίου, διερευνάται η τμηματοποίηση σε περιοχές, με δεδομένη τη στατιστική περιγραφή των κλάσεων. Το πρώτο βήμα της προσέγγισης είναι ο προσδιορισμός αρχικών περιοχών μεγάλης εμπιστοσύνης για κάθε κλάση, οι οποίες επεκτείνονται στη συνέχεια από δύο νέους αλγορίθμους επέκτασης περιοχών. Επίσης, υπογραμμίζεται η ισχυρή σύνδεση που υπάρχει μεταξύ της επέκτασης περιοχών σε στατιστικές επιφάνειες και τη θεωρία διήθησης από τη στατιστική φυσική. Ο έλεγχος της αποτελεσματικότητας των νέων τεχνικών βασίζεται σε εκτεταμένα πειράματα στο γνωστό σύνολο εικόνων του Berkeley, βάσει της τμηματοποίησης από ανθρώπους που συνοδεύουν αυτό το σύνολο. Επιπλέον, περιγράφεται η εφαρμογή των τεχνικών στην τμηματοποίηση αντικειμένων που κινούνται ανεξάρτητα από την κίνηση της κάμερας, χρησιμοποιώντας είτε τη διαφορά φωτεινότητας μεταξύ διαδοχικών καρέ video σε συνδυασμό με το χρώμα είτε την οπτική ροή που εξάγεται από διαδοχικά καρέ. Τέλος, αναλύεται η εφαρμογή του προτεινόμενου πλαισίου στην εξαγωγή της αριστερής κοιλίας σε ιατρικές εικόνες καρδιάς.