Color image analysis and optimization for shadow removal and segmentation

Abstract

This dissertation aims at the investigation of color image processing and analysis methodologies focusing on the segmentation of regions of interest, shadow detection and removal. The segmentation regions of interest have various applications in medical imaging, such as the accurate delineation of possibly abnormal regions for measurement and assessment. The presence of shadows in natural environment images can affect intelligent object recognition and detection systems, as it alters the luminosity and features of objects and their environment. The aim is to develop methodologies to tackle these problems and to improve accuracy in relation to existing methods, to improve processing times, as well as to reduce the amount of data required for their adaptation in different applications. Nature-inspired optimization algorithms can contribute to these processes through the physical and mathematical approaches which are based on. Initially, the investigation of such algorithms led to the development of a novel algorithm, called Emotion-Aware Brain Storm Optimization (EMABSO), which is inspired by the emotional state of the participants during the brainstorming process of a human population. This algorithm has shown that it generally excels in solving optimization problems, based on an evaluation carried out using benchmark functions that have been proposed for this purpose in the literature. Then, in order with shadows, the original H-V Shadow Detection (HSVD) methodology was developed using an optimization algorithm inspired by the electromagnetic forces between charged particles. HVSD performed better than, or comparable to, state-of-the-art methodologies that either a) make use of expensive sensors in the near infrared region (NIR) of the electromagnetic spectrum, or b) use computationally expensive methods based on machine learning. The HVSD methodology was extended by developing the unsupervised Simple Shadow Removal Algoritghm (SUShe) shadow removal algorithm whose main advantages are a) that it does not require training on a large amount of data and b) its low computational complexity. The results showed that SUShe outperforms all unsupervised methods in the existing literature, as well as some supervised methods based on more complex techniques of Convolutional Neural Networks (CNNs) and Generative Adversarial Networks (GANs). Compared to those SUShe shows lower performance, it gives comparable results. In addition, aiming to investigate the removal of shadows in more complex images, an original Multiscale Shadow Removal U-Net (MSSRU-Net) architecture was developed, and compared with various state-of-the-art relevant methodologies. The proposed, and the state-of-the-art methodologies were evaluated on a dataset containing images that simulate real situations from everyday life, including real objects and obstacles in complex scenes. The results showed that MSSRU-Net outperforms the state-of-the-art methods. Finally, in the context of medical image analysis, a hybrid Vision Transformers (ViTs) training methodology was developed, which is based on a traditional segmentation technique based on level sets. The energy terms contained in these sets provide spatial information about the boundaries of the contours of the anomalies. Therefore, ViTs were integrated with the equilibrium sets by introducing a loss function inspired by them, during the training of the models. The methodology was fully evaluated on three public datasets: two including images of skin lesions and one including histopathological images of colon9adenocarcinomas. The results showed that the use of the specific function a) improves the performance of innovative ViTs and b) contributes to strengthening the generalization ability of these models. The works presented in this thesis include methods aiming to solve image segmentation and shadow detection issues. These methods can be used as a basis for future research and applications, such as robotics, assisted navigation and telemedicine.

Η παρούσα διδακτορική διατριβή έχει ως στόχο τη διερεύνηση μεθοδολογιών επεξεργασίας και ανάλυσης έγχρωμων εικόνων εστιάζοντας στην τμηματοποίηση περιοχών ενδιαφέροντος, τον εντοπισμό και την αφαίρεση σκιάσεων. Η τμηματοποίηση περιοχών ενδιαφέροντος σε ιατρικές εικόνες βρίσκει πολλές εφαρμογές στην ιατρική απεικόνιση, όπως για τον ακριβή προσδιορισμό των ορίων μη φυσιολογικών περιοχών, τη μέτρηση και την αξιολόγησή τους. Η ύπαρξη σκιάσεων σε εικόνες φυσικού περιβάλλοντος μπορεί να επηρεάσει τα ευφυή συστήματα αναγνώρισης και εντοπισμού αντικειμένων, καθώς αλλοιώνει τη φωτεινότητα και τα χαρακτηριστικά των αντικειμένων και του περιβάλλοντος χώρου τους. Στόχος είναι η ανάπτυξη μεθοδολογιών για την επίλυση αυτών των προβλημάτων, η βελτίωση της ακρίβειας που επιτυγχάνεται σε σχέση με τις υπάρχουσες μεθόδους, η βελτίωση των χρόνων επεξεργασίας, όπως επίσης και η μείωση του όγκου δεδομένων που απαιτείται για την προσαρμογή τους σε διαφορετικές εφαρμογές. Οι εμπνευσμένοι από τη φύση αλγόριθμοι βελτιστοποίησης μπορούν να συμβάλλουν στις διεργασίες αυτές μέσω των φυσικών και μαθηματικών προσεγγίσεων που ακολουθούν.Αρχικά, με στόχο τη διερεύνηση των αλγορίθμων αυτών, αναπτύχθηκε ο υβριδικός αλγόριθμος βελτιστοποίησης Emotion-Aware Brain Storm Optimization (EMABSO) ο οποίος είναι εμπνευσμένος από την συναισθηματική κατάσταση των συμμετεχόντων κατά τη διάρκεια της διαδικασίας του καταιγισμού ιδεών (brainstorming) σε μία ομάδα ανθρώπων. Ο αλγόριθμος αυτός έδειξε ότι γενικότερα υπερέχει στην επίλυση προβλημάτων βελτιστοποίησης, βάσει αξιολόγησης που πραγματοποιήθηκε με τη χρήση συναρτήσεων αναφοράς (benchmark functions) που έχουν προταθεί για το σκοπό αυτό στη βιβλιογραφία. Στη συνέχεια για το πρόβλημα αντιμετώπισης των σκιάσεων αναπτύχθηκε η πρωτότυπη μεθοδολογία εντοπισμού σκιάσεων H-V (H-V Shadow Detection, HSVD) αξιοποιώντας αλγόριθμο βελτιστοποίησης εμπνευσμένο από τις ηλεκτρομαγνητικές δυνάμεις μεταξύ φορτισμένων σωματιδίων. Ο HVSD απέδωσε καλύτερα ή συγκρίσιμα αποτελέσματα σε σχέση με καινοτόμες μεθοδολογίες οι οποίες είτε α) κάνουν χρήση δαπανηρών αισθητήρων στην υπέρυθρη περιοχή του ηλεκτρομαγνητικού φάσματος, είτε β) χρησιμοποιούν υπολογιστικά δαπανηρές μεθόδους βασιζόμενες στη μηχανική μάθηση. Η μεθοδολογία του HVSD επεκτάθηκε αναπτύσσοντας τον μη επιβλεπόμενο αλγόριθμο για αφαίρεση της σκίασης SUShe του οποίου τα βασικά προτερήματα είναι α) ότι δεν απαιτεί εκπαίδευση σε μεγάλο όγκο δεδομένων και β) η χαμηλή υπολογιστική του πολυπλοκότητα. Τα αποτελέσματα έδειξαν ότι ο SUShe υπερέχει όλων των μη επιβλεπόμενων μεθόδων της υπάρχουσας βιβλιογραφίας, όπως επίσης και κάποιων που βασίζονται σε πολυπλοκότερες τεχνικές Συνελικτικών Νευρωνικών Δικτύων (Convolutional Neural Networks, CNNs) και Παραγωγικών Αντιπαραθετικών Δικτύων (Generative Adversarial Networks, GANs). Αναφορικά με όσες παρουσιάζει χαμηλότερη επίδοση, δίνει συγκρίσιμα αποτελέσματα. Επιπλέον στοχεύοντας στη διερεύνηση της αφαίρεσης των σκιάσεων σε πιο σύνθετες εικόνες αναπτύχθηκε μια πρωτότυπη αρχιτεκτονική Multiscale Shadow Removal U-Net (MSSRU-Net), και συγκρίθηκε με διάφορες μεθοδολογίες αιχμής. Η προτεινόμενη αρχιτεκτονική και οι μεθοδολογίες αυτές αξιολογήθηκαν αξιοποιώντας μια πρωτότυπη βάση δεδομένων που περιέχει εικόνες που προσομοιώνουν πραγματικές 11 καταστάσεις από την καθημερινότητα, εμπεριέχοντας πραγματικά εμπόδια σε σύνθετα σκηνικά. Τα αποτελέσματα έδειξαν ότι το MSSRU-Net υπερέχει έναντι των άλλων σύγχρονων μεθόδων. Τέλος, στο πλαίσιο της ανάλυσης ιατρικών εικόνων, αναπτύχθηκε μία υβριδική μεθοδολογία εκπαίδευσης Μετασχηματιστών Όρασης (Vision Transformers ,ViTs), η οποία έχει τη βάση της σε μια παραδοσιακή τεχνική τμηματοποίησης που βασίζεται σε ισοσταθμικά σύνολα (level sets). Οι ενεργειακοί όροι που εμπεριέχουν τα σύνολα αυτά προσδίδουν χωρικές πληροφορίες σχετικά με τα όρια των περιγραμμάτων των ανωμαλιών. Επομένως οι ViTs ολοκληρώθηκαν με τα ισοσταθμικά σύνολα εισάγοντας μια συνάρτηση κόστους (loss function) εμπνευσμένη από αυτά, κατά τη διάρκεια της εκπαίδευσης των μοντέλων. Η μεθοδολογία αξιολογήθηκε συνολικά σε τρεις δημόσιες βάσεις δεδομένων: δύο που περιλαμβάνουν εικόνες με δερματικές βλάβες και μία που περιλαμβάνει ιστολογικές εικόνες με αδενοκαρκινώματα του παχέος εντέρου. Τα αποτελέσματα έδειξαν ότι η χρήση της συγκεκριμένης συνάρτησης α) βελτιώνει τις επιδόσεις των καινοτόμων ViTs και β) συμβάλλει στην ενίσχυση της γενικευτικής ικανότητας των μοντέλων αυτών.Οι εργασίες που παρουσιάζονται στη διατριβή αυτή περιλαμβάνουν μεθόδους οι οποίες αποσκοπούν στην εξεύρεση λύσεων σε θέματα τμηματοποίησης, ανίχνευσης και αφαίρεσης σκιάσεων. Οι μέθοδοι αυτές μπορούν να χρησιμοποιηθούν ως βάση για μελλοντική έρευνα αλλά και εφαρμογές όπως η ρομποτική, η υποβοηθούμενη πλοήγηση αλλά και την τηλεϊατρική.