Ανάπτυξη και υλοποίηση ηλεκτρονικού συστήματος όρασης βασισμένου στις αρχές λειτουργίας του ανθρώπινου οπτικού συστήματος

Abstract

Both biological and artificial visual systems have to face the same problems οn their basis. They both have to compensate for the limited dynamic range of their sensors, compared to the immense range of intensities that are present in the natural scenes. They both have to extract and encode edges, colors, motion, texture and depth. They have to process a huge amount of visual information in real?time and carry out multiple feature classifications. All the above problems are active research fields of machine vision. Yet, they have already been solved by nature, through the process of evolution. Having already a visual system that functions almost ideally, analyzing its characteristics can shed light to many of the contemporary scientific problems. The primary objective of this dissertation is the development of new techniques in the fields of machine vision and image processing, which have been inspired by the characteristics of the Human Visual System (HVS), and generally, the visual system of the primates. The first problem, which is investigated in this dissertation, is the extraction of salient contours. The edges of an image can be a valuable tool in its analysis and processing. Nevertheless, their vast number can pose a problem to an automatic system. Moreover, biological visual systems can easily distinguish between the most important contours in a scene and create its primal sketch. In this context, a new method is presented for the extraction of salient contours, based on the non?classical receptive field of the simple cells of the primary visual cortex. As part of this method, a new set of binary kernels was designed for the implementation of the simple orientation cells. This set improves by a factor of 20 the usual approach, which is based in the convolution of the image with Gabor filters. Additionally, the proposed implementation of the oriented cells favors parallelism and is more compatible with the discrete lattice of positions and orientations of the hypercolumns, found in the primary visual cortex. A new shape descriptor, based on the proposed kernel set is also introduced. This shape descriptor exhibits scale and rotation invariance and can handle distortions in the contours of the shapes. Moreover, a new type of neural network is introduced having as inputs the results of the proposed oriented kernels, for every image region. With every iteration the network increases the values of the kernels which encode salient contours. The network incorporates the Gestalt laws of good continuity and proximity, by affiliating the orientation kernels according to their coexponentiality. This approach was found to exhibit better results than the usual co?circular approach found in the literature. A new affinity function, based in the similarity between the two lobes of the oriented neurons, is also introduced. This means that neurons with the same excitation degree in both their left and right part increase more their output compared to the other neurons. As a result, better continuity in the extracted contours is achieved. The proposed neural network has also the ability to enhance a certain degree of curvature. This can be used for filtering the extracted salient contours, in order to output only one type of contour (e.g. circles, straight lines etch.). Finally, the proposed method exhibits satisfactory results in a great variety of real and synthetic images, as well as, the fastest execution times reported until now in the literature. The present dissertation also addresses the problem of image quality degradation, caused by the limited dynamic range of the image sensor. In these cases, the dynamic range of the sensor is lower than the dynamic range of the scene, causing either under?exposed or overexposed regions to the image and, thus, reducing the visible information. In this context, a new method is proposed for the enhancement of images with under or over?exposed regions. A new contrast modification function is introduced, derived by the shunting inhibition characteristics of the center?surround cells of the HVS. ...................................

Τα προβλήματα, που πρέπει να αντιμετωπίσουν τα τεχνητά και τα βιολογικά συστήματα όρασης, είναι στη βάση τους ίδια. Και τα δύο πρέπει να αντιμετωπίσουν το πεπερασμένο δυναμικό εύρος των αισθητήρων τους σε σχέση με το ευρύ φάσμα φωτεινών εντάσεων που υπάρχουν στη φύση. Και τα δύο πρέπει να ανιχνεύσουν και να κωδικοποιήσουν ακμές, χρώματα, κίνηση, υφή και βάθος. Πρέπει να επεξεργαστούν έναν τεράστιο όγκο πληροφοριών σε πραγματικό χρόνο και να εκτελέσουν πολλαπλές ταξινομήσεις χαρακτηριστικών. Όλα τα παραπάνω αποτελούν ενεργά πεδία έρευνας στον τομέα της όρασης μηχανών. Εντούτοις, αυτά έχουν ήδη αντιμετωπιστεί από τη φύση μέσω της διαδικασίας της εξέλιξης. Έχοντας ήδη ένα σύστημα το οποίο λειτουργεί σχεδόν ιδανικά, η μελέτη των ιδιοτήτων και των χαρακτηριστικών του μπορεί να οδηγήσει σε πιθανές λύσεις για πολλά από τα προβλήματα με τα οποία πραγματεύεται η σημερινή επιστήμη. Βασικός στόχος της παρούσας διατριβής είναι η διερεύνηση νέων τεχνικών στο πεδίο της όρασης μηχανών, οι οποίες έχουν εμπνευστεί από το οπτικό σύστημα των πρωτευόντων θηλαστικών και ειδικότερα από το Ανθρώπινο Οπτικό Σύστημα (ΑΟΣ). Το πρώτο πρόβλημα, το οποίο διερευνάται στην παρούσα διατριβή, είναι η εξαγωγή των εξεχόντων περιγραμμάτων. Οι ακμές μιας εικόνας αποτελούν πολύ χρήσιμο στοιχείο στην ανάλυση και την επεξεργασία της. Ωστόσο, ο μεγάλος αριθμός τους μπορεί να αποτελέσει σημαντικό πρόβλημα σε ένα αυτόματο σύστημα. Αντίθετα, τα βιολογικά οπτικά συστήματα μπορούν να ξεχωρίσουν τις εξέχουσες ακμές σε μια σκηνή και να εξάγουν αβίαστα το αρχικό σχεδιάγραμμά της. Στο πλαίσιο αυτό, παρουσιάζεται μια νέα μέθοδος για την εξαγωγή των εξεχόντων περιγραμμάτων, βασισμένη στις διασυνδέσεις των νευρώνων κλίσης του πρωτοταγούς οπτικού φλοιού. Στα πλαίσια αυτής της μεθόδου σχεδιάστηκε ένα νέο σύνολο μασκών για τη μοντελοποίηση των νευρώνων κλίσης, που βελτιώνει κατά 20 φορές τη μέχρι τώρα υπάρχουσα προσέγγιση, η οποία βασίζεται στη συνέλιξη με φίλτρα Gabor. Επίσης, ο προτεινόμενος τρόπος υπολογισμού της κλίσης των ακμών ευνοεί την παραλληλία και ταιριάζει περισσότερο στο διακριτό πλέγμα υπερστηλών του πρωτοταγούς οπτικού φλοιού. Επιπλέον, παρουσιάζεται ένας καινούριος περιγραφέας απλών σχημάτων βασισμένος στο προτεινόμενο σύνολο μασκών, ο οποίος παρουσιάζει ανοχή στην περιστροφή και στην κλιμάκωση, ενώ επιδεικνύει ανοχή σε στρεβλώσεις και παραμορφώσεις σχημάτων. Εισάγεται, επίσης, μια νέα μορφή νευρωνικού δικτύου, που δέχεται ως εισόδους τα αποτελέσματα των προτεινόμενων μασκών κλίσης για κάθε σημείο της εικόνας, ενώ με την πάροδο των επαναλήψεων αυξάνει τις τιμές εκείνων των μασκών που κωδικοποιούν εξέχοντα περιγράμματα. Οι κανόνες αλληλεπίδρασης των μασκών εμπεριέχουν τους κανόνες Gestalt για την ομαλή συνέχεια και την εγγύτητα και στοχεύουν στο σχηματισμό καμπυλών εκθετικής μορφής. Η προσέγγιση αυτή διαπιστώθηκε ότι δίνει καλύτερα αποτελέσματα από τη μέχρι τώρα προσέγγιση, η οποία βασίζεται στο σχηματισμό καμπυλών κυκλικής μορφής. Παρουσιάζεται στη συνέχεια μια καινούρια συνάρτηση διέγερσης για τους νευρώνες του δικτύου, η οποία στηρίζεται στην ομοιότητα της διέγερσης των δύο λοβών τους. Αυτό σημαίνει ότι οι νευρώνες που δέχονται το ίδιο ποσοστό διέγερσης στο δεξιό και στο αριστερό τμήμα της ακμής που κωδικοποιούν, παρουσιάζουν εντονότερη διέγερση. Χαρακτηριστικό της νέας αυτής συνάρτησης είναι ότι ευνοεί τη σωστή συνέχεια των εξεχόντων περιγραμμάτων. Το προτεινόμενο δίκτυο έχει τη δυνατότητα, επίσης, να τονίζει συγκεκριμένους βαθμούς καμπυλότητας. Με τον τρόπο αυτό, μπορεί να χρησιμοποιηθεί για το φιλτράρισμα των εξεχόντων περιγραμμάτων, ώστε να αναδεικνύεται μια μόνο κατηγορία, όπως ευθείες ή κύκλοι. ...............................