Χρήση υπολογιστικών μοντέλων οπτικής προσοχής για την ανάλυση στατικών και κινούμενων εικόνων

Abstract

Although human vision appears to be easy and unconscious there exist complex neural mechanisms in primary visual cortex that form the preattentive component of the Human Visual System (HVS) and lead to visual awareness. Considerable research has been carried out into the attention mechanisms of the HVS and computational models have been developed and employed to common computer vision problems. Most of the models simulate the bottom-up mechanism of the HVS and their major goal is to filter out redundant visual information and detect/enhance the most salient parts of the input. The Human Visual System (HVS) has the ability to fixate quickly on the most informative (salient) regions of a scene and reduce therefore the inherent visual uncertainty. Computational visual attention (VA) schemes have been proposed to account for this important characteristic of the HVS. The dissertation studies and expands the field of computational visual attention methods, proposes novel models both for spatial (images) and spatiotemporal (video sequences) analysis and evaluates both qualitatively and quantitatively in a variety of relevant applications.

Η παρούσα διδακτορική διατριβή έχει σαν κύριο θέμα την μελέτη, ανάπτυξη και εφαρμογή μοντέλων οπτικής προσοχής σε στατικές και κινούμενες εικόνες. Καταγράφει τους ερευνητικούς στόχους και τις συνεισφορές στον χώρο, όπως αυτές προέκυψαν μέσα από προσωπική μελέτη και δημιουργικές συνεργασίες. Κίνητρο αποτέλεσε η βιολογική σημασία του μηχανισμού οπτικής προσοχής στον άνθρωπο και ο καθοριστικός του ρόλος στην κατανόηση του οπτικού ερεθίσματος. Στόχος μας ήταν η μεταφορά ανάλογων μηχανισμών στην μηχανική όραση και η αξιολόγηση τους στην βελτίωση καθιερωμένων τεχνικών και στην εισαγωγή νέων μεθόδων επεξεργασίας. Η έννοια της οπτικής προσοχής σχετίζεται με την ικανότητα του ανθρώπου να εστιάζει σχεδόν αυτόματα σε περιοχές που θεωρεί ενδιαφέρουσες αγνοώντας κάποιες άλλες. Η διαδικασία αυτή είναι ουσιώδης για την κατανόηση του οπτικού ερεθίσματος και δρομολογείται μέσα από ένα καθοδικό (top-down) και ένα ανοδικό (bottom-up) κανάλι επεξεργασίας του ανθρώπινου οπτικού συστήματος. Η διατριβή στο σύνολο της στηρίζεται σε έναν φαινομενικά απλό ισχυρισμό, ο οποίος βρίσκεται σε αναλογία με την προηγούμενη ικανότητα του ανθρώπου: Η πληροφορία που εξάγεται από κατάλληλα επιλεγμένες περιοχές της εικόνας ή ακολουθίας είναι αρκετή για να περιγράψει το περιεχόμενο της ή να την χαρακτηρίσει συνολικά. Ταυτόχρονα η έρευνα μας προχώρησε λαμβάνοντας υπόψη το ότι ένα υπολογιστικό μοντέλο με βιολογικό ανάλογο πρέπει να κρίνεται με βάση δύο κριτήρια, όπως υποστηρίζουν οι Tsotsos et al. [136]: "Το πρώτο κριτήριο είναι η εγγύτητα του υπολογιστικού και βιολογικού μοντέλου, που αποδεικνύεται με ψυχοφυσικά πειράματα και το δεύτερο είναι η επιτυχία του υπολογιστικού μοντέλου να επιλύσει κοινά προβλήματα μηχανικής όρασης". Μπορεί επομένως ένα υπολογιστικό μοντέλο να μιμείται ικανοποιητικά τον ανθρώπινο τρόπο εστίασης προσοχής, αλλά να μην παρέχει την σωστότερη λύση σε ένα πρόβλημα μηχανικής όρασης κάτω από συγκεκριμένες συνθήκες και απαιτήσεις. Στο πρώτο μέρος της διατριβής ασχολούμαστε με την μελέτη και επέκταση καθιερωμένων τεχνικών οπτικής προσοχής σε εικόνες. Περιγράφουμε αναλυτικά τις ιδιότητες τους και τα αξιολογούμε σε διαφορετικές εφαρμογές. Στο δεύτερο μέρος προτείνουμε νέα μοντέλα υπολογισμού τιμών ενδιαφέροντος για χωροχρονικές ακολουθίες. Περιγράφουμε τα βασικά στοιχεία τους, εισάγουμε νέους τελεστές και προτείνουμε νέα υπολογιστικά μοντέλα οπτικής προσοχής, τα οποία στηρίζονται σε λειτουργίες βιολογικών μοντέλων. Η διατριβή θα έχει πετύχει τον στόχο της αν αποτελέσει κίνητρο για μελλοντική ενασχόληση με εφαρμογή παρόμοιων μεθόδων στην ανάλυση και επεξεργασία οπτικής πληροφορίας. Το πρόσφατα αυξανόμενο ενδιαφέρον της ερευνητικής κοινότητας για βασική έρευνα και εφαρμογές γύρω από μοντέλα οπτική προσοχής είναι έκδηλο και φαίνεται να επιβεβαιώνει τα κίνητρα και τους στόχους της έρευνας μας.