Τεχνολογίες γνώσης και πρόσβασης σε οπτικοακουστικές πληροφορίες

Abstract

The main research area of this Ph.D. thesis, in a broad sense, is the integration of knowledge technologies into the analysis and description of multimedia. Knowledge technologies can aid computer vision tasks towards the improvement of the understanding of visual content, by exploiting a priori knowledge in algorithms of semantic image and video analysis. More specifically, we examine the problem of image and video segmentation and we propose novel techniques for the detection, extraction, recognition and tracking of objects, based on semantic and visual criteria. We propose a semantic segmentation approach, which enhances region growing algorithms with semantic characteristics, in order to deal with problems that raise from the shortcoming of describing semantic entities by visual characteristics exclusively. Moreover, we propose a structured knowledge framework, which we call visual logics, based on description logics and their fuzzy extensions, to link visual data with concepts that form the vocabulary of a domain. We use a set of axioms and a reasoning engine to infer possible semantic interpretation of parts or the whole of an image.

Το αντικείμενο της διατριβής αυτής είναι η ενσωμάτωση τεχνολογιών γνώσης στην ανάλυση και την περιγραφή εικόνων και βίντεο. Η σύμπραξη των τεχνολογιών γνώσης με τεχνικές όρασης υπολογιστών στοχεύει στην βελτίωση της κατανόησης οπτικού περιεχομένου, μέσω της αξιοποίησης πρότερης γνώσης σε αλγορίθμους σημασιολογικής ανάλυσης εικόνων και βίντεο. Πιο συγκεκριμένα, μελετάμε το πρόβλημα της κατάτμησης εικόνων και βίντεο και προτείνουμε καινοτόμες τεχνικές εντοπισμού, εξαγωγής, αναγνώρισης και παρακολούθησης αντικειμένων βάση σημασιολογικών και οπτικών κριτηρίων. Προτείνουμε μία προσέγγιση σημασιολογικής κατάτμησης, εμπλουτίζοντας τεχνικές επέκτασης περιοχών με σημασιολογικά χαρακτηριστικά προκειμένου να αντιμετωπίσουμε προβλήματα που οφείλονται στην αδυναμία περιγραφής σημασιολογικών οντοτήτων αποκλειστικά με οπτικά χαρακτηριστικά. Επιπλέον, προτείνουμε ένα δομημένο πλαίσιο γνώσης, το οποίο αποκαλούμε οπτική λογική, βασισμένο στις περιγραφικές λογικές και τις ασαφείς επεκτάσεις τους, για να συνδέσουμε οπτικά χαρακτηριστικά με έννοιες που αποτελούν το λεξιλόγιο ενός θεματικού πεδίου. Χρησιμοποιώντας ένα σύνολο αξιωμάτων και αξιοποιώντας υπηρεσίες συλλογιστικής, εξάγουμε συμπεράσματα για τις πιθανές εννοιολογικές ερμηνείες που επιδέχονται τμήματα ή το σύνολο της εικόνας.