Ανίχνευση κειμένου σε εικόνες και βίντεο

Abstract

The goal of a multimedia text extraction and recognition system is filling the gap between the already existing and mature technology of Optical Character Recognition and the new needs for textual information retrieval created by the spread of digital multimedia. A text extraction system from multimedia usually consists of the following four stages: spatial text detection, temporal text detection – tracking (for videos), image binarization – segmentation, character recognition. In the framework of this PhD thesis we dealt with all the stages of a multimedia text extraction system, focusing though on the designing and development of techniques for the spatial detection of text in images and videos as well as methods for evaluating the corresponding result. The contribution of the thesis to the research area of multimedia text extraction lies to the proposition of generic methods for spatial detection of unconstrained text in images and videos regardless of their content, quality and resolution. In addition, two methods for the evaluation of the text detection result were proposed that deal successfully with the problems of the related literature. Each of them uses different criteria for the evaluation of the result while both of them are based on intuitively correct observations. Finally, a very efficient method was developed for the temporal detection of text which actually conduces to a better spatial detection while concurrently enhances the quality of the text image.

Ο σκοπός ενός συστήματος εξαγωγής και αναγνώρισης χαρακτήρων σε πολυμεσικά έγγραφα έγκειται στη γεφύρωση του χάσματος μεταξύ της ήδη υπάρχουσας και ώριμης τεχνολογίας Οπτικής Αναγνώρισης Χαρακτήρων και των νέων αναγκών ανάκτησης πληροφορίας κειμένου που δημιουργούνται από την ραγδαία εξάπλωση των ψηφιακών πολυμέσων. Ένα σύστημα εξαγωγής πολυμεσικού κειμένου συνήθως αποτελείται από τα εξής τέσσερα στάδια: χωρικός εντοπισμός κειμένου, χρονικός εντοπισμός - παρακολούθηση κειμένου (σε βίντεο), δυαδική μετατροπή εικόνας κειμένου, κατάτμηση και αναγνώριση χαρακτήρων. Στα πλαίσια της συγκεκριμένης διδακτορικής διατριβής μελετήθηκαν ξεχωριστά όλα τα στάδια της εξαγωγής χαρακτήρων από πολυμέσα, δίνοντας μεγαλύτερη έμφαση στην ανάπτυξη τεχνικών για το χωρικό εντοπισμό κειμένου σε βίντεο και φωτογραφίες καθώς και σε τεχνικές αποτίμησης του αποτελέσματος. Η συνεισφορά της διατριβής έγκειται κυρίως στην πρόταση γενικευμένων μεθόδων για χωρικό εντοπισμό κειμένου κάθε είδους σε φωτογραφίες και βίντεο οποιασδήποτε ποιότητας, ανάλυσης και περιεχομένου. Στα πλαίσια της διατριβής προτάθηκαν επίσης δύο μέθοδοι αποτίμησης του χωρικού εντοπισμού κειμένου που αντιμετωπίζουν επιτυχώς μια σειρά προβλημάτων της σχετικής βιβλιογραφίας. Κάθε μια από αυτές χρησιμοποιεί διαφορετικό κριτήριο για την αξιολόγηση του αποτελέσματος ενώ και οι δύο βασίζονται σε διαισθητικά ορθές παρατηρήσεις. Τέλος, αναπτύχθηκε μια πολύ αποδοτική μέθοδος χρονικού εντοπισμού ακίνητου κειμένου σε βίντεο η οποία παράλληλα συμβάλλει στον καλύτερο χωρικό εντοπισμό αλλά και βελτιώνει την ποιότητα της εικόνας κειμένου