Document image segmentation & text localization

Abstract

In this work various issues related to the segmentation of pages and the extraction of textual information from document images are investigated. Novel approaches to challenging problems are presented, namely a layout analysis method, a text localization technique as well as a word-spotting and text retrieval system. Two software tools have been implemented in order to test the proposed algorithms. Results of detailed experiments are also shown. In Chapter 2, a method for the segmentation of complex (newspapers, magazines etc.) layouts is presented. No a priori knowledge of the page format is needed. Morphological operations are applied to both the foreground and the background, in order to connect neighboring regions and detect separator lines and columns respectively. Contour tracing is used for the extraction of shape information and classification of the connected components. In Chapter 3, a hybrid method for real-time localization of text embedded in images is proposed. It combines edge detection, morphological operators and a set of criteria based on spatial and geometrical features of the connected components. In Chapter 4, a technique appropriate for extracting all the textual information from documents with complex layouts is proposed. It integrates the foreground analysis part of the layout independent method presented in Chapter 2 with the fast and reliable method for text localization presented in Chapter 3. The first one is used to segment the page in text and image blocks while the second one is used to detect text that may be embedded inside the images. In Chapter 5, a classification-free word-spotting system, appropriate for the retrieval of printed historical document images is proposed. The system skips many of the procedures of a common approach. It does not include segmentation, feature extraction or classification. Instead it treats the queries as compact shapes and uses image processing techniques in order to localize a query in the document images. In Chapter 6, a novel technique for text retrieval is proposed. Although, it is inspired by the word spotting technique presented in Chapter 5, it spots characters, which makes the text retrieval more robust and permits the text queries. Chapter 7 summarizes the conclusions from all previous chapters, while in the appendixes three more applications of the proposed segmentation and text detection algorithms are explored: comic page segmentation, scene text localization and video text localization.

Σε αυτή τη διατριβή διερευνώνται θέματα που σχετίζονται με την κατάτμηση των σελίδων και την εξαγωγή των πληροφοριών κειμένου από εικόνες εγγράφων. Νέες προσεγγίσεις για την αντιμετώπιση προβλημάτων παρουσιάζονται και, πιο συγκεκριμένα, μια μέθοδος ανάλυσης διάταξης σελίδας, μια τεχνική εντοπισμού κειμένου σε εικόνα, καθώς και ένα σύστημα word-spotting και ανάκτησης κειμένου. Δύο εργαλεία λογισμικού αναπτύχθηκαν με σκοπό να δοκιμαστεί η απόδοση των προτεινόμενων αλγορίθμων. Αποτελέσματα λεπτομερών πειραμάτων παρουσιάζονται αναλυτικά. Στο Κεφάλαιο 2, παρουσιάζεται μια μέθοδος για την κατάτμηση εγγράφων με σύνθετη διάταξη (εφημερίδες, περιοδικά κλπ.). Δεν είναι απαραίτητη καμία γνώση για τη μορφή της σελίδας a priori. Μορφολογικοί τελεστές εφαρμόζονται προκειμένου να συνδεθούν γειτονικές περιοχές και να εντοπιστούν διαχωριστικές γραμμές και στήλες. Τεχνικές ανίχνευσης περιγράμματος χρησιμοποιούνται στη συνέχεια για την εξαγωγή πληροφοριών σχήματος και την ταξινόμηση των συνδεδεμένων αντικειμένων. Στο Κεφάλαιο 3, προτείνεται μια υβριδική μέθοδος για τον εντοπισμό, σε πραγματικό χρόνο, κειμένου που είναι ενσωματωμένο σε εικόνες. Συνδυάζει ανίχνευση ακμών, μορφολογικούς τελεστές και ένα σύνολο κριτηρίων με βάση χωρικά και γεωμετρικά χαρακτηριστικά των συνδεδεμένων αντικειμένων. Στο Κεφάλαιο 4, προτείνεται μια τεχνική κατάλληλη για την εξαγωγή όλων των πληροφοριών κειμένου από έγγραφα με σύνθετες διατάξεις. Συνδυάζει τμήματα της μεθόδου ανάλυσης διάταξης που παρουσιάζεται στο Κεφάλαιο 2 με την γρήγορη και αξιόπιστη μέθοδο για τον εντοπισμό κειμένου που παρουσιάζεται στο Κεφάλαιο 3. Η πρώτη χρησιμοποιείται για το διαχωρισμό των περιοχών της σελίδας σε κείμενο και εικόνες, ενώ η δεύτερη χρησιμοποιείται για την ανίχνευση κειμένου που μπορεί να περιέχεται μέσα στις εικόνες. Στο Κεφάλαιο 5, προτείνεται ένα σύστημα word-spotting, κατάλληλο για την αναζήτηση κειμένου σε εκτυπωμένες εικόνες ιστορικών εγγράφων. Το σύστημα απλοποιεί αρκετά τη διαδικασία της συνηθισμένης προσέγγισης. Δεν περιλαμβάνει κατάτμηση, εξαγωγή χαρακτηριστικών ή ταξινόμηση. Αντίθετα, αντιμετωπίζει τα ερωτήματα ως συμπαγή σχήματα και χρησιμοποιεί τεχνικές επεξεργασίας εικόνας, προκειμένου να εντοπιστεί ένα ερώτημα στις εικόνες των εγγράφων. Στο Κεφάλαιο 6, προτείνεται μια νέα τεχνική για την ανάκτηση κειμένου. Αν και είναι εμπνευσμένη από την τεχνική word-spotting που παρουσιάζεται στο Κεφάλαιο 5, εντοπίζει χαρακτήρες, γεγονός που καθιστά την ανάκτηση πιο ισχυρή και επιτρέπει τη χρήση ερωτημάτων σε μορφή κειμένου. Στο Κεφάλαιο 7 συνοψίζονται τα συμπεράσματα από όλα τα προηγούμενα κεφάλαια, ενώ στα προσαρτήματα διερευνώνται τρεις ακόμα εφαρμογές των προτεινόμενων αλγορίθμων κατάτμησης σελίδας και ανίχνευσης κειμένου: κατάτμηση σελίδων κόμικς, εντοπισμός κειμένου σε φωτογραφίες και εντοπισμός κειμένου σε βίντεο.