Αποκατάσταση ψηφιακών εγγράφων και εικόνων

Abstract

The purpose of the doctoral dissertation is the development of novel techniques in the field of document and image restoration. Documents and images face numerous degradations, due to antiquity or through the process of digitization. As a result, there many techniques in literature that handle different sorts of problems. The major interest and the utility of restoration problems in real life were the best motives for the elaboration of proposed doctoral dissertation. Five techniques have been developed and implemented through the proposed doctoral dissertation. Each technique faces common and interesting problems in this scientific field, such as binarization of degraded documents, local and global skew detection, line, word and character segmentation, text localization in cover books and digital puzzle solving. § The proposed technique focuses on degraded documents with various background patterns and noise. It involves a pre-processing local background estimation stage, where the estimated background is used to produce a new enhanced image having uniform background layers and increased local contrast. That is, the new image is a combination of background and foreground layers. Foreground and background layers are then separated by using a new transformation which exploits efficiently, both gray-scale and spatial information. The final binary document is obtained by combining all foreground layers. § The second technique detects and restores global and local skew in complex color documents. The proposed technique consists of four main stages, which are, color reduction, text localization, document binarization and skew correction. Color reduction limits the initial number of colors to a small number. Text localization initially divides the document to a number of binary planes (color planes) equal to the number of the reduced colors. Then, connected component analysis is performed and text is extracted according to similarity features between adjacent connected components. In the third stage the binary document is composed by the processed binary planes. Finally, skew correction is achieved by detecting the direction of connection of the connected components in the binary images. § The proposed third technique segments document pages resulting from the digitization of historical machine-printed sources. This kind of documents often suffer from low quality and local skew, several degradations due to the old printing matrix quality or ink diffusion, and exhibit complex and dense layout. A novel Adaptive Run Length Smoothing Algorithm (ARLSA) is developed in this technique, in order to face the problem of complex and dense document layout. ARLSA performs much better than classical RLSA. Experimental results prove that the proposed technique performs better than state-of-the-art techniques. § Fourth technique performs text extraction in complex color documents and cover books. The number of colors of each document image is reduced into a relative small number (usually below ten colors) and each document is divided into binary images. Then, connected component analysis is performed and homogenous groups of connected components (CCs) are created. A set of features is extracted for each group. Finally, each group is classified into text or non-text class using a neuro-fuzzy classifier. § Last technique is developed for solving jigsaw puzzles. The novelty of the proposed technique is that it provides an automatic jigsaw puzzle solution without any initial restriction about the shape of pieces, the number neighbor pieces etc. The proposed technique uses both curve and color matching similarity features. A recurrent procedure is applied, which compares and merges puzzle pieces in pairs, until the original puzzle image is reformed. Geometrical and color features are extracted on characteristic points of the puzzle pieces.

Στόχος της παρούσας διατριβής είναι η ανάπτυξη καινοτόμων τεχνικών στον τομέα αποκατάστασης ψηφιακών εγγράφων και εικόνων. Το πλήθος των προβλημάτων που εμφανίζονται εξαιτίας φυσικής φθοράς, παλαιότητας ή σαν αποτέλεσμα της διαδικασίας ψηφιοποίησης εγγράφων και εικόνων, δεν επιτρέπει την ανάπτυξη καθολικών τεχνικών για την αντιμετώπισή τους. Η αποκατάσταση ψηφιακών εγγράφων και εικόνων καλύπτεται από ένα μεγάλο φάσμα εξειδικευμένων τεχνικών που απαντώνται στη διεθνή βιβλιογραφία. Το αμείωτο ερευνητικό ενδιαφέρον που υπάρχει για τέτοιου είδους προβλήματα και η πρακτική σημασία των περισσοτέρων εξ αυτών, αποτέλεσε το μεγαλύτερο ερέθισμα για το θέμα της διατριβής. Συνολικά, κατά τη διάρκειά της προτεινόμενης διδακτορικής διατριβής έχουν αναπτυχθεί και υλοποιηθεί πέντε τεχνικές εστιασμένες σε κοινά και ενδιαφέροντα προβλήματα αποκατάστασης εγγράφων και εικόνων, όπως είναι η δυαδικοποίηση αλλοιωμένων εγγράφων, η αποκατάσταση της κλίσης τοπικά και καθολικά, η εξαγωγή γραμμών κειμένου, λέξεων και χαρακτήρων από παλαιά φθαρμένα έγγραφα, ο εντοπισμός περιοχών κειμένου σε εξώφυλλα βιβλίων πολύπλοκης δομής και η επίλυση ψηφιακού puzzle. § Η τεχνική δυαδικοποίησης εφαρμόζεται σε έγγραφα αποχρώσεων του γκρι. Χαρακτηριστικό γνώρισμα των εγγράφων της βάσης που χρησιμοποιήθηκε είναι η μεταβαλλόμενη αντίθεση τοπικά. Το πρόβλημα αυτό δεν επιτρέπει τη δυαδικοποίηση με χρήση καθολικού κατωφλίου. Στο στάδιο της προ-επεξεργασίας εκτελείται η διαδικασία εκτίμησης του υπόβαθρου, που αφαιρούμενο από την αρχική εικόνα, οδηγεί σε εμπλουτισμό της ποιότητας του αρχικού εγγράφου. Στη συνέχεια, το έγγραφο μετασχηματίζεται και δημιουργείται ο πίνακας 3D SFM. Η ταξινόμηση του πίνακα χωρίζει το αρχικό έγγραφο σε επίπεδα προσκηνίου και υπόβαθρου. Ο αντίστροφος μετασχηματισμός και η σύνθεση των επιπέδων του προσκηνίου οδηγούν στην τελική δυαδική μορφή του εγγράφου. § Η δεύτερη τεχνική ασχολείται με την ανίχνευση και αποκατάσταση της κλίσης σε έγχρωμα έγγραφα πολύπλοκης δομής. Τέτοιου είδους έγγραφα παρουσιάζουν ιδιαίτερο ενδιαφέρον και δυσκολίες. Το υπόβαθρό τους έχει ανομοιόμορφη υφή και είναι αναμεμειγμένο με γραφικά, γραφήματα και περιοχές κειμένου. Η προτεινόμενη τεχνική εφαρμόζει μείωση χρωμάτων στην αρχική εικόνα, χωρίζοντάς την στη συνέχεια σε επίπεδα φωτεινοτήτων. Με κατάλληλα κριτήρια, συνθέτει τα συνδεδεμένα αντικείμενα των επιπέδων δημιουργώντας μια δυαδική μορφή της αρχικής εικόνας. Πάνω στην εικόνα αυτή εντοπίζονται κλίσεις ευθειών κατά τις οποίες υπάρχουν διατεταγμένα συνδεδεμένα αντικείμενα. Τέλος, με στατιστική επεξεργασία των τοπικών κλίσεων που εντοπίστηκαν ανιχνεύεται η καθολική κλίση της αρχικής εικόνας. Για τον εντοπισμό της τοπικής κλίσης ενσωματώνεται στη μέθοδο, μια διαδικασία τμηματοποίησης του δυαδικού αποτελέσματος. Στη συνέχεια οι τοπικές κλίσεις εντοπίζονται ξεχωριστά για κάθε περιοχή της εικόνας. § Η τρίτη τεχνική αναπτύχθηκε και υλοποιήθηκε στα πλαίσια του ερευνητικού έργου «ΠΟΛΥΤΙΜΟ» και εφαρμόζεται στην τμηματοποίηση παλαιών και φθαρμένων εγγράφων σε γραμμές κειμένου, λέξεις και χαρακτήρες. Κατά την ανάπτυξη της τεχνικής υλοποιήθηκε ο προσαρμοστικός αλγόριθμος εξομάλυνσης κατά μήκος διαδρομής (ARLSA) που αποτελεί μια τροποποιημένη έκδοση του γνωστού RLSA για έγγραφα με πολύ καλύτερα αποτελέσματα. § Η τέταρτη τεχνική ασχολείται με τον εντοπισμό περιοχών κειμένου σε έγχρωμα έγγραφα πολύπλοκης δομής. Το αρχικό έγγραφο διαχωρίζεται σε δυαδικά επίπεδα. Το κάθε επίπεδο επεξεργάζεται χωριστά και τμηματοποιείται σε σύνολα συνδεδεμένων αντικειμένων (patterns). Η ταξινόμηση των συνόλων αυτών, σε σύνολα κειμένου και μη-κειμένου, γίνεται με χρήση του ασαφούς νευρωνικού ταξινομητή ANFIS με πολύ καλά αποτελέσματα. § Η τελευταία τεχνική αφορά την επίλυση ψηφιακού puzzle. Αρχικά δημιουργούμε το πρόβλημα με τον διαχωρισμό της αρχικής εικόνας με τυχαίο τρόπο σε ένα σύνολο κομματιών. Αυτά περιστρέφονται με τυχαία γωνία και τροφοδοτούν την είσοδο της τεχνικής. Η επίλυση του προβλήματος επιδιώκει τη συναρμολόγηση των κομματιών ανά ζεύγη, πάνω σε χαρακτηριστικά σημεία του περιγράμματος και βασίζεται στη χρήση γεωμετρικών χαρακτηριστικών και χρωματικής πληροφορίας.