Ψηφιακή επεξεργασία εικόνας για τη σχεδιαστική ταυτοποίηση σχολών ιστορικών νωπογραφικών

Abstract

The objective of this current research is the classification, recognition and identification of historical frescoes of the 13th and 14th centuries from the most important urban centers of Byzantium through digital image processing. The subject is interdisciplinary. It is examined from Byzantine art and its distinguishing features, as well as from technologies involved in the identification and methodology, specifically in digital image processing with validation in colorimetric analysis, as formulated by N. Vesic’s doctoral thesis. The doctoral thesis was created as an additional tool for art scholars on the identification and analysis of works of art by using the appropriate tools, as detailed here. In this context, the steps followed include: • the creation of the database, which consists of both photographic material of frescoes and information for each image. The photographic material are frescoes from the most important monuments of the Palaeologian period and some images of frescoes from the post-Byzantine period of the Cretan School have also been included. 123 color images of frescoes were collected • creating an application in Python to manage and analyze the data. Particular emphasis was placed on the accuracy and verification of the information entered into the database to ensure the reliability of the results. More specifically the elements are organized into three main entities, Picture, Work, Artist. This leads to the conclusion that the information material in the database is the source of truth for each image and is an important success factor of the machine learning model. • it was considered of utmost importance to enrich the database by dividing the images into smaller patches, with the result that the final images total 13252. Each of the smaller images has the corresponding informational material. In this way the database was enriched and grew. • After that, AlexNet, a Convolutional Neural Networks (CNN), was used for accurate image categorization, the Adam optimization algorithm as well as the F1 metric. The system was trained on all data in the learning set and produced an identification rate of 85%. From the results of the plots, the model behaves satisfactorily and overfitting was avoided • spikes in the validation score F1 curve indicate some variability in model performance across the validation set that can be addressed using techniques such as cross-validation, robust data augmentation, or normalization methods. • the realization of the colorimetric analysis of the images from the database in two pilot applications: a) images from various frescoes, b) images of frescoes by well-known artists of Byzantine art, Manuel Panselinos and Michael Astrapas and Eutychios in order to achieve a colorimetric approach with the images of frescoes by an unknown artist, in the chapel of Agios Euthymios whose frescoes are also from the Macedonian School The results in both pilot applications show a very good correlation of the parameters Δb* and ΔC*, especially between the frescoes of the Unknown artist and Manuel Panselinos. Specifically, the overall color parameter of the images from the artists' frescoes (ΔC*) correlates more with the shade of yellow (Δb*) but with a different intensity. This intensity is mathematically related to the slope of the straight correlation line in the diagram Δb* ΔC* which for Manuel Panselinos is 1.15 but for Michael Astrapas and Euthychios it is 0.78.In the second application of the colorimetric analysis, 14 fresco images of the Macedonian School, from the chapel of Agios Euthymios in Thessaloniki, were examined. The specific temple was chosen, on the one hand, because it is one of the most interesting ensembles of the Paleologian renaissance, and on the other hand, there are studies that support that the frescoes were made by Manuel Panselinos. The studies are based on the similarity, both stylistic and rendering, of the elements with the frescoes from the temple of Protatus. From the application of the colorimetric method, it is concluded that the images of the frescoes used have common color characteristics and do not deviate from each other. This finding confirms the characterization of the Schools, as the Byzantine frescoes examined bear common elements. In this way, the macroscopic observations of art historians regarding the analysis of the color palette of the artists during Byzantine times and the distinction of artistic Schools are confirmed. This doctoral thesis is a comprehensive proposal on digital image analysis and has potential for development, mainly by enriching the database with both photographic material and additional informational elements.

Σκοπός της παρούσας Διδακτορικής Διατριβής είναι η ταξινόμηση, η αναγνώριση και ταυτοποίηση ιστορικών νωπογραφιών του 13ου και 14ου αιώνα από τα σημαντικότερα αστικά κέντρα του Βυζαντίου μέσω ψηφιακής επεξεργασία εικόνας. Το αντικείμενο είναι διεπιστημονικό, καθώς εξετάζεται από την βυζαντινή τέχνη και των διακριτών χαρακτηριστικών της, όσο και από τεχνολογίες που συμβάλλουν στην ταυτοποίηση και του υπόβαθρου σχεδίασης και συγκεκριμένα της ψηφιακής επεξεργασίας εικόνας με επαλήθευση την χρωματομετρική ανάλυση, όπως διατυπώθηκε από την διδακτορική διατριβή του Ν. Βέσιτς. Η συγκεκριμένη μελέτη δύναται να αποτελέσει ένα επιπλέον εργαλείο για τους μελετητές της τέχνης στην ταυτοποίηση και ανάλυση έργων συνδυάζοντας την ιστορική ανάλυση των νωπογραφιών μέσω της βυζαντινής τέχνης με την τεχνολογία και την όραση υπολογιστών. Σε αυτό το πλαίσιο τα στάδια που ακολουθήθηκαν περιλαμβάνουν: • τη δημιουργία της βάσης δεδομένων, η οποία αποτελείται τόσο από φωτογραφικό υλικό νωπογραφιών όσο και από πληροφοριακά στοιχεία για την κάθε εικόνα. Το φωτογραφικό υλικό είναι νωπογραφίες από τα σημαντικότερα μνημεία της περιόδου των Παλαιολόγων και έχουν περιληφθεί και κάποιες εικόνες νωπογραφιών από την μεταβυζαντινή περίοδο της Κρητικής Σχολής. Συγκεντρώθηκαν 123 έγχρωμες εικόνες νωπογραφιών • δημιουργία εφαρμογής στην Python για τη διαχείριση και ανάλυση των δεδομένων. Ιδιαίτερη έμφαση δόθηκε στην ακρίβεια και την επαλήθευση των πληροφοριών που εισήχθησαν στη βάση δεδομένων για να εξασφαλιστεί η αξιοπιστία των αποτελεσμάτων. Πιο συγκεκριμένα τα στοιχεία οργανώνονται σε τρεις κύριες οντότητες, Picture, Work, Artist. Αυτό οδηγεί στο συμπέρασμα ότι το πληροφοριακό υλικό στη βάση δεδομένων είναι η πηγή αλήθειας για την κάθε εικόνα και αποτελεί σημαντικό παράγοντα επιτυχίας του μοντέλου της μηχανικής μάθησης. • κρίθηκε μέγιστης σημασίας ο εμπλουτισμός της βάσης δεδομένων με τον χωρισμό των εικόνων σε μικρότερες (patches), με αποτέλεσμα οι τελικές εικόνες να αριθμούν στο σύνολο 13252. Η κάθε μία από τις μικρότερες εικόνες έχει το αντίστοιχο πληροφοριακό υλικό. Κατά αυτό τον τρόπο η βάση δεδομένων εμπλουτίστηκε και μεγάλωσε. • χρησιμοποιήθηκε από τα Συνελικτικά Νευρωνικά Δίκτυα CNN (Convolutional Neural Network) το AlexNet για την ακριβή κατηγοριοποίηση εικόνων, ο αλγόριθμος βελτιστοποίησης Adam καθώς και η μετρική F1 • το σύστημα εκπαιδεύτηκε επί όλα τα δεδομένα στο σύνολο μάθησης με ποσοστό ταυτοποίησης 85%. Από τα αποτελέσματα των σχεδιαγραμμάτων, το μοντέλο συμπεριφέρεται ικανοποιητικά και αποφεύχθηκε η υπερπροσαρμογή • οι αιχμές στην καμπύλη F1 σκορ επικύρωσης υποδηλώνουν κάποια μεταβλητότητα στην απόδοση του μοντέλου στο σύνολο επικύρωσης που δύναται να αντιμετωπισθεί με τη χρήση τεχνικών, όπως η διασταυρούμενη επικύρωση,η ανθεκτική αύξηση δεδομένων ή οι μέθοδοι κανονικοποίησης. • τη πραγματοποίηση της χρωματομετρικής ανάλυσης των εικόνων από τη βάση δεδομένων σε δύο πιλοτικές εφαρμογές: α) εικόνες από διάφορες νωπογραφίες, β) εικόνες νωπογραφιών από γνωστούς καλλιτέχνες της βυζαντινής τέχνης, του Μανουήλ Πανσέληνο και των Μιχαήλ Αστραπά και Ευτύχιο προκειμένου να επιτευχθεί χρωματομετρική προσέγγιση με τις εικόνες νωπογραφιών άγνωστου καλλιτέχνη, στο παρεκκλήσι του Αγίου Ευθυμίου του οποίου οι νωπογραφίες είναι επίσης από την Μακεδονική Σχολή. Τα αποτελέσματα και στις δύο πιλοτικές εφαρμογές δείχνουν μία πολύ καλή συσχέτιση των παραμέτρων Δb* και ΔC*, ιδιαίτερα μεταξύ των νωπογραφιών του Άγνωστου καλλιτέχνη και του Μανουήλ Πανσέληνου. Συγκεκριμένα η συνολική χρωματική παράμετρος των εικόνων από τις νωπογραφίες των καλλιτεχνών (ΔC*) συσχετίζεται περισσότερο με την απόχρωση του κίτρινου (Δb*) αλλά με διαφορετική ένταση. Αυτή η ένταση σχετίζεται μαθηματικά με την κλίση της ευθείας γραμμής συσχέτισης στο διάγραμμα Δb* ΔC* που για τον Μανουήλ Πανσέληνο είναι 1,15 αλλά για τον Μιχαήλ Αστραπά και Ευτύχιο είναι 0,78. Στη δεύτεοη εφαρμογή της χρωματομετρικής ανάλυσης εξετάστηκαν 14 εικόνες νωπογραφιών της Μακεδονικής Σχολής, από το παρεκκλήσι του Αγίου Ευθυμίου στη Θεσσαλονίκη. Επιλέχθηκε ο συγκεκριμένος ναός, αφενός διότι πρόκειται για ένα από τα πιο ενδιαφέροντα σύνολα της αναγέννησης των Παλαιολόγων και αφετέρου, υπάρχουν μελέτες που υποστηρίζουν ότι οι νωπογραφίες έχουν πραγματοποιηθεί από τον Μανουήλ Πανσέληνο. Οι μελέτες στηρίζονται στην ομοιότητα τόσο την υφολογική όσο και της απόδοσης των στοιχείων με τις νωπογραφίες από το ναό του Πρωτάτου. Από την εφαρμογή της χρωματομετρικής μεθόδου συμπεραίνεται ότι οι εικόνες των νωπογραφιών που χρησιμοποιήθηκαν έχουν κοινά χρωματικά χαρακτηριστικά και δεν αποκλίνουν η μία από την άλλη. Αυτή η διαπίστωση επιβεβαιώνει τον χαρακτηρισμό των Σχολών, καθώς οι βυζαντινές νωπογραφίες που εξετάζονται φέρουν κοινά στοιχεία. Κατά αυτόν τον τρόπο, επιβεβαιώνονται οι μακροσκοπικές παρατηρήσεις των ιστορικών τέχνης ως προς την ανάλυση της χρωματικής παλέτας των καλλιτεχνών κατά τους βυζαντινούς χρόνους και την διάκριση καλλιτεχνικών Σχολών. Οι αναλύσεις της χρωματομετρικής μεθόδου επικυρώνουν τα αποτελέσματα της μηχανικής μάθησης και τις παρατηρήσεις των ιστορικών τέχνης για την ταυτοποίηση και αναγνώριση Σχολών και καλλιτεχνών. Η διδακτορική διατριβή αποτελεί μία ολοκληρωμένη πρόταση εφαρμογής στην ψηφιακή ανάλυση εικόνας και έχει δυνατότητες εξέλιξης, κυρίως, με τον εμπλουτισμό της βάσης δεδομένων τόσο σε φωτογραφικό υλικό όσο και σε επιπλέον πληροφοριακά στοιχεία.