Deep learning for digitizing, analysing and modelling choreographic 3D signal sequences of intangible cultural heritage

Abstract

In performing arts, such as choreography, dance and theatrical kinesiology, movements of human body signals and gestures are essential elements used to describe a storyline in an aesthetic and symbolic way. Although, we, as humans, can inherently perceive and decipher such human body signals in a natural way, this process is challenging for a computer system. One important aspect in the analysis of a performing dance is the automatic extraction of the choreographic patterns/elements since these elements provide an abstract and compact representation of the semantic information encoded in the overall dance storyline. One salient issue in the analysis of a performing dance is to automatic extract its choreographic patterns since these elements provide an abstract representation of the semantics of the dance and encodes the overall dance storytelling. However, application of conventional video summarization algorithms ondance sequences cannot appropriately retrieve their choreographic patterns since a dance is composed of an ordered set of sequential elements which are repeated in time. Additionally, the 3D geometry of a dance is too complicated to be described using only the RGB color information.This thesis is distinguished into three parts. Part I describes the theoretical background regarding ICH and the principles with respect to the mathematical modelling of folklore choreographic sequences. In Chapters 1, 2, 3 the recent trends on choreographic representation in terms of machine learning, video summarization, pose identification and dance annotation are described. Part II presents the adopted techniques for content-based sampling of the selected folklore choreographic sequences. This part is oriented on the semantic compression and the video summarization taking into consideration the complexity of the spatio-temporal sequences. In particular, Chapter 4 exploited a hierarchical scheme that implements spatio-temporal variations of the dance features. Chapter 5 describes an abstract representation of the semantic details of choreographic sequences taking into consideration a key-frame selection algorithm. Chapter 6 compares the summarization performances taking into account four sampling algorithms all implemented under a SAE scheme’s projected data. Specifically, a SAE framework followed by a hierarchical SMRS algorithm implemented to summarize choreographic sequences. Part III (Chapters 7, 8, 9) focused on modelling and analysis of folklore choreographic sequences. Chapter 7 explored the feasibility of pattern matching between heterogeneous motion capturing systems. In this chapter, a trajectory interpretation in folklore sequences is described. The conducted experiments indicate that if significant levels of precision are ensured during initial data collection, design, development and fine-tuning of the system, then low-cost and widely popular motioncapturing sensors suffice to provide a smooth and integrated experience on the user end, which would allow for relevant educational or entertainment applications to be adopted at scale. Chapter 8 focuses on the enhancement of the learning experience of folklore dances by introducing machine learning tools with the capability of providing a scalable quantifiable assessment of a choreography at different level of hierarchies; yielding a from coarse to fine evaluation. Chapter 9 describes an adaptable autoregressive and moving average layer (R-ARMA) into a onventional CNN filter to model the dynamic behavior of a choreography. In addition, to face the choreography dynamics, we introduced an adaptation mechanisms in a way that the network weights of the fully connected hidden layer is dynamically updated to fit current environmental characteristics. Experimental results on real-life sequences indicated the efficiency of the proposed model against conventional deep machine learning filters. Chapter 10 summarizes the thesis by representing the overall contribution and the future works.

Πολλές προσπάθειες έχουν μέχρι σήμερα γίνει προκειμένου να καταγραφεί και να διασωθεί η υλική πολιτιστική κληρονομία. Αντιθέτως η άυλη κληρονομιά λόγω της μη απτής φύσης της επιφέρει δυσκολίες τόσο στην επεξεργασία όσο και στην καταγραφή της. Παρόλη την τεράστια πρόοδο που έχει επιτευχθεί στην τεχνολογία της ψηφιοποίησης, κυρίως όσον άφορα στα απτά πολιτιστικά αγαθά στο επίπεδο της τρισδιάστατης απεικόνισης (3D-COFORM, EPOCH, CARARE, IMPACT, PRESTOSPACE, V-CITY), η ηλεκτρονική τεκμηρίωση των άυλων πολιτιστικών αγαθών δεν είναι πλήρως φανερή, ειδικότερα στις λαϊκές μορφές τέχνης. Αυτό οφείλεται κυρίως στο σύμπλεγμα διεπιστημονικότητας των φολκλόρ παραστάσεων που παρουσιάζουν μια σειρά από προκλήσεις που περιλαμβάνουν τη χορογραφία, την ψηφιοποίηση, την επεξεργασία, την χορογραφική ανάλυση/σημειογραφία, την μηχανική μάθηση και την υπολογιστική όραση. Είναι σημαντικό να αναφέρουμε ότι αυτή είναι η πρώτη φορά που υλοποιείται τέτοιο καινοτόμο πεδίο έρευνας, το οποίο έχει ως στόχο να λειτουργήσει ως ένας πρωτοποριακός μηχανισμός για την ενοποίηση του περιεχομένου της Άυλης Πολιτιστικής Κληρονομιάς (ΑΠΚ) με ήδη υπάρχον ψηφιοποιημένο περιεχόμενο από ψηφιακές βιβλιοθήκες (π.χ. Europeana), την σύνδεση της ΑΠΚ με το πεδίο της μηχανικής μάθησης οδηγώντας σε προηγμένες επιστημονικές δημοσιεύσεις.Στόχος της επιδιωκόμενης ερευνητικής μελέτης της διδακτορικής διατριβής είναι η ψηφιοποίηση της ΑΠΚ, δηλαδή των χορευτών και των χορευτικών τους κινήσεων, χορευτικών εκφράσεων, καθώς και η αρχειοθέτηση των σχετικών δεδομένων/μεταδεδομένων σε κατάλληλη ψηφιακή βιβλιοθήκη, προκειμένου να διατηρηθεί τμήμα της ΑΠΚ. Επιπλέον, τίθεται η ανάγκη να μειωθεί η πολυπλοκότητα της ψηφιοποίησης που διέπει την καταγραφή, την απεικόνιση, τη μοντελοποίηση και την εικονική αναπαράσταση. Οι παραστατικές τέχνες, όπως η χορογραφία, ο χορός και η θεατρική κινησιολογία, οι κινήσεις ανθρώπινων σωμάτων και χειρονομιών είναι βασικά στοιχεία που χρησιμοποιούνται για να περιγράψουν μια ιστορία με αισθητικό και συμβολικό τρόπο. Παρόλο που εμείς, ως άνθρωποι, μπορούμε εγγενώς να αντιληφθούμε και να αποκρυπτογραφήσουμε τέτοια σήματα ανθρώπινου σώματος με φυσικό τρόπο, αυτή η διαδικασία είναι δύσκολη για ένα σύστημα υπολογιστή. Μια σημαντική πτυχή στην ανάλυση ενός παραστατικού χορού είναι η αυτόματη εξαγωγή των χορογραφικών προτύπων/στοιχείων δεδομένου ότι αυτά τα στοιχεία παρέχουν μια αφηρημένη αναπαράσταση των σημασιολογικών πληροφοριών που κωδικοποιούνται στη ακολουθία του χορού. Επιπλέον ένα σημαντικό ζήτημα στην ανάλυση εκτέλεσης ενός χορού είναι η αυτόματη εξαγωγή χορογραφικών προτύπων της, δεδομένου ότι αυτά τα στοιχεία παρέχουν μια αφηρημένη αναπαράσταση της σημασιολογίας του χορού και κωδικοποιούν τη συνολική αφήγηση του συγκεκριμένου χορού. Ωστόσο, η εφαρμογή συμβατικών αλγορίθμων συνοπτικών βίντεο ακολουθιών δεν μπορεί να ανακτήσει κατάλληλα τα χορογραφικά τους μοτίβα αφού ένας χορός αποτελείται από ένα διατεταγμένο σύνολο διαδοχικών στοιχείων τα οποία επαναλαμβάνονται στο χρόνο. Τέλος, η τρισδιάστατη γεωμετρία του χορού είναι πολύ περίπλοκη για να περιγραφεί χρησιμοποιώντας μόνο τις πληροφορίες χρώματος RGB. Η υπό εξέταση διατριβή αναπτύσσεται αναπτύσσεται σε 10 κεφάλαια: Το Κεφάλαιο 1 εισάγει τις βασικές έννοιες της ΆΠΚ, αναλύει τους ερευνητικούς στόχους, την πρωτοτυπία και την καινοτομία της προτεινόμενης διατριβής. Το Κεφάλαιο 2 παρουσιάζει τις πρόσφατες τάσεις στη χορογραφική αναπαράσταση όσον αφορά τη μοντελοποίηση, τη βιντεοπερίληψη, την σημειογραφία και την αναγνώριση χορογραφικών μοτίβων. Επιπλέον, δημιουργήθηκαν δύο χορογραφικά σύνολα δεδομένων. Τα χορογραφικά σύνολα περιλαμβάνουν τριάντα παραδοσιακές ψηφιοποιημένες ακολουθίες χορού που καταγράφηκαν σε συνεργασία με το Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης στο πλαίσιο του έργου TERPSICHORE. Αυτά τα σύνολα δεδομένων εμπεριέχουν περισσότερες από 83663 εικόνες RGB και 7362 εγγραφές νεφών σημείων (μορφή .c3d) συμβατές με διάφορες βάσεις δεδομένων (π.χ. Europeana, βάση δεδομένων CMU, AMASS).Το Κεφάλαιο 3 περιγράφει τη διαδικασία ψηφιοποίησης χορογραφικών δεδομένων, την περιγραφή του συνόλου δεδομένων, την επεξεργασία χορογραφικών μοτίβων και την κινησιολογική μοντελοποίηση. Επιπλέον, περιγράφονται τα συστήματα καταγραφής κίνησης. Συγκεκριμένα, σε αυτό το Κεφάλαιο περιγράφονται τα χαρακτηριστικά βήματα των υπό εξέταση ελληνικών χορών που έχουν καταγραφεί προκειμένου να εξαχθούν τα χορογραφικά μοτίβα και οι αντιπροσωπευτικές στάσεις/κινήσεις.Το Κεφάλαιο 4 πρότεινε ένα νέο σχήμα σύνοψης χορού (βιντεοπερίληψης) αναφορικά με τα δεδομένα που καταγράφηκαν χρησιμοποιώντας το σύστημα καταγραφής κίνησης VICON. Η προτεινόμενη μέθοδος εξαγωγής αντιπροσωπευτικών στιγμιοτύπων εφαρμόζει ένα ιεραρχικό σχήμα κατάτμησης που εκμεταλλεύεται τις χωροχρονικές παραλλαγές των κινησιολογικών μεταβολών των χορευτών. Αρχικά, οι ολιστικοί περιγραφείς εξάγονται για να εντοπίσουν τα βασικά βήματα ενός χορού (μια χονδροειδής αναπαράσταση). Στη συνέχεια, κάθε τμήμα αποσυντίθεται περαιτέρω σε λεπτομερή τμήματα για τη βελτίωση της αντιπροσωπευτικότητας του χορού (λεπτή αναπαράσταση). Το σχήμα ιεραρχικής κατάτμησης χορού τροποποιεί τον αλγόριθμο SMRS κατάλληλα προκειμένου να επιτραπεί η χωροχρονική μοντελοποίηση σύνθετων χορευτικών ακολουθιών. Η προσέγγισή αξιολογήθηκε σε τριάντα φολκλορικές χορευτικές ακολουθίες που καταγράφηκαν στο Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης στο πλαίσιο του έργου TERPSICHORE που αντιπροσωπεύει πέντε διαφορετικές χορογραφίες και σε σύνολα δεδομένων από το Πανεπιστήμιο Carnegie Mellon, ελεύθερα διαθέσιμα, που απεικονίζουν παραστάσεις στη θεατρική κινησιολογία. Το Κεφάλαιο 5 εισάγει δύο τεχνικές: μια μέθοδο «ανεξάρτητη από το χρόνο» που βασίζεται σε αλγόριθμο ομαδοποίησης k-means++ για την εξαγωγή αντιπροσωπευτικών στιγμιοτύπων του χορού και μια τεχνική που βασίζεται στη ερμηνεία των φυσικών χαρακτηριστικών της κινησιολογίας δημιουργώντας χρονικές περιλήψεις σε διαφορετικά επίπεδα λεπτομέρειας. Οι προτεινόμενες μέθοδοι αξιολογήθηκαν σε δύο σύνολα δεδομένων κίνησης χορού.Το Κεφάλαιο 6 εισάγει ένα μη επιβλεπόμενο πλαίσιο βαθιάς στοίβας αυτόματου κωδικοποιητή (SAE) ακολουθούμενο από έναν αλγόριθμο ιεραρχικής κατάτμησης για να συνοψίσει τις χορογραφικές ακολουθίες. Στόχος του SAE είναι ο περιορισμός των περιττών θορύβων στα μη επεξεργασμένα δεδομένα και συνεπώς η βελτίωση της απόδοσης της χορογραφικής περίληψης. Αυτό γίνεται εμφανές όταν δύο χορευτές καταγράφονται ταυτόχρονα. Αλγόριθμοι βίντεο-περίληψης εφαρμόζονται για την εξαγωγή των αντιπροσωπευτικών χορογραφικών στάσεων χρησιμοποιώντας τον Kennard-Stone, το συμβατικό SMRS και το ιεραρχικό του σχήμα που ονομάζεται H-SMRS. Τα πειραματικά αποτελέσματα αξιολογήθηκαν σε πραγματικές χορευτικές ακολουθίες ελληνικών παραδοσιακών χορών, ενώ τα αποτελέσματα συγκρίθηκαν με χορογραφικά δεδομένα που επέλεξαν ειδικοί χορού. Τα αποτελέσματα δείχνουν ότι το H-SMRS που εφαρμόζεται μετά τη μείωσης του θορύβου υπό την εφαρμογή του SAE εξάγει βασικά καρέ που αποκλίνουν σε χρόνο μικρότερο από 0,3 δευτερόλεπτα από αυτά που επιλέγονται από τους ειδικούς και με τυπική απόκλιση 0,18 δευτ. Έτσι, το προτεινόμενο σχήμα μπορεί να εξάγει αντιπροσωπευτικά στιγμιότυπα αποτελεσματικά.Το Κεφάλαιο 7 παρουσιάζει ένα νέο πλαίσιο βασισμένο στη μοντελοποίηση της κινησιολογίας με βάση τα φυσικά χαρακτηριστικά (ταχύτητα, επιτάχυνση) για την εξαγωγή αντιπροσωπευτικών στιγμιοτύπων χρησιμοποιώντας νέφη σημείων. Προτείνονται δύο προσεγγίσεις: (i) μια μέθοδος βασισμένη σε αυτόματη ομαδοποίηση για την επιλογή των βασικών πρωτευόντων μιας χορογραφίας και (ii) μια προσέγγιση βασισμένη στα κινηματικά χαρακτηριστικά των χορογραφιών. Το πλαίσιο περίληψης χορού έχει επικυρωθεί επιτυχώς σε σύνολα χορογραφικών δεδομένων με τη συμμετοχή επαγγελματιών χορού και εμπειρογνωμόνων.Το Κεφάλαιο 8 περιγράφει ένα δίκτυο Μακράς και Βραχείας μνήμης (LSTM) με ικανότητα ανάλυσης χορογραφικών στάσεων λαμβάνοντας υπόψιν νέφη σημείων προερχόμενα από την ψηφιοποίηση των χορευτών. Αυτή η διαδικασία ταυτοποίησης θέσης είναι ικανή να παρέχει μια λεπτομερή αξιολόγηση του χορογραφικού μοτίβου. Επιπλέον, προτείνεται μια αρχιτεκτονική χορογραφικής περίληψης που βασίζεται στην εφαρμογή της ιεραρχικής κατάτμησης προκειμένου να εξάγει τα χορογραφικών μοτίβα. Τέλος αναπτύχθηκε μια πλατφόρμα σοβαρού παιχνιδιού υποστηρίζοντας την οπτικοποίηση της χορογραφίας χρησιμοποιώντας Laban σημειογραφία, προκειμένου προσδιορίσει την απόδοση της προτεινόμενης προσέγγισης με επίσημη τεκμηρίωση.Το Κεφάλαιο 9 περιγράφει ένα αυτοπαλίνδρομο κινητού μέσου όρου (ARMA) φίλτρο που εφαρμόζεται σε ένα συμβατικό Συνελικτικό Νευρωνικό Δίκτυο (CNN). Αυτό σημαίνει ότι η έξοδος ταξινόμησης επιστρέφει στο επίπεδο εισόδου, βελτιώνοντας τη συνολική ακρίβεια ταξινόμησης. Επιπλέον, εισάγεται ένας προσαρμοστικός αλγόριθμος, εκμεταλλευόμενος την επέκταση της σειράς Taylor πρώτης τάξης. Με αυτόν τον τρόπο, οι παράμετροι του δικτύου (π.χ. βάρη) τροποποιούνται δυναμικά βελτιώνοντας τη συνολική ακρίβεια ταξινόμησης. Τα πειραματικά αποτελέσματα σε πραγματικές χορευτικές ακολουθίες δείχνουν την απόδοση της προτεινόμενης προσέγγισης σε σχέση με τους συμβατικούς μηχανισμούς βαθιάς μάθησης.Το Κεφάλαιο 10 ολοκληρώνει τη διατριβή παραθέτοντας τη συνολική συμβολή της και τα μελλοντικά βήματα.