Επεξεργασία μουσικών σημάτων για μουσικολογικές εφαρμογές

Abstract

In this thesis the development of content-based techniques for the extraction and study of periodicities and rhythmic characteristics of music recordings took place. This thesis focused on the study of traditional music genres that haven t been studied in the literature. The methodology exhibited refers to the extraction of rhythm and music meter of a recording the extraction of a music summary the finding of similar rhythmic recordings and the modeling and tracking of rhythmic patterns. To this a feature extraction step takes place and energy and spectral features are extracted. For the application of periodicities and summary extraction the Self Similarity Matrix is employed. For the finding of similar rhythmic recordings the mean diagonal of the above matrix of each recording is compared with the diagonals of other recordings using the Dynamic Time Warping technique. Finally, for the modeling and tracking of rhythmic patterns the Hidden Markov Models are employed and each HMM state represents a rhythmic pattern state. Whenever an occurrence of the HMM states is found then a rhythmic pattern is considered to be located.

Στα πλαίσια αυτής της διδακτορικής διατριβής αναπτύχθηκαν τεχνικές για την εξαγωγή και μελέτη των περιοδικοτήτων και των ρυθμικών χαρακτηριστικών μουσικών ηχογραφήσεων με βάση το περιεχόμενο. Η διατριβή επικεντρώθηκε στη μελέτη παραδοσιακών μουσικών ειδών που δεν έχουν μελετηθεί στη βιβλιογραφία. Οι μέθοδοι που αναπτύχθηκαν αφορούν στην εύρεση του ρυθμού και μουσικού μέτρου μιας ηχογράφησης στην εύρεση της μουσικής περίληψης των ρυθμικά ομοίων ηχογραφήσεων και τη μοντελοποίηση και ανίχνευση ρυθμικών μοτίβων. Η προτεινομένη μέθοδος δέχεται ως είσοδο μουσικές πολυφωνικές ηχογραφήσεις από τις οποίες εξάγει χαρακτηριστικά που βασίζονται στην ενέργεια και στο ηχόχρωμα. Τα χαρακτηριστικά αυτά επεξεργάζονται με τη μέθοδο του πίνακα Αυτοομοιότητας στην περίπτωση της εύρεσης εγγενών περιοδικοτήτων ή μουσικής περίληψης. Αντίστοιχα για την εύρεση ρυθμικά ομοίων ηχογραφήσεων η μέση διαγώνιος του παραπάνω πίνακα για κάθε ηχογράφηση συγκρίνεται με τις διαγώνιους των άλλων ηχογραφήσεων με τη μέθοδο της Δυναμικής Στρέβλωσης στο Πεδίο του Χρόνου. Τέλος, για τη μοντελοποίηση και εύρεση των ρυθμικών μοτίβων μιας ηχογράφησης τα Hidden Markov Models ΗΜΜ χρησιμοποιούνται για τη μοντελοποίηση των καταστάσεων ενός ρυθμικού μοτίβου. Κατά τον τρόπο αυτό η ακολουθία παρατηρήσεων μουσικών γεγονότων εξάγεται από την ηχογράφηση και επεξεργάζεται από τα ΗΜΜ. Εφόσον εντοπιστεί μια ακολουθία ΗΜΜ καταστάσεων τότε θεωρείται ότι ένα ρυθμικό μοτίβο εντοπίστηκε στην ηχογράφηση.