Quality of musician's experience in network music performance

Abstract

The increased use of tele-presence and tele-conferencing facilities, whether due to the need to isolate during a pandemic, or due to the desire to avoid costly and time-consuming travel, prompted a renewed interest in Network Music Performance (NMP), where musicians collaborate remotely over the Internet in real time. Although the Internet has made dramatic leaps in capacity since the first NMP systems were created in the 20th century, the delays involved when communicating over the Internet, whether due to the physical distance between the endpoints, or due to the unpredictable nature of network traffic, are an important hindrance to the widespread use of NMP applications.The main question that this thesis attempts to answer is how much delay humans are able to tolerate for NMP to be acceptable. To achieve this goal, we first identify the factors influencing the Quality of Musicians' Experience (QoME) during NMP. Out of these factors, we single out audio delay, which makes or breaks a performance. We also consider audio quality, as it may be reduced to save bandwidth, without resorting to delay-inducing audio compression. A review of the literature shows that past work on evaluating the human tolerance to delay during NMP either employs a scenario where music is not performed, that is, synchronization of hand claps, or involves a very small number of experiments, thus having low statistical significance.Before embarking on a large scale study of NMP with actual musical performances, we first performed two exploratory studies. The first study tested our experimental setup, including the software and hardware employed, so as to ensure that the testing environment was acceptable to musicians and that we could gather accurate data without interruptions. The second study tested our assessment method, which consisted of questionnaires answered by each participant at the end of every performance, with a small number of musicians. Based on these studies, we then designed and carried out the largest NMP study to date with actual musicians performing real musical pieces. In this study, we varied either audio delay or audio quality in a systematic manner, gathering up answers to a fine-tuned questionnaire for QoME assessment. This subjective evaluation revealed that after crossing a quality threshold, further increasing audio quality had no discernible effects to QoME, indicating that when bandwidth is limited, we can sacrifice (up to a point) audio quality to reduce the required bitrate, without resorting to compression. On the other hand, we found that varying delay did have a statistically significant effect to QoME. More importantly though, our results indicate that the delay threshold up to which NMP is feasible is closer to 40~ms, rather than the 25-30~ms previously considered acceptable. Having recorded audio and video from all sessions, we complemented this subjective study with three additional evaluation methods, making our work the first multimodal study of the QoME for NMP. First, we performed tempo analysis on the recorded audio, to assess the highest delay at which the musicians could maintain a steady tempo; the results from this study confirmed that delays of up to 40~ms are acceptable for NMP, as indicated by the subjective study. Second, we analyzed the audio features of the recordings, finding that delay had a larger impact on percussive instruments and musicians performing rhythm parts; this result confirmed similar results from a previous, but much smaller study. Third, we analyzed the video recordings in order to detect the emotions felt by the musicians using machine learning methods, finding that as audio delay or audio quality was varied there were clear disruptions in the emotions of the musicians; while these results are intriguing, they were not clear enough to substitute the subjective analysis.

Η αυξανόμενη χρήση των υπηρεσιών τηλε-συνεργασίας και τηλεδιασκέψεων λόγω της πρόσφατης πανδημίας και του αποκλεισμού που επιβλήθηκε, ανέδειξε εκ νέου το ενδιαφέρον για συστήματα και υπηρεσίας Διαδικτυακής Μουσικής Εκτέλεσης (ΔΜΕ) όπου οι μουσικοί συνεργάζονται μέσω του Διαδικτύου σε πραγματικό χρόνο. Παρόλο που οι ταχύτητες του Διαδικτύου έχουν αυξηθεί σε μεγάλο βαθμό σε σχέση με τις ταχύτητες που επικρατούσαν όταν δημιουργήθηκαν τα πρώτα συστήματα ΔΜΕ, η καθυστέρηση του Διαδικτύου είτε αυτή οφείλεται από τις μεγάλες φυσικές αποστάσεις είτε από την απρόβλεπτη φύση της κίνησης του Διαδικτύου, αποτελεί σημαντικό εμπόδιο στην ευρεία χρήση ΔΜΕ εφαρμογών. Το βασικό ερώτημα που προσπαθεί να απαντήσει η παρούσα διατριβή είναι η εκτίμηση του ορίου της ανοχής του ανθρώπου στην καθυστέρηση του ήχου ώστε τη ΔΜΕ να αξιολογηθεί ως επιτυχής. Για τον σκοπό αυτό, αρχικά προσδιορίσαμε τους παράγοντες που επηρεάζουν την Ποιότητα της Εμπειρίας του Μουσικού (ΠΕΜ) κατά τη ΔΜΕ. Μεταξύ των παραγόντων εστιάσαμε στη καθυστέρηση του ήχου ο οποίος είναι ο καθοριστικός παράγοντας για να είναι επιτυχής ή ανεπιτυχής μια ΔΜΕ. Επιπλέον εστιάσαμε και στη ποιότητα του ήχου, καθώς ίσως υπάρχουν περιθώρια μείωσης της προκειμένου να κερδίσουμε σε εύρος ζώνης και άρα ταχύτητα χωρίς να χρειαστεί να χρησιμοποιήσουμε αλγόριθμους συμπίεσης ήχου οι οποίοι προσθέτουν καθυστέρηση. Επιπλέον παρατηρήσαμε ότι το μεγαλύτερο μέρος της βιβλιογραφίας είτε εστιάζει σε πειράματα όπου χρησιμοποιήθηκαν παλαμάκια και όχι μουσικά όργανα, είτε χρησιμοποίησε μικρό αριθμό μουσικών κάτι που οδηγεί σε χαμηλή στατιστική σημαντικότητα.Πριν καταλήξουμε σε μεγάλη κλίμακα πειραμάτων, σχεδιάσαμε αρχικά δυο στάδια πιλοτικών πειραμάτων. Στο πρώτο στάδιο δοκιμάσαμε το πειραματικό σχεδιασμό συμπεριλαμβανομένου του λογισμικού αλλά και των υπολογιστικών συστημάτων ώστε να διαβεβαιώσουμε ότι τα πειράματα θα μπορούν να εκτελεστούν χωρίς δυσλειτουργίες. Στο δεύτερο στάδιο πιλοτικών πειραμάτων δοκιμάσαμε τις μεθόδους εκτίμησης της εμπειρίας η οποία βασίστηκε κυρίως σε κατάλληλο σχεδιασμό ερωτηματολογίων τα οποία απαντούσαν οι μουσικοί μετά από κάθε ΔΜΕ.Βασισμένοι στα δύο πιλοτικά στάδια, σχεδιάσαμε και εκτελέσαμε το μεγαλύτερο πείραμα έως σήμερα όσον αφορά τον αριθμό των μουσικών οι οποίοι έπαιξαν μουσικά όργανα και όχι παλαμάκια. Κατά τη διάρκεια των πειραμάτων μεταβάλλαμε την καθυστέρηση αλλά και την ποιότητα του ήχου με συγκεκριμένο τρόπο και συλλέξαμε τις απαντήσεις από τα ερωτηματολόγια των μουσικών. Η ανάλυση των αποτελεσμάτων έδειξε ότι υπάρχει όριο στην ποιότητα του ήχου πέρα από το οποίο η αύξηση της ποιότητας δεν επέδρασε στην ποιότητα της εμπειρίας του μουσικού. Αντιθέτως, οι μεταβολές της καθυστέρησης είχαν πολύ μεγάλη επίδραση στη ΠΕΜ. Πιο συγκεκριμένα οι αναλύσεις ανέδειξαν σοβαρές ενδείξεις ότι το ανεκτό όριο της καθυστέρησης των μουσικών είναι πιο κοντά στα 40ms παρά στα 25 με 30 ms όπως ανέφεραν προηγούμενες μελέτες.Έχοντας καταγράψει ήχο και video από όλα τα πειράματα, συμπληρώσαμε την υποκειμενική ανάλυση των ερωτηματολογίων με τρεις επιπλέον μεθόδους ανάλυσης, καθιστώντας την παρούσα διατριβή ως την πρώτη πολύ – τροπική έρευνα πάνω στο ΠΕΜ για τη ΔΜΕ. Αρχικά πραγματοποιήσαμε ανάλυση στις ηχογραφήσεις προκειμένου να εξάγουμε συμπεράσματα για την ανοχή των μουσικών στην καθυστέρηση μελετώντας τις διακυμάνσεις του ρυθμού των ΔΜΕ. Τα αποτελέσματα αυτής της ανάλυσης επιβεβαίωσαν ότι το ανεκτό όριο στην καθυστέρηση είναι τα 40 ms για τη ΔΜΕ όπως είχε αναδείξει η υποκειμενική ανάλυση. Κατά δεύτερον πραγματοποιήσαμε αναλύσεις των ηχογραφήσεων σε επίπεδο φασματικών χαρακτηριστικών τα αποτελέσματα των οποίων έδειξαν ότι η καθυστέρηση έχει μεγαλύτερη επίδραση στα κρουστά όργανα αλλά και στους μουσικούς που παίζουν ρυθμικά μέρη. Το αποτέλεσμα αυτό επιβεβαίωσε προηγούμενες αλλά μικρότερες σε αριθμό μουσικών μελέτες. Κατά τρίτον πραγματοποιήσαμε ανάλυση των video των μουσικών χρησιμοποιώντας τεχνικές μηχανικής μάθησης για να εξάγουμε συναισθηματικά δεδομένα από τους μουσικούς. Τα αποτελέσματα αυτής της ανάλυσης έδειξαν ότι οι μεταβολές της καθυστέρησης αλλά και της ποιότητας του ήχου είχαν σαφείς επιδράσεις στα συναισθήματα των μουσικών με απότομες μεταβολές αυτών. Παρόλο που αυτές οι ενδείξεις ήταν ενδιαφέρουσες δεν έδωσαν τόσο σαφή αποτελέσματα ώστε να αντικαταστήσουν την υποκειμενική μέθοδο των ερωτηματολογίων.