Πολυ-αισθητηριακή ακουστική ανάλυση περιβάλλοντος

Abstract

In our Dissertation we examine the problem of Acoustic Event Detection (AED) in multi-channel smart-space environments. AED constitutes a major part of the computational auditory analysis field, and its main goal is the automatic end-pointing and classification of each sound event present in an audio clip. In our research we focus on developing methods for exploiting the information from multiple microphones for detecting events under challenging and overlapping conditions. At first, we focus on the detection of human speech events in smart homes consisting of multiple rooms, equipped with multiple microphones. For this purpose, we develop a novel two-step room-localized Speech Activity Detection (SAD) system, appropriate for voice-enabled applications. In its first step, our system efficiently combines the signals from multiple microphones to produce temporal speech segmentation, and in the second step it extracts novel room-discriminant multi-channel features to locate the speaker at the room-level. Our system performs robustly and compares favorably to deep-learning based alternatives. Then, for the general AED task, we focus on the challenging overlapping scenario and experiment with non-negative matrix factorization (NMF)-based approaches. In the process, we investigate ways to improve the detection step of well-known NMF baselines, to increase the robustness of classifier-based NMF systems in highly overlapping conditions, and finally to develop an efficient multi-channel NMF system for detection tasks. Finally, we employ deep-learning methods for overlapping AED when the number of different event classes is large. In this direction, we propose the combination and joint training of a multi-channel sound source separation network with a multi-label AED network, achieving improved results over traditional neural network approaches. For our experiments, we employ several synthetic and real databases recorded in suitable multi-microphone smart-space environments.

Στη Διατριβή μας εξετάζουμε το πρόβλημα του εντοπισμού ακουστικών γεγονότων σε «έξυπνα» περιβάλλοντα με πολλαπλά μικρόφωνα. Ο εντοπισμός ακουστικών γεγονότων αποτελεί σημαντικό τμήμα του ευρύτερου πεδίου της υπολογιστικής ανάλυσης ακουστικής σκηνής, και στόχος του είναι ο αυτόματος εντοπισμός στον χρόνο και η αναγνώριση των ακουστικών γεγονότων που περιέχονται σε ένα ηχητικό στιγμιότυπο. Στην έρευνά μας εστιάζουμε στην ανάπτυξη μεθόδων για την αξιοποίηση της πληροφορίας από πολλαπλά μικρόφωνα για τον εντοπισμό γεγονότων σε απαιτητικές συνθήκες με φαινόμενα επικάλυψης. Αρχικά, δίνουμε έμφαση στο πρόβλημα του εντοπισμού της ανθρώπινης φωνής, και στα πλαίσια ενός «έξυπνου» οικιακού περιβάλλοντος με πολλαπλά δωμάτια αναπτύσσουμε ένα σύστημα χωρο-χρονικού εντοπισμού φωνής δύο σταδίων, κατάλληλο για διαλογικά συστήματα φωνητικών εντολών. Στο πρώτο στάδιο, το σύστημά μας συνδυάζει αποτελεσματικά τα σήματα από πολλαπλά μικρόφωνα για να πετύχει τον χρονικό εντοπισμό της φωνής, και στο δεύτερο, καινοτόμα πολυκαναλικά χαρακτηριστικά εξάγονται για τον χωρικό εντοπισμό της φωνής σε επίπεδο δωματίου. Το σύστημά μας επιδεικνύει εύρωστη απόδοση και συγκρίνεται ευνοϊκά με μεθόδους βαθιάς μηχανικής μάθησης. Στη συνέχεια, στο ευρύτερο πρόβλημα του εντοπισμού ακουστικών γεγονότων, δίνουμε έμφαση στο απαιτητικό σενάριο των επικαλυπτόμενων γεγονότων και πειραματιζόμαστε με μεθόδους παραγοντοποίησης μη-αρνητικών πινάκων (NMF). Στα πλαίσια αυτής της έρευνας, διερευνούμε μεθόδους για την βελτίωση του σταδίου εντοπισμού σε βασικές μεθόδους NMF, την αύξηση της αποδοτικότητας σε δύσκολες επικαλυπτόμενες συνθήκες συστημάτων NMF που συνδυάζονται με ταξινομητές, και τέλος την ανάπτυξη αποτελεσματικών πολυ-καναλικών συστημάτων NMF για προβλήματα εντοπισμού γεγονότων. Τέλος, πειραματιζόμαστε με μεθόδους βαθιάς μηχανικής μάθησης για τον εντοπισμό επικαλυπτόμενων γεγονότων σε περιπτώσεις όπου υπάρχει μεγάλη ποικιλία πιθανών κλάσεων. Σε αυτή την κατεύθυνση, προτείνουμε τον συνδυασμό και την από κοινού εκπαίδευση ενός πολυ-καναλικού νευρωνικού δικτύου διαχωρισμού γεγονότων με ένα νευρωνικό δίκτυο ταξινόμησης ακουστικών γεγονότων, πετυχαίνοντας βελτιωμένη απόδοση σε σχέση με παραδοσιακές τεχνικές. Για την αξιολόγηση των μεθόδων μας, χρησιμοποιούμε διάφορες συνθετικές και πραγματικές βάσεις δεδομένων που δημιουργήθηκαν/ηχογραφήθηκαν σε κατάλληλα πολυ-καναλικά «έξυπνα» περιβάλλοντα.