Αποκατάσταση της καταληπτότητας της ομιλίας σε σύνθετα ηχητικά περιβάλλοντα για άτομα με απώλεια ακοής με τη χρήση τεχνικών βαθιάς μάθησης

Abstract

Speech perception in complex acoustic environments, especially in conditions with background noise and multiple speakers, presents a substantial challenge for individuals with hearing loss, significantly impacting their social, psychological, and occupational lives. This dissertation focuses on leveraging deep learning for audio processing and analysis tasks, with a particular emphasis on enhancing speech perception in challenging listening conditions for individuals with hearing loss. Specifically, it aims to develop methods that leverage psychoacoustic and semantic factors to enhance speech intelligibility in noisy environments. In this context, a method utilizing deep learning techniques for single-channel speech signal processing was developed, based on the temporal coding mechanisms of the human auditory system. The proposed method showed improved objective results in the enhancement of speech in background noise. The research extends to the semantic audio analysis domain, aiming for more efficient and robust adaptation of deep learning techniques to dynamic sound scenes. By employing semantic analysis techniques for speaker verification, a method was developed to enhance the voice of a target speaker in conditions with background noise and multiple competing speakers. The results showed significant improvements in speech intelligibility in environments with background noise and multiple overlapping speakers, both for listeners with hearing loss and those with normal hearing. Our findings highlight the potential of deep learning in computational audition, offering solutions to the challenges of speech perception in complex acoustic environments. We encourage broader in-depth research into hearing technology for practical applications, aiming for viable improvements in the listening experience for people with hearing loss through the use of hearing devices.

Η αντίληψη της ομιλίας σε σύνθετα ηχητικά περιβάλλοντα, ιδίως σε συνθήκες με θόρυβο και πολλαπλούς ομιλητές, αποτελεί μία από τις σημαντικότερες προκλήσεις για άτομα με απώλεια ακοής, επηρεάζοντας σημαντικά την κοινωνική, ψυχολογική και εργασιακή τους ζωή. Η παρούσα διατριβή επικεντρώνεται στην αξιοποίηση της βαθιάς μάθησης ως εργαλείου για την επεξεργασία και την ανάλυση του ήχου, με ιδιαίτερη έμφαση στην αντίληψη της ομιλίας από άτομα με απώλεια ακοής. Συγκεκριμένα, επιδιώκεται η ανάπτυξη μεθόδων που ενσωματώνουν ψυχοακουστικούς και σημασιολογικούς παράγοντες του ηχητικού περιεχομένου, με στόχο την αποκατάσταση της καταληπτότητας της ομιλίας σε σύνθετα ηχητικά περιβάλλοντα. Στο πλαίσιο αυτό, αναπτύχθηκε μία μέθοδος που αξιοποιεί τεχνικές βαθιάς μάθησης για την επεξεργασία μονοφωνικών σημάτων ομιλίας, βασιζόμενη στη χρονική κωδικοποίηση του ήχου από το ανθρώπινο ακουστικό σύστημα. Η προτεινόμενη μέθοδος έδειξε βελτιωμένα αποτελέσματα ενίσχυσης της ομιλίας σε συνθήκες με θόρυβο υποβάθρου. Η έρευνα επεκτείνεται στη σημασιολογική ανάλυση του ηχητικού περιεχομένου με στόχο την αποτελεσματικότερη και πιο εύρωστη προσαρμογή των τεχνικών βαθιάς μάθησης σε δυναμικές ηχητικές σκηνές. Με τη χρήση τεχνικών σημασιολογικής ανάλυσης για την επαλήθευση ομιλητή, αναπτύχθηκε μία μέθοδος για την ενίσχυση της φωνής ενός ομιλητή-στόχου σε συνθήκες με θόρυβο και άλλους ανταγωνιστικούς ομιλητές. Τα αποτελέσματα έδειξαν σημαντικές βελτιώσεις στην καταληπτότητα της ομιλίας, τόσο για άτομα με απώλεια ακοής όσο και για άτομα με φυσιολογική ακοή, σε περιβάλλοντα με θόρυβο υποβάθρου και πολλαπλούς ταυτόχρονους ομιλητές. Τα ευρήματα της παρούσας διατριβής καταδεικνύουν τις δυνατότητες της βαθιάς μάθησης στον τομέα της υπολογιστικής ακρόασης, προβάλλοντας λύσεις για την αντιμετώπιση των προκλήσεων στην αντίληψη της ομιλίας σε σύνθετα ηχητικά περιβάλλοντα. Ενθαρρύνεται η ευρύτερη εφαρμογή και εμβάθυνση στην έρευνα των τεχνολογιών ήχου για πρακτικές εφαρμογές, με στόχο την ουσιαστική βελτίωση της εμπειρίας ακρόασης για άτομα με απώλεια ακοής με τη χρήση ακουστικών συσκευών.