Ευφυής λήψη και επεξεργασία βιοσημάτων για την αυτοματοποιημένη αναγνώριση χειρομορφών νοηματικής γλώσσας

Abstract

The main research field inspected in this doctorate dissertation focuses on the automated Greek Sign Language (GSL) recognition using data from surface electromyogram and accelerometer. In this context, the requirements of the acquisition system, such as the type, number and position of the electromyogram electrodes as well as the proposed position of the triaxial accelerometer are presented. The optimum topology consisting of five-channel surface electromyogram, capturing the wrist and finger motions and three-channel acceleration, monitoring the position of the hand in the 3D-space is reported in detail. An extended set of time-frequency features proposed in the literature are extracted from the acquired signals and evaluated for their efficiency in correctly classifying the isolated signs. As presented in this dissertation, the time-frequency features are inadequate for a medium sized sign lexicon, implying the necessity of employing more advanced signal processing techniques. To this end, advanced methods such as the entropy and the empirical mode decomposition are employed to provide with high recognition hit-ratios, along with feature vector dimension reduction, towards fast and reliable automated GSL recognition. In order to discriminate the differences in the individual way of signing from those regarding the sign gestures and therefore enhance the GSL recognition results, the signer’s level of deafness is employed in the feature extraction process. Through a novel hybrid adaptive procedure, a genetic algorithm weights the intrinsic modes of the acquired signals, before the sample entropy calculation. The resulting feature set, namely weighted intrinsic mode entropy, aims at minimizing the feature space dimension and increasing the sign classification accuracy discarding the intra-signer differences. The biggest contribution of this approach lies in the construction of a signer-independent GSL classification system towards the enhancement of its performance (>90% for 60 signs). To ensure the credibility of the presented results, the vocabulary complexity in terms of the similar movements involved in each hand articulation was examined. A novel GSL modeling approach on the kinetic level is proposed enabling the comparison of the signs through the calculation of the degree of similarity. The results imply sufficient confusion in the selected vocabulary for the evaluation of the robustness of the proposed methods. Another novelty in this dissertation is the use of the acquired data for the signer and the signer's level-of-deafness recognition. The findings justify the employment of the level of deafness in the feature space linking the individual way of signing to the signer identity and the level of deafness. This doctorate dissertation via the proposed data acquisition and advanced data processing techniques paves the way for more efficient automated GSL recognition. The proposed analyses can be useful in many gesture recognition applications, such as human-computer interfaces and robotics.

Το βασικό ερευνητικό πεδίο της παρούσας διδακτορικής διατριβής είναι η προηγμένη καταγραφή και επεξεργασία βιοσημάτων για την αναγνώριση χειρονομιών της Ελληνικής Νοηματικής Γλώσσας (ΕΝΓ). Σε αυτό το πλαίσιο, διερευνάται και αναλύεται η βέλτιστη τοπολογία καταγραφής της πληροφορίας των νοημάτων, η οποία αποτελείται από πέντε κανάλια επιφανειακού ηλεκτρομυογραφήματος για την καταγραφή των κινήσεων του καρπού και των δακτύλων και τρία κανάλια από ένα επιταχυνσιόμετρο τριών αξόνων για την ανίχνευση των κινήσεων του χεριού στο χώρο. Αρχικά, αξιολογούνται τα χαρακτηριστικά στο πεδίο του χρόνου και της συχνότητας που προτείνονται στη βιβλιογραφία και αποδεικνύεται ότι δε μπορούν να προάγουν ικανοποιητικά την αναγνώριση των νοημάτων, αναδεικνύοντας την ανάγκη εξέτασης πιο ανεπτυγμένων μεθόδων επεξεργασίας σήματος. Συγκεκριμένα προτείνεται η χρήση της εντροπίας και της εμπειρικής ανάλυσης ενδογενών ρυθμών επιτυγχάνοντας ικανοποιητικά αποτελέσματα ως προς τη διάσταση του διανυσματικού χώρου και τα ποσοστά ακρίβειας στην αναγνώριση των νοημάτων. Με στόχο το διαχωρισμό των μεταβολών που οφείλονται στον τρόπο νοηματισμού από εκείνες που φανερώνουν τις κινήσεις των νοημάτων εμπλέκεται ο βαθμός βαρηκοΐας στην εξαγωγή του διανύσματος χαρακτηριστικών με τη βοήθεια ενός γενετικού αλγορίθμου στάθμισης των ενδογενών ρυθμών. Τα αποτελέσματα αναδεικνύουν την ικανότητα της προτεινόμενης μεθόδου να προσφέρει τη μέγιστη αναγνώριση νοημάτων με την ελάχιστη διάσταση του διανυσματικού χώρου ακόμα και για την περίπτωση αναγνώρισης ΕΝΓ ανεξάρτητης του νοηματιστή, όπου η απόκριση του ταξινομητή διατηρείται σταθερή με το μέγεθος του λεξιλογίου σημειώνοντας ικανοποιητικά ποσοστά ακριβείας (>90% για 60 νοήματα). Για τη διασφάλιση της αξιοπιστίας των αποτελεσμάτων εξετάστηκε η πολυπλοκότητα της βάσης λεξιλογίου. Αναπτύσσεται μια μέθοδος μοντελοποίησης των νοημάτων, η οποία επιτρέπει τη σύγκριση των νοημάτων μέσω του βαθμού ομοιότητάς τους. Τα αποτελέσματα αναδεικνύουν ικανή πολυπλοκότητα λεξιλογίου, πιστοποιώντας τη συνεισφορά των προτεινόμενων μεθοδολογιών στην αναγνώριση νοημάτων. Μια ακόμα καινοτομία της παρούσας διδακτορικής διατριβής είναι η χρήση των σημάτων καταγραφής για την αναγνώριση του χρήστη ή τον προσδιορισμό του βαθμού βαρηκοΐας του νοηματιστή. Τα ευρήματα που παρουσιάζονται ενισχύουν την υπόθεση της συσχέτισης του τρόπου νοηματισμού με το χρήστη αλλά και το βαθμό βαρηκοΐας. Η παρούσα διδακτορική διατριβή συμβάλλει στην αυτόματη αναγνώριση ΕΝΓ με τη βοήθεια ενός ευφυούς τρόπου καταγραφής της πληροφορίας των νοημάτων και προηγμένων μεθόδων επεξεργασίας σήματος. Η χρήση των προτεινόμενων μεθοδολογιών μπορεί να επεκταθεί σε πληθώρα εφαρμογών που βασίζονται στην αναγνώριση χειρονομιών.