Ανθρωποκεντρική μοντελοποίηση με εφαρμογή στη ρομποτική υποβοήθησης: στοχαστική εκτίμηση και ρομποτική μάθηση στη λήψη αποφάσεων

Abstract

Accurately tracking and analyzing human gait constitutes an essential functionality for various robotic applications, such as smart robotic walkers aiming to provide assistance to patients with different mobility impairment, social robot companions, and many others. A context-aware robot control architecture needs constant knowledge of the user’s kinematic state to assess the patient’s gait status and adjust its movement properly to provide optimal assistance. Towards this end, this dissertation focuses on research topics related to monitoring human walking, and especially the movement of the user’s legs in continuous and dynamic interaction with a robotic assistive mobility platform. More specifically, in the first part of this dissertation, various tracking techniques have been applied for the human legs state estimation using Kalman Filter (KF) and K-means clustering. Further on methodologies using Particle Filters (PFs) based on Sequential Importance Resampling (SIR) have been investigated, to better cope with the nonlinear and non-Gaussian nature in stochastic gait dynamics. A new monitoring methodology was then developed using PFs for the human state estimation with probabilistic data association (PDA). In parallel, gait analysis methodologies have been developed with the extraction of spatio-temporal parameters, which are useful in the clinical diagnosis of various pathological gait classes. In the next phase of the dissertation, a novel human gait tracking approach is proposed, that uses two PFs and PDA with an Interacting Multiple Model (IMM) scheme for a real-time selection of the appropriate motion model according to the human gait analysis and the use of the Viterbi algorithm for an augmented human gait state estimation. The gait state estimates also interact with the IMM as prior information that drives the Markov sampling process, while the PDA ensures that the legs of the same person are tracked in a coupled manner. The observation data are provided by a Laser Range finder (LRF) mounted on a robotic assistant walker. A detailed experimental validation is presented using ground truth data from a motion capture system, which was used in real experiments with elder subjects who presented various mobility impairments. The validation analysis considers the algorithm’s accuracy, robustness to occlusions and clutter, and the gait state classification success, subject to the effect of a different number of samples used in the PFs. The results obtained on the real data of the elder subjects who have voluntarily participated in the experiments show the efficacy of the proposed algorithm in providing accurate and robust augmented human gait estimates with a small number of particles, thus demonstrating the potential of the methodology to be used in a real-time application in the field of assistive or rehabilitation robotics. Continuing the research in the direction of human-centric estimation and learning, we have proposed and developed a novel method for analyzing human gait stability from non-wearable sensors, namely for the users of the robotic mobility assistance platform. In particular, we have used deep neural networks and specifically, Long Short-Term Memory (LSTM) networks, a special kind of recurrent neural networks, in an encoder-decoder framework for predicting human walking stability as safe or risk-of-fall, using as input multimodal data from camera and laser in a human-centered estimation process. The final contribution of this work relies on studying and developing various control strategies for the robotic assistant, using human-centered information regarding the kinematic state of each user. The initial approach considered a strategy for the coupled human-robot motion control and the development of a kinematic control that considers the mobility classification of the user, to change certain control parameters regarding the separation distance and the relative bearing in the human-robot setting. Even though such a method performed well for straight-line navigation scenarios, it was not easy to accommodate the disturbances occurring to the system during more complex movements, like turnings. To this end, this dissertation is completed by the proposal, analysis, and application of a novel framework for a human-centered robot motion adaptation. The goal is to achieve a coupled human-robot motion in a front-following setting as if the patient was pushing the rollator him/herself. To this end, we propose a novel approach using Model-based Reinforcement Learning (MBRL) for adapting the control policy of the robotic assistant. This approach encapsulates all previous work developed during this doctoral research on human tracking and gait analysis from RGB-D and laser streams into a human-in-the-loop decision-making strategy. We use LSTM networks for designing a Human Motion Intention Model (HuMIM) and a Coupling Parameters Forecast model, leveraging on the outcome of human gait analysis. An initial LSTM-based policy network was trained via Imitation Learning (IL) from human demonstrations in a Motion Capture setup. This policy is then fine-tuned with the MBRL framework using tracking data from real patients. A thorough evaluation analysis proves the efficiency of the MBRL approach as a user-adaptive human-centered decision-making strategy.

Η ακριβής παρακολούθηση της ανθρώπινης βάδισης αποτελεί σημαντική συνιστώσα για διάφορες ρομποτικές εφαρμογές, όπως οι ρομποτικές πλατφόρμες κινητικής υποβοήθησης με στόχο την παροχή βοήθειας σε ασθενείς με μειωμένη κινητικότητα (mobility assistive robots), οι επονομαζόμενοι κοινωνικοί ρομποτικοί βοηθοί (social robot assistants), κ.α. Μια αρχιτεκτονική ρομποτικού ελέγχου με επίγνωση του περιβάλλοντος απαιτεί ακριβή και αξιόπιστη γνώση της κινητικής κατάστασης του χρήστη σε πραγματικό χρόνο, ώστε να αξιολογείται συνεχώς το επίπεδο της βάδισης του ασθενούς και να προσαρμόζεται η κίνηση του ρομπότ κατάλληλα με στόχο τη βέλτιστη παροχή βοήθειας και υποστήριξης. Σε αυτήν την κατεύθυνση, η παρούσα διατριβή πραγματεύεται θέματα παρακολούθησης της ανθρώπινης βάδισης, και ειδικά της κίνησης των ποδιών ενός χρήστη σε συνεχή και δυναμική διάδραση με ενσωματωμένη ρομποτική πλατφόρμα υποβοήθησης κινητικότητας. Πιο συγκεκριμένα, στο πρώτο στάδιο της διατριβής μελετήθηκε μεθοδολογία παρακολούθησης ανθρώπινης βάδισης με χρήση Φίλτρου Kalman και K-means συσταδοποίησης, καθώς και μεθοδολογίες που χρησιμοποιούν Φίλτρα Σωματιδίων (Particle Filters - PFs) βάσει Ακολουθιακής Επαναδειγματοληψίας Σημαντικότητας (Sequential Importance Resampling - SIR). Στη συνέχεια, αναπτύχθηκε μια νέα μεθοδολογία παρακολούθησης με χρήση ενός PF επαυξημένου μέσω πιθανοτικής συσχέτισης δεδομένων (probabilistic data association - PDA). Παράλληλα, αναπτύχθηκαν μεθοδολογίες για την ανάλυση της ανθρώπινης βάδισης με την εξαγωγή χωροχρονικών παραμέτρων, οι οποίες χρησιμεύουν στην κλινική διάγνωση χαρακτηριστικών παθολογικής βάδισης. Στο επόμενο στάδιο της διατριβής, αναπτύχθηκε μια νέα προσέγγιση παρακολούθησης της ανθρώπινης βάδισης που χρησιμοποιεί δύο PFs με PDA σε ένα πρωτότυπο σχήμα αλληλεπιδραστικού πολλαπλού μοντέλου (Interacting Multiple Model - IMM). Στόχος της μεθοδολογίας αυτής αποτελεί η επιλογή σε πραγματικό χρόνο του κατάλληλου μοντέλου κίνησης σύμφωνα με την ανάλυση της ανθρώπινης βάδισης και τη χρήση του αλγορίθμου Viterbi για μια επαυξημένη εκτίμηση της κατάστασης της ανθρώπινης βάδισης. Η εκτιμώμενη κατάσταση βάδισης επίσης αλληλεπιδρά με το IMM ως μια πρότερη πληροφορία που οδηγεί τη διαδικασία της μαρκοβιανής δειγματοληψίας, ενώ το PDA εξασφαλίζει ότι παρακολουθούνται τα πόδια του ίδιου ανθρώπου-χρήστη. Τα δεδομένα παρατήρησης προέρχονται από έναν ανιχνευτή λέιζερ (laser range finder - LRF), ο οποίος είναι τοποθετημένος επάνω στη ρομποτική πλατφόρμα κινητικής υποβοήθησης. Στο πλαίσιο της παρούσας διατριβής, εκπονήθηκε μια λεπτομερής πειραματική ανάλυση και αξιολόγηση του προτεινόμενου αλγορίθμου χρησιμοποιώντας δεδομένα αληθείας (ground truth) από ένα σύστημα καταγραφής κίνησης (motion capturing), που χρησιμοποιήθηκε σε πραγματικά πειράματα με ηλικιωμένα άτομα που παρουσίαζαν διάφορες κινητικές δυσλειτουργίες. Για την πειραματική επαλήθευση της προτεινόμενης μεθοδολογίας, υπολογίσθηκε η ακρίβεια του αλγορίθμου, αλλά και η ευρωστία του σε περιπτώσεις θορύβου και ανυπαρξίας δεδομένων παρατήρησης, καθώς και η επιτυχία του ως προς την ταξινόμηση της κατάσταση βάδισης, ελέγχοντας την επίδραση διαφορετικού αριθμού δειγμάτων στα PFs. Τα αποτελέσματα για τα ηλικιωμένα άτομα δείχνουν τις δυνατότητες που παρέχει το προτεινόμενο πλαίσιο μεθοδολογίας για εφαρμογή σε πραγματικό χρόνο, λόγω της αποτελεσματικότητάς του ως προς την παροχή ακριβών και αξιόπιστων εκτιμήσεων για την επαυξημένη κατάσταση βάδισης του ανθρώπου με χρήση μικρού αριθμού δειγμάτων στα στοχαστικά φίλτρα εκτίμησης. Εν συνεχεία, η ερευνητική εργασία επικεντρώθηκε στη μελέτη της ευστάθειας κατά τη βάδιση και την αντίστοιχη ανάπτυξη ενός δικτύου βαθιάς μάθησης με χρήση αναδρομικών νευρωνικών δικτύων για την πρόβλεψη της ευστάθειας βάδισης ως ασφαλούς ή επίφοβης για πτώση βάδισης, με χρήση πολυτροπικής πληροφορίας από δεδομένα κάμερας και λέιζερ. Τελική συνεισφορά της παρούσας διατριβής αποτελεί η μελέτη και ανάπτυξη διαφόρων στρατηγικών ελέγχου για τη ρομποτική πλατφόρμα υποβοήθησης με χρήση ανθρωποκεντρικής πληροφορίας σχετικά με την κινητική κατάσταση του εκάστοτε χρήστη. Αρχικά μελετήθηκε και υλοποιήθηκε μια στρατηγική ελέγχου για τον σχηματισμό ανθρώπου-ρομπότ με την ανάπτυξη ενός κινηματικού ελεγκτή που λαμβάνει υπόψη την κινηματική κατηγοριοποίηση του χρήστη προκειμένου να προσαρμόζονται οι βέλτιστες παράμετροι του ελεγκτή σε σχέση με την απόσταση και τον προσανατολισμό του σχήματος άνθρωπος-ρομπότ. Παρά το γεγονός ότι μια τέτοια σχεδίαση είχε καλά αποτελέσματα σε ευθεία πορεία, δεν ήταν δυνατόν να προσαρμόζεται σε πιο σύνθετες κινήσεις που περιλάμβαναν επίσης στροφές. Για το λόγο αυτό, η παρούσα διατριβή ολοκληρώνεται με την παρουσίαση, ανάλυση και υλοποίηση μιας μεθόδου ενισχυτικής μάθησης (reinforcement learning), η οποία ενσωματώνει και ένα βαθύ νευρωνικό δίκτυο για την πρόβλεψη της πρόθεσης κίνησης του ατόμου. Στόχος είναι η εκμάθηση μιας πολιτικής ελέγχου για τον ρομποτικό βοηθό ώστε να προσαρμόζεται στην κινητική κατάσταση και τις προθέσεις του εκάστοτε χρήστη. Εκτενής πειραματική ανάλυση αποδεικνύει την αποτελεσματικότητα της προτεινόμενης μεθόδου σε σχέση με βασικές μεθόδους ελέγχου, αναδεικνύοντας τη δυνατότητα χρήσης της προτεινόμενης μεθοδολογίας ως ικανής ανθρωποκεντρικής στρατηγικής λήψης αποφάσεων για την κίνηση του ρομποτικού βοηθού με προσαρμογή στον εκάστοτε χρήστη.