Cooperative graph signal processing and learning for situational awareness of autonomous vehicles

Abstract

The aim of this dissertation was to study and develop innovative and efficient cooperative multi-modal data fusion solutions for cooperative localization and tracking of connected and automated vehicles, implemented in a distributed manner by an ego vehicle along with either its connected neighborhood or non-cooperative static landmarks. Critical point of the methodology was the treatment of the network of connected and automated vehicles as an undirected graph, where its nodes represent vehicles while its edges the connectivity links. Based on this approach, the Graph Laplacian Processing concept, a graph signal processing tool, has been devised, together with traditional estimation and learning algorithms like least-squares minimization, Kalman filter, Extended Kalman Filter, information diffusion on graphs, etc., in order to realize the goal for effective cooperative multi-modal fusion, and in general, cooperative localization and tracking. Key aspect of Graph Laplacian Processing is that it transforms the non-linear relative vehicular measurements into linear ones via differential coordinates, thus leading to a general linear system. Furthermore, data driven deep learning solutions have been exploited for specific parts of traditional optimization algorithms, in order to efficiently track the underlying system uncertainty, and as a matter of fact improving the cooperative multi-modal fusion operation. The focus was on designing fully distributed solutions, where each vehicle interacts only with its direct neighborhood, due to scalability, adaptability, synchronization, etc., thus avoiding a costly centralized fusion center which monitors the entire vehicular network. Following that, vehicles will be capable of estimating not only local but also global location parameters, related to their own 1-hop neighborhood, as well as to all other vehicles belonging to the same network or cluster. As such, sensing ability can now be extended beyond the range of an individual vehicle, thus enabling vehicles to be fully aware about the state of vehicles even kilometers away. Experimental setup included traffic data from many vehicles extracted by renowned autonomous driving simulators, as well as network data in order to realistically model the vehicular communication conditions. In addition to that, available public datasets including parameters from real vehicles moving in a city, as well as data collected by a real operating vehicle, have also been used in the experiments. Evaluation study considered the impact of various critical scenarios, e.g., size of neighborhood, noise of multi-modal measurements, network delay, convergence ability, execution time, etc., in order to demonstrate the benefits of this dissertation's proposed approaches.

Ο στόχος της διατριβής αυτής ήταν να μελετήσει και να αναπτύξει καινοτόμες και αποδοτικές συνεργατικές προσεγγίσεις σύντηξης πολυτροπικών δεδομένων, για τον συνεργατικό εντοπισμό θέσης και ιχνηλάτησης διασυνδεδεμένων και αυτόνομων οχημάτων, οι οποίες υλοποιούνται κατανεμημένα από ένα κεντρικό όχημα είτε σε συνδυασμό με την συνδεδεμένη γειτονιά του είτε με μη συνεργατικά στατικά σημεία αναφοράς. Κρίσιμο σημείο της μεθοδολογίας ήταν η αντιμετώπιση του δικτύου των διασυνδεδεμένων και αυτόνομων οχημάτων ως ένα μη κατευθυνόμενο γράφημα, όπου οι κόμβοι του αντιπροσωπεύουν τα οχήματα ενώ οι ακμές του τις διαδικτυακές συνδέσεις. Με βάση την προσέγγιση αυτή, αναπτύχθηκε η έννοια της Επεξεργασίας Λαπλασιανών Γράφων, ένα εργαλείο επεξεργασίας σήματoς σε γράφους, σε συνδυασμό με παραδοσιακούς αλγορίθμους εκτίμησης και μάθησης όπως τα ελάχιστα τετράγωνα, το φίλτρο Kalman, το Εκτεταμένο Φίλτρο Kalman, η διάχυση πληροφορίας σε γράφους κ.λ.π., προκειμένου να επιτευχθεί ο στόχος της αποτελεσματικής συνεργατικής σύντηξης πολυτροπικών δεδομένων και, γενικότερα, του συνεργατικού εντοπισμού θέσης και ιχνηλάτισης. Κύριο στοιχείο της Επεξεργασίας Λαπλασιανών Γράφων είναι ότι μετατρέπει τις μη γραμμικές σχετικές μετρήσεις των οχημάτων σε γραμμικές μέσω των διαφορικών συντεταγμένων, διαμορφώνοντας έτσι ένα γενικό γραμμικό σύστημα. Επιπλέον, αξιοποιήθηκαν λύσεις βαθιάς μάθησης που στοχεύουν να υποβοηθήσουν κλασσικούς αλγορίθμους βελτιστοποίησης, έτσι ώστε να εκτιμάται αποτελεσματικά η αβεβαιότητα του συστήματος και, ως εκ τούτου, να βελτιώσουν την λειτουργία της συνεργατικής πολυτροπικής σύντηξης. Δόθηκε έμφαση στον σχεδιασμό πλήρως κατανεμημένων λύσεων, όπου κάθε όχημα αλληλεπιδρά μόνο με την άμεση γειτονιά του, λόγω ζητημάτων προσαρμοστικότητας, συγχρονισμού κ.λ.π., αποφεύγοντας έτσι ένα δαπανηρό κεντρικό σημείο ελέγχου που παρακολουθεί ολόκληρο το δίκτυο οχημάτων. Με τον τρόπο αυτά, τα οχήματα θα είναι ικανά να εκτιμούν όχι μόνο τοπικές αλλά και ολικές παραμέτρους θέσης, που σχετίζονται τόσο με την άμεση γειτονιά τους, όσο και με όλα τα υπόλοιπα οχήματα που ανήκουν στο ίδιο δίκτυο. Ως εκ τούτου, η ικανότητα ανίχνευσης μπορεί τώρα να επεκταθεί πέρα από την εμβέλεια ενός μεμονωμένου οχήματος, επιτρέποντας έτσι στα οχήματα να έχουν πλήρη επίγνωση της κατάστασης των οχημάτων ακόμη και χιλιόμετρα μακριά. Το πειραματικό πλαίσιο περιελάμβανε δεδομένα κυκλοφορίας από πολλά οχήματα που παρήχθησαν από γνωστούς προσομοιωτές αυτόνομης οδήγησης, καθώς και δεδομένα δικτύου που προσομοιώνουν ρεαλιστικά τις συνθήκες επικοινωνίας των οχημάτων. Επιπλέον, διαθέσιμα σύνολα δεδομένων που περιλαμβάνουν παραμέτρους από πραγματικά οχήματα που κινούνται σε μια πόλη, καθώς και δεδομένα που συλλέχθηκαν από ένα πραγματικά λειτουργικό όχημα, χρησιμοποιήθηκαν επίσης στα πειράματα. Η μελέτη αξιολόγησης εξέτασε τον αντίκτυπο διάφορων κρίσιμων σεναρίων, π.χ. το μέγεθος της γειτονιάς, τον θόρυβο των πολυτροπικών μετρήσεων, την καθυστέρηση δικτύου, την ικανότητα σύγκλισης, τον χρόνο εκτέλεσης κ.λ.π., προκειμένου να αναδειχθούν και παρουσιαστούν τα οφέλη των προτεινόμενων προσεγγίσεων της διατριβής αυτής.