Data-driven neuromorphic decision-making for cognitive robotic navigation

Abstract

The objective of this thesis is to develop algorithms and methodologies that enable robotic decision-making processes to closely emulate human behavior. Specifically, it addresses the challenges of robotic navigation and decision-making by utilizing neuromorphic architectures, such as neural networks, trained on heterogeneous datasets. This approach lays the groundwork for creating cognitive machines that can interact intelligently with real-world environments, moving toward the realization of General Artificial Intelligence (GAI). The thesis is organized into two main pillars. Pillar A establishes the theoretical foundations necessary for achieving Generalized Robotic Intelligence (GRI). It introduces the mathematical and algorithmic structures upon which this research is built. Chapter 3 presents an algorithm leveraging advances in machine vision to estimate object positions, enhancing the situational awareness of a swarm of Unmanned Aerial Vehicles(UAVs). By implementing a real-time learning strategy based on the well-established Cognitive Adaptive Optimization (CAO) family, this algorithm significantly improves UAV coordination. However, limitations were identified, particularly in CAO’s need for reinitialization in new environments. To address this, reinforcement learning (RL) was integrated, leading to the development of Mars-Explorer, an environment detailed in Chapter 4. Mars-Explorer serves as a benchmark within the open ai-gym suite, reformulating exploration and coverage tasks in an RL-compatible framework. This framework demonstrates how RL-based neural networks function analogously to computer RAM, storing and adapting knowledge. Testing RL algorithms in Mars-Explorer revealed critical challenges, prompting the creation of ACRE in Chapter 5. ACRE addresses issues in integrating additional reward signals, enabling more consistent access to environmental rewards through a replay buffer. Pillar B focuses on the practical application of the theoretical frameworks in real-world scenarios. Robotics inherently demands real-life implementation, necessitating a custom robotic platform to fully realize the thesis’s objectives. Chapter 6 details the design and construction of a custom Unmanned Ground Vehicle (UGV), tailored for flexibility and equipped to support state-of-the-art56algorithms. The companion computer onboard the UGV provides unparalleled flexibility, allowing the execution of complex software configurations beyond those available in off-the-shelf solutions. Chapter 7 culminates the thesis with CRN: Cognitive Robotic Navigation, a neuromorphic framework that enables autonomous robots to navigate complex environments using only visual input. Leveraging advanced visual transformers and generative AI, CRN interprets RGB images to produce a robust decision-making framework capable of generating and assessing navigational paths. Inspired by the cognitive mechanisms observed in humans and animals, CRN adopts naturalistic navigation strategies, utilizing perceptual cues to interpret and interact with the surrounding environment effectively.

Ο στόχος της παρούσας διατριβής είναι η ανάπτυξη αλγορίθμων και μεθοδολογιών που επιτρέπουν στις διαδικασίες ρομποτικής λήψης αποφάσεων να μιμούνται σε μεγάλο βαθμό την ανθρώπινη συμπεριφορά. Συγκεκριμένα, αντιμετωπίζει τις προκλήσεις της ρομποτικής πλοήγησης και λήψης αποφάσεων χρησιμοποιώντας νευρομορφικές αρχιτεκτονικές, όπως τα νευρωνικά δίκτυα, που έχουν εκπαιδευτεί σε ετερογενή σύνολα δεδομένων. Αυτή η προσέγγιση θέτει τις βάσεις για τη δημιουργία γνωστικών μηχανών ικανών που να αλληλεπιδρούν ευφυώς με το πραγματικό περιβάλλον, προχωρώντας προς την υλοποίηση της Γενικής Τεχνητής Νοημοσύνης (GAI) . Η διατριβή είναι οργανωμένη σε δύο κύριους πυλώνες. Πυλώνας Α καθιερώνει τα θεωρητικά θεμέλια που είναι απαραίτητα για την επίτευξη της Γενικευμένης Ρομποτικής Νοημοσύνης (GRI) . Παρουσιάζει τις μαθηματικές και αλγοριθμικές δομές στις οποίες βασίζεται αυτή η έρευνα. Το Κεφάλαιο 3 παρουσιάζει έναν αλγόριθμο που αξιοποιεί τις καινοτομίες στηνοπτική μηχανή για την εκτίμηση των θέσεων αντικειμένων, ενισχύοντας την αντίληψη κατάστασης ενός σμήνους μη επανδρωμένων αεροσκαφών (UAVs) . Με την υλοποίηση μιας στρατηγικής μάθησης σε πραγματικό χρόνο που βασίζεται στην καλά εδραιωμένη οικογένεια CAO (Cognitive Adaptive Optimization), αυτός ο αλγόριθμος βελτιώνει σημαντικά τον συντονισμό των (UAVs) . Ωστόσο, εντοπίστηκαν περιορισμοί, ιδιαίτερα στην ανάγκη του CAO για επανεκκίνηση σε νέα περιβάλλοντα, πιο συγκεκριμένα, γνώση που είχε εξαχθεί απο ένα πείραμα δεν μπορούσε να αξιοποιηθεί σε επόμενα. Για την αντιμετώπιση αυτού, ενσωματώθηκε η ενισχυτική μάθηση (RL) , οδηγώντας στην ανάπτυξη ενός περιβάλλοντος που περιγράφεται στο Κεφάλαιο 4, τον Mars-Explorer . Αυτό χρησιμεύει ως σημείο αναφοράς στην, αναδιαμορφώνοντας τις εργασίες εξερεύνησης και κάλυψης σε ένα πλαίσιο συμβατό με την (RL) . Αυτό το πλαίσιο δείχνει πώς τα νευρωνικά δίκτυα που βασίζονται στην RL λειτουργούν ανάλογα με τη μνήμη RAM των υπολογιστών, αποθηκεύοντας και προσαρμόζοντας τη γνώση. Η δοκιμή αλγορίθμων RL αποκάλυψε κρίσιμες προκλήσεις, προκαλώντας τη δημιουργία του αλγορίμου ACRE που περιγράφεται στο Κεφάλαιο 5. Αυτός αντιμετωπίζει προβλήματα ενσωμάτωσης πρόσθετων σημάτων επιβράβευσης, επιτρέποντας πιο συνεπή πρόσβαση στις περιβαλλοντικές επιβραβεύσεις μέσω ενός αποθηκευτικού 78 Περίληψη τρόπου αναπαραγωγής. Πυλώνας Β επικεντρώνεται στην πρακτική εφαρμογή των θεωρητικών πλαισίων σε πραγματικές καταστάσεις. Η ρομποτική απαιτεί αναπόφευκτα εφαρμογή στην πραγματική ζωή, καθιστώντας απαραίτητη την ανάπτυξη μιας προσαρμοσμένης ρομποτικής πλατφόρμας για την πλήρη υλοποίηση των στόχων της διατριβής. Το Κεφάλαιο 6 αναλύει το σχεδιασμό και την κατασκευή ενός προσαρμοσμένου μη επανδρωμένου οχήματος εδάφους, προσαρμοσμένου για ευελιξία και εξοπλισμένου για την υποστήριξη των πιο σύγχρονων αλγορίθμων. Ο υπολογιστής που είναι εγκατεστημένος στο ρομποτικό όχημα παρέχει απαράμιλλη ευελιξία, επιτρέποντας την εκτέλεση σύνθετων διαμορφώσεων λογισμικού πέραντων διαθέσιμων έτοιμων λύσεων. Το Κεφάλαιο 7 ολοκληρώνει τη διατριβή με το CRN: Cognitive Robotic Navigation , ένα νευρομορφικό πλαίσιο που επιτρέπειστα αυτόνομα ρομπότ να πλοηγούνται σε σύνθετα περιβάλλοντα χρησιμοποιώντας μόνο οπτική είσοδο. Αξιοποιώντας προηγμένα οπτικά νευρωνικά δίκτυα και generative AI , το CRN ερμηνεύει εικόνες για να παράγει ένα ισχυρό σύστημα λήψης αποφάσεων ικανό να δημιουργεί και να αξιολογεί διαδρομές πλοήγησης. Εμπνευσμένο από τους γνωστικούς μηχανισμούς που παρατηρούνται στους ανθρώπους και τα ζώα, το CRN υιοθετεί φυσικές στρατηγικές πλοήγησης, αξιοποιώντας αντιληπτικές ενδείξεις