Progressively integrating autonomy and intelligence in robotic platforms

Abstract

In this thesis, we focus on the integration of robot autonomy and intelligence for UAV-based environmental mapping and robot task planning, moving step-by-step from fundamental autonomous motion planning strategies to the integration of advanced intelligence, decisionmaking and logical reasoning. The structure of this thesis is divided into three main pillars, each progressively building upon the understanding and reasoning of the previous while gradually incorporating more advanced layers of autonomy and intelligence into robotics. The first pillar, separated in two parts, deals with the problem of determining an optimal path that passes through all the points of a known (part 1) or partially known (part 2) area while avoiding any obstacles defined within the operational environment. This problem, which is usually referred to as Coverage Path Planning (CPP), has been proven to be NPhard, with the computational time required to solve it increasing drastically as it gets more complicated (e.g. involving convex or non-convex shaped regions/ obstacles, multiple robots, etc.). As to the first part, Chapter 3 addresses the CPP for a single UAV, by proposing a novel methodology capable of producing optimal, collision-free paths in approximately polynomial time. This methodology serves as the foundational layer for robot autonomy and ensures that a single robot can perform efficient and safe navigation within a known environment. The second part expands the exploration of autonomy to real-time adaptive decision-making through informative path planning. Unlike the primary offline planning for a single UAV, this part addresses the challenge of dynamically adjusting a robot’s behaviour by processing path conditions in real-time as the agent moves toward its goal. In our effort to introduce the added layer of intelligence, we observed that in the initial layer of autonomy, the “fear of missing out” data can lead to uniform, conservative scanning policies over the whole area. Consequently, employing a non-uniform scanning approach can mitigate the expenditure of time in areas with minimal or negligible real value, while ensuring enhanced precision in information-dense regions. Turning to the available informative path planning methodologies, we discern that certain methods entail intensive computational requirements, while others necessitate training on an ideal world simulator. In Chapter 4, we propose an active sensing coverage and exploration approach, named OverFOMO, standing for Overcome the Fear of Missing Out, that regulates the speed of the UAV based on the value and confidence level of the information detected. This non-uniform scanning approach allows robots to prioritize areas rich in valuable information, minimizing time spent in less relevant regions. Having established two robust methods for single-UAV CPP, in the second pillar, we extend this autonomy to multi-agent systems, focusing on cooperative behaviour, where UAVs work in swarms. In the multi-UAV setup, we aim not only to generate collision-free paths but also to optimize energy consumption and reduce mission duration. From its nature, the utilization of multiple robots can introduce significant benefits in terms of time and energy needed to cover an area. However, to fully maximize the potential benefits of unmanned vehicles, a multi-robot CPP approach must integrate characteristics that promote overall efficiency in terms of time and energy usage. Chapter 5 introduces cooperative decision-making through an optimization scheme that maximizes the efficiency of multi-robot missions incorporating by design the knowledge of the environment and operational constraints, i.e. maximum operational time and remaining battery. The addition of intelligence in this phase emerges from the optimization of various operational parameters, such as path lengths, the number of turns, re-visitations, and launch positions. This progression from single-agent to multi-agent autonomy enables increasingly intelligent robotic systems, as we move toward optimizing group behaviour in complex environments. Finally, the third pillar moves one step further, integrating autonomy and intelligence into a unified system for any robotic platform. In this phase, we shift from task-specific intelligence to a broader, more flexible form of intelligence, referred to as Intelligence Quotient (IQ). IQ in robotic platforms typically refers to the cognitive abilities of a robotic system and its level of sophistication in terms of problem-solving, learning, adaptability, and decision-making. Yet, robot intelligence goes beyond cognitive abilities; it demands a deep understanding of commonsense and the ability to interact with users, translating human natural language into a logical sequence of robotic actions that are both physically feasible and coherent in the real world. In Chapter 6, we introduce RobotIQ, a novel framework that empowers mobile robots with human-level planning capabilities, enabling seamless communication via natural language instructions with any Large Language Model (LLM). Built upon the Robotic Operating System (ROS), RobotIQ offers a modular crafted robot library suite of API-wise control functions focusing on navigation, manipulation, perception, localization, and human-robot interaction. It simplifies the integration of intelligence (IQ) across various robotic platforms, including ground, aerial, and underwater systems, as well as robotic arms. The effectiveness of the developed methodologies across all pillars was validated through simulated and real-world experiments. Starting with fundamental path planning towards a fully autonomous deployment of a single robot for coverage in known environments, this thesis moves towards real-time adaptive decision-making for exploration in partially known environments, extends to the coordination of multi-robots while incorporating energy-aware characteristics and ultimately culminates in a unified, intelligent framework for empowering mobile robots with human-level reasoning. The developed solutions are modular, and can be tailored to a wide range of applications.

Η παρούσα διατριβή επικεντρώνεται στην ενσωμάτωση αυτονομίας και ευφυΐας στα ρομποτικά συστήματα στο πλαίσιο της περιβαλλοντικής χαρτογράφησης, με τη χρήση ΣμηΕΑ (Συστήματα μη Επανδρωμένων Αεροσκαφών), και στον προγραμματισμό των ρομποτικών εργασιών. Η έρευνα εξελίσσεται σταδιακά, ξεκινώντας από τις βασικές στρατηγικές αυτόνομου σχεδιασμού κίνησης και φτάνοντας στην ενσωμάτωση προηγμένης ευφυΐας, λήψης αποφάσεων και λογικής σκέψης. Η δομή της διατριβής χωρίζεται σε τρεις κύριους πυλώνες, οι οποίοι αναπτύσσονται σταδιακά και βασίζονται στην κατανόηση των προηγούμενων, ενσωματώνοντας όλο και πιο προηγμένα επίπεδα αυτονομίας και ευφυΐας στη ρομποτική. Ο πρώτος πυλώνας, ο οποίος διαχωρίζεται σε δύο μέρη, ασχολείται με το πρόβλημα του καθορισμού της βέλτιστης διαδρομής που περνά από όλα τα σημεία μιας γνωστής (μέρος 1) ή μερικώς γνωστής (μέρος 2) περιοχής, αποφεύγοντας παράλληλα τυχόν εμπόδια που ορίζονται στο επιχειρησιακό περιβάλλον. Αυτό το πρόβλημα, το οποίο συνήθως αναφέρεται ως Σχεδιασμός Διαδρομής Κάλυψης, έχει αποδειχθεί ότι είναι ένα πρόβλημα ΝΡ, με τον υπολογιστικό χρόνο που απαιτείται για την επίλυσή του να αυξάνεται δραματικά καθώς δυσκολεύει το πρόβλημα (π.χ. όταν περιλαμβάνει περιοχές/εμπόδια με κυρτό ή μη κυρτό σχήμα, πολλαπλά ρομπότ κ.λπ.). Όσον αφορά το πρώτο μέρος, το Κεφάλαιο \ref{ch:jint} ασχολείται με το πρόβλημα σχεδιασμού δριαδρομών κάλυψης για ένα μόνο ΣμηΕΑ, προτείνοντας μια νέα μεθοδολογία ικανή να παράγει βέλτιστες και χωρίς συγκρούσεις διαδρομές σε πολυωνυμικό χρόνο. Αυτή η μεθοδολογία αποτελεί το θεμέλιο της ρομποτικής αυτονομίας καθώς διασφαλίζει ότι ένα ρομπότ μπορεί να πλοηγείται αποδοτικά και με ασφάλεια σε ένα γνωστό περιβάλλον. Στο δεύτερο μέρος, η αυτονομία επεκτείνεται με την προσθήκη προσαρμοστικής λήψης αποφάσεων σε πραγματικό χρόνο. Αντί για τον βασικό σχεδιασμό ενός ΣμηΕΑ, εξετάζεται η δυναμική προσαρμογή της συμπεριφοράς του ρομπότ κατά τη διάρκεια της κίνησης του για την κάλυψη μια περιοχής. Στην προσπάθειά μας να εισαγάγουμε επιπλέον επίπεδα ευφυΐας, παρατηρήσαμε ότι στο αρχικό επίπεδο της αυτονομίας, ο «φόβος της απώλειας δεδομένων» μπορεί να οδηγήσει σε ομοιόμορφες και συντηρητικές πολιτικές σάρωσης για όλη την εξεταζόμενη περιοχή. Ως εκ τούτου, η εφαρμογή μιας μη ομοιόμορφης προσέγγισης σάρωσης μπορεί να μειώσει την κατανάλωση χρόνου σε περιοχές με ελάχιστη ή αμελητέα πραγματική αξία, ενώ διασφαλίζει αυξημένη ακρίβεια σε περιοχές πλούσιες σε πληροφορίες. Αναφερόμενοι στις διαθέσιμες μεθόδους ενημερωτικού σχεδιασμού διαδρομών, παρατηρούμε ότι ορισμένες μέθοδοι απαιτούν εξαντλητικούς υπολογιστικούς πόρους, ενώ άλλες χρειάζονται εκπαίδευση σε έναν προσομοιωτή με ιδανικές συνθήκες. Στο Κεφάλαιο \ref{ch:overfomo}, προτείνουμε μια προσέγγιση ενεργητικής ανίχνευσης κάλυψης και εξερεύνησης, η οποία ρυθμίζει την ταχύτητα του ΣμηΕΑ με βάση την αξία και το επίπεδο εμπιστοσύνης των ανιχνευμένων πληροφοριών. Αυτή η μη ομοιόμορφη προσέγγιση σάρωσης επιτρέπει στα ρομπότ να δίνουν προτεραιότητα σε περιοχές πλούσιες σε πολύτιμες πληροφορίες, ελαχιστοποιώντας τον χρόνο που δαπανάται σε λιγότερο σημαντικές περιοχές. Έχοντας καθιερώσει δύο ισχυρές μεθόδους για τον σχεδιασμό διαδρομών κάλυψης για ένα ΣμηΕΑ, στον δεύτερο πυλώνα επεκτείνουμε αυτή την αυτονομία σε συστήματα πολλαπλών ρομπότ, επικεντρώνοντας την προσοχή μας στη συνεργατική συμπεριφορά, όπου τα ΣμηΕΑ λειτουργούν σε σμήνη. Στα πλαίσια της χρήσης πολλαπλών ΣμηΕΑ, στόχος μας είναι όχι μόνο να δημιουργήσουμε ασφαλείς και χωρίς συγκρούσεις διαδρομές, αλλά και να βελτιστοποιήσουμε την κατανάλωση ενέργειας και να μειώσουμε τη διάρκεια της αποστολής. Από τη φύση του προβλήματος, η αξιοποίηση πολλαπλών ρομπότ μπορεί να προσφέρει σημαντικά οφέλη όσον αφορά το χρόνο και την ενέργεια που απαιτούνται για να καλυφθεί μια περιοχή. Ωστόσο, για να αξιοποιηθεί πλήρως το δυναμικό των μη επανδρωμένων οχημάτων, μια προσέγγιση σχεδιασμού διαδρομών κάλυψης για πολλαπλά ρομπότ πρέπει να ενσωματώνει χαρακτηριστικά που προάγουν τη συνολική αποδοτικότητα ως προς των χρόνο πτήσης και κατανάλωσης ενέργειας. Στο Κεφάλαιο \ref{ch:mCPP}, εισάγουμε τη συνεργατική λήψη αποφάσεων μέσω μιας μεθόδου βελτιστοποίησης που μεγιστοποιεί την αποδοτικότητα των αποστολών πολλαπλών ρομπότ, ενσωματώνοντας εκ των προτέρων τη γνώση του περιβάλλοντος και τους επιχειρησιακούς περιορισμούς, δηλαδή τον μέγιστο επιχειρησιακό χρόνο και την υπολειπόμενη μπαταρία των διαθέσιμων ρομπότ. Η προσθήκη ευφυΐας σε αυτή τη φάση προκύπτει από τη βελτιστοποίηση διαφόρων επιχειρησιακών παραμέτρων, όπως τα μήκη των διαδρομών, ο αριθμός των στροφών, οι επαναληπτικές επισκέψεις σε περιοχές που έχουν ήδη καλυφθεί και οι θέσεις εκκίνησης των ρομπότ εντός της επιχειρησιακής περιοχής. Αυτή η πρόοδος από την αυτονομία ενός μόνο ρομπότ στην αυτονομία πολλαπλών, επιτρέπει τη δημιουργία όλο και πιο ευφυών ρομποτικών συστημάτων, καθώς προχωράμε στη βελτιστοποίηση της ομαδικής συμπεριφοράς σε περίπλοκα και σύνθετα περιβάλλοντα. Τέλος, ο τρίτος πυλώνας προχωρά ένα βήμα παραπέρα, ενσωματώνοντας την αυτονομία και την ευφυΐα σε ένα ενιαίο σύστημα για οποιαδήποτε ρομποτική πλατφόρμα. Σε αυτή τη φάση, μεταβαίνουμε από την ευφυΐα η οποία προοριζόταν για συγκεκριμένα καθήκοντα σε μια ευρύτερη, πιο ευέλικτη μορφή ευφυΐας, η οποία συνήθως αναφέρεται ως Δείκτης Ευφυΐας. Ο Δείκτης Ευφυΐας σε ρομποτικές πλατφόρμες αναφέρεται συνήθως στις γνωστικές ικανότητες ενός ρομποτικού συστήματος και στο επίπεδο της πολυπλοκότητάς του όσον αφορά την επίλυση προβλημάτων, τη μάθηση, την προσαρμοστικότητα και τη λήψη αποφάσεων. Ωστόσο, η ευφυΐα των ρομπότ ξεπερνά τις γνωστικές ικανότητες· απαιτεί μια λογική συνείδηση και την ικανότητα αλληλεπίδρασης με τους χρήστες, μεταφράζοντας τη φυσική γλώσσα των ανθρώπων σε μια λογική ακολουθία ρομποτικών ενεργειών που είναι τόσο φυσικά εφικτές όσο και συνεκτικές στον πραγματικό κόσμο. Στο Κεφάλαιο \ref{ch:robotiq}, παρουσιάζουμε ένα καινοτόμο σύστημα που ενδυναμώνει τα κινητά ρομπότ με δυνατότητες προγραμματισμού σε ανθρώπινο επίπεδο, επιτρέποντας τη απρόσκοπη επικοινωνία μέσω εντολών φυσικής γλώσσας με οποιοδήποτε Μεγάλο Γλωσσικό Μοντέλο. Βασισμένο σε ένα ρομποτικό λογισμικό, το προτεινόμενο σύστημα προσφέρει μια ευέλεκτη βιβλιοθήκη ελέγχου για ρομπότ με λειτουργίες ελέγχου που επικεντρώνονται στην πλοήγηση, τον χειρισμό, την αντίληψη, τον εντοπισμό θέσης και την αλληλεπίδραση ανθρώπου-ρομπότ, διευκολύνοντας την ενσωμάτωση ευφυΐας σε διάφορες ρομποτικές πλατφόρμες. Η αποτελεσματικότητα των αναπτυγμένων μεθοδολογιών σε όλους τους πυλώνες επικυρώθηκε μέσω προσομοιωμένων και πειραματικών δοκιμών στον πραγματικό κόσμο. Ξεκινώντας από τον θεμελιώδη σχεδιασμό διαδρομών και φτάνοντας στην πλήρως αυτόνομη ανάπτυξη για κάλυψη σε γνωστά περιβάλλοντα, αυτή η διατριβή προχωρά προς την προσαρμοστική λήψη αποφάσεων σε πραγματικό χρόνο για την εξερεύνηση σε μερικώς γνωστά περιβάλλοντα, επεκτείνεται στον συνεργατικό συντονισμό πολλών ρομπότ ενώ ενσωματώνει χαρακτηριστικά ενεργειακής απόδοσης και ολοκληρώνεται με ένα ενιαίο, έξυπνο πλαίσιο για την ενδυνάμωση των κινητών ρομπότ με ενσωματώντας την ανθρώπινη λογική. Οι αναπτυγμένες λύσεις είναι ευέλικτες και μπορούν να προσαρμοστούν σε ένα ευρύ φάσμα εφαρμογών.