Optimizing and automating mission execution in drone-based systems

Abstract

During the last years, unmanned aerial vehicles (drones), polycopters in particular, are used in an increasing number of civilian applications. This trend is expected to continue thanks to rapidly decreasing acquisition costs, simple deployment, high maneuverability and significant customization potential. Namely, drones can be equipped with various sensors and actuators, they can feature Wi-Fi, 4/5G and custom RF modules for the wireless communication with base-stations and servers that are nearby or in the cloud, and they can carry different embedded platforms to perform computations and data processing onboard, according to the requirements of the application at hand. This thesis focuses on autonomous drones that visit a set of pre-specified locations of interest to perform a sensing task, and, if needed, an additional action (further sensing or some actuation) on the spot. To decide whether such an action is needed, the drones must process the sensed data to detect objects or situations that are relevant for the application at hand. The respective computations can be done locally using an onboard computer, or they can be offloaded to a more powerful server. We study how to minimize the completion time (makespan) of such missions by (i) reducing the flight time of the drones, (ii) reducing the hovering time over the points of interest due to waiting for the computation to complete, and (iii) offloading computations to nearby edge servers to accelerate data processing. These problems become more challenging when considering the limited autonomy of drones and the need to recharge or switch batteries during the mission. Additionally, the shared servers used by drones to offload computations may have limited computational resources thus requiring suitable scheduling for computation offloading in conjunction with path planning. Furthermore, there may be uncertainty regarding the drones’ flight and processing times, introducing changes in the mission plan and server usage. We capture these problems in a formal way, propose solutions and evaluate them through a wide range of simulation experiments, configured using realistic parameters obtained from corresponding software-in-the-loop setups as well as real drone behavior in field tests. Last but not least, we propose a modular software architecture for an autonomous remote sensing system based on drones, which fully automates the entire cycle of operation, including handling of user requests, mission planning, take-off, navigation, sensing, landing, charging and processing the data collected by the drones. Notably, the software can split the mission into parts that can be executed in parallel by multiple drones, with adaptive planning in case a drone experiences an issue and must land earlier than anticipated. The complete software has been tested using software-in-the-loop simulations but also in the field using a real drone which takes-off and lands from/on an automatically controlled hangar.

Τα τελευταία χρόνια, τα μη επανδρωμένα εναέρια οχήματα (drones), και ιδιαίτερα τα πολυκόπτερα, χρησιμοποιούνται σε όλο και περισσότερες μη στρατιωτικές εφαρμογές. Αυτή η τάση αναμένεται να συνεχιστεί χάρη στη συνεχή πτώση του κόστους κτήσης τους, την ευκολία χρήσης τους, την ικανότητά τους για ελιγμούς και τις σημαντικές δυνατότητες προσαρμογής τους. Συγκεκριμένα, τα drones μπορούν να εξοπλιστούν με διάφορους αισθητήρες και ενεργοποιητές, μπορούν να διαθέτουν Wi-Fi, 4/5G και ειδικές συσκευές RF για την ασύρματη επικοινωνία με σταθμούς βάσης και διακομιστές που βρίσκονται σε κοντινή απόσταση ή στο νέφος (cloud), και μπορούν να διαθέτουν διάφορες ενσωματωμένες πλατφόρμες για την εκτέλεση υπολογισμών και την επεξεργασία δεδομένων, σύμφωνα με τις απαιτήσεις της εκάστοτε εφαρμογής. Αυτή η διατριβή εστιάζει σε αυτόνομα drones που επισκέπτονται ένα σύνολο προκαθορισμένων τοποθεσιών ενδιαφέροντος για να εκτελέσουν μια εργασία ανίχνευσης και, εάν χρειάζεται, μια πρόσθετη ενέργεια (περαιτέρω ανίχνευση ή κάποια ενεργοποίηση) επιτόπου. Για να αποφασίσουν εάν χρειάζεται μια τέτοια ενέργεια, τα drones πρέπει να επεξεργάζονται τα δεδομένα που συνέλεξαν από τους αισθητήρες για να διακρίνουν αντικείμενα ή καταστάσεις που σχετίζονται με την εφαρμογή. Οι αντίστοιχοι υπολογισμοί μπορούν να γίνουν τοπικά χρησιμοποιώντας έναν ενσωματωμένο υπολογιστή ή μπορούν να εκφορτωθούν σε έναν πιο ισχυρό διακομιστή. Μελετάμε πώς μπορούμε να ελαχιστοποιήσουμε τον χρόνο ολοκλήρωσης τέτοιων αποστολών (i) μειώνοντας τον χρόνο πτήσης των drones, (ii) μειώνοντας τον χρόνο αιώρησής τους πάνω από τα σημεία ενδιαφέροντος λόγω αναμονής για την ολοκλήρωση των υπολογισμών, και (iii) εκφορτώνοντας υπολογισμούς σε κοντινούς διακομιστές που βρίσκονται στα άκρα του δικτύου (edge) για την επιτάχυνση της επεξεργασίας δεδομένων. Αυτά τα προβλήματα γίνονται πιο δύσκολα όταν λαμβάνεται υπόψην η περιορισμένη αυτονομία των drones και η ανάγκη επαναφόρτισης ή αλλαγής μπαταριών κατά την διάρκεια της αποστολής. Επιπλέον, οι κοινόχρηστοι διακομιστές που χρησιμοποιούνται από τα drones για την εκφόρτωση υπολογισμών μπορεί να έχουν περιορισμένους υπολογιστικούς πόρους, οπότε απαιτείται κατάλληλος προγραμματισμός για την εκφόρτωση υπολογισμών σε συνδυασμό με τον σχεδιασμό διαδρομών. Ακόμα, ενδέχεται να υπάρχει αβεβαιότητα σχετικά με τους χρόνους πτήσης των drones και της επεξεργασίας δεδομένων, εισάγοντας αλλαγές στο πλάνο της αποστολής και στη χρήση των διακομιστών. Ορίζουμε αυτά τα προβλήματα με επίσημο τρόπο, προτείνουμε λύσεις και τις αξιολογούμε μέσα από ένα ευρύ φάσμα πειραμάτων προσομοίωσης, που έχουν διαμορφωθεί χρησιμοποιώντας ρεαλιστικές παραμέτρους οι οποίες λαμβάνονται από αντίστοιχες προσομοιώσεις όπου χρησιμοποιείται το πραγματικό λογισμικό συστήματος (software-in-the-loop) καθώς και από την πραγματική συμπεριφορά ενός drone σε δοκιμές στο πεδίο. Τέλος, προτείνουμε μια αρθρωτή αρχιτεκτονική λογισμικού για ένα αυτόνομο σύστημα απομακρυσμένης ανίχνευσης (τηλεπισκόπησης) που χρησιμοποιεί drones, το οποίο αυτοματοποιεί πλήρως ολόκληρο τον κύκλο λειτουργίας, συμπεριλαμβανομένου του χειρισμού των αιτημάτων του χρήστη, του σχεδιασμού της αποστολής, της απογείωσης, της πλοήγησης, της ανίχνευσης, της προσγείωσης, της φόρτισης και τέλος της επεξεργασίας δεδομένων που συλλέγονται από τα drones. Αξίζει να σημειωθεί ότι το λογισμικό μπορεί να χωρίσει την αποστολή σε μέρη που μπορούν να εκτελεστούν παράλληλα από πολλά drones, με δυνατότητα αναπροσαρμογής του πλάνου σε περίπτωση που κάποιο drone αντιμετωπίσει πρόβλημα και πρέπει να προσγειωθεί νωρίτερα από το αναμενόμενο. Το πλήρες λογισμικό έχει δοκιμαστεί χρησιμοποιώντας προσομοιώσεις software-in-the-loop αλλά και στο πεδίο χρησιμοποιώντας ένα πραγματικό drone που απογειώνεται και προσγειώνεται από/σε ένα αυτόματα ελεγχόμενο υπόστεγο (βάση φύλαξης/φόρτισης).