Νέες τεχνικές χάραξης πορείας ρομπότ και ρομποτικής όρασης

Abstract

The research field of robotics is one of the most wide-spread and vibrant scientific area. Different types of robots are used to fulfill numerous tasks while they are equipped with a variety of sensors. The appropriate usage of the available resources and sensors of a robotic system constitutes a crucial factor for retrieving valuable information related to the status of the surrounding environment. The sensors are the means through which the robot can perceive and interact with its environment. The applications of the robotic systems as a whole consider the exploitation of the sensors’ readings as a major prerequisite to accomplish specific tasks.The techniques of creating collision free trajectories as well as robot vision techniques are the most well-known examples of methods and applications that require the use of sensors. The main objective of this PhD thesis is the study and the development of new techniques for the creation of robot trajectories as well as robot vision approaches related to the navigation of mobile robots. The first described technique for trajectory creation is based on the application of Cellular Automata (CA) in order for a team of cooperative robots to follow a predefined trajectory. The main goal of the system is to provide a locomotion framework to a robotic team so that the desired distance could be covered while possible detected obstacles are avoided. In addition, the method for creating trajectories must exploit and utilize the minimum potential resources in order to fulfill further goals such as formation control of the team via processes of cooperation. Initially, the configuration space is divided into a number of identical square cells which are characterized by a single state at each time step. The state of each cell is evolved at each time step according to its current state and the corresponding states of its adjacent cells by applying the appropriate transition rules. The desired distance, the collision avoidance and the formation control processes are completed with the application of suitable CA transition rules. Due to the CA simplicity, the proposed technique displays low technical requirements for its implementation in real systems. Dynamically moving objects can be detected and avoided successfully, though with some restrictions due to the discretization of space. Compared to other similar techniques reported in the literature which have high requirements concerning the characteristics of the robots in use, the proposed method could be implemented using a robot team consisting of robots with limited technical specifications.The basic problem that must be confronted in multitudinous robot teams relies on the fact that local cooperation among numerous adjacent robots is required in order to preserve their initial formation. Despite its importance, this cooperation process proves to be time consuming since the formation recovery is achieved at local level. The second technique for trajectory creation was proposed in order to minimize the required time for cooperation and simplify the formation maintenance process. The proposed technique is based on the synergy of two fundamental artificial intelligence (AI) methods, the CA and the Artificial Ant Colonies (AAC) algorithms. The basic tool that was exploited from the AAC algorithms was the substance “pheromone” in order to minimize the required processes of communication between the adjacent robots to the absolutely necessary ones. Initially, the entire robot team is divided into equally numbered subgroups which must form and preserve the same pattern. The configuration area is analyzed in a lattice of identical cells which are denoted with specific states at each time step. The states characterize cells which correspond to: free space, a robot of the team, an object of the space and a certain amount of pheromone. The state of each cell is evolved according to the application of the transition CA rules which simulate all the required functions of the system. The formation control operation is achieved either through the direct communication of the adjacent robots or the detection of a “pheromone” quantity. During its route to its final position, each robot imprints its course on the ground with the use of a substance which is characterized by the main feature of the pheromone, the evaporation. The “pheromone” quantity is discretized similarly to the free configuration space so that it can be denoted as CA state and detected by the robots of the forthcoming subgroups via the appropriate sensors. Consequently, the cooperation processes are not executed consecutively since possible formation modifications are denoted on the ground by precedent subgroups. The proposed technique was implemented with the use of a real world and systems simulator, Webots, mainly due to its embedded components which can simulate the “pheromone” functions. The used robots were equipped with additional obstacle detection sensors so that the negative effects of the area discretization could be minimized. Additionally, due to the CA inherited parallelism, all the CA cells evolve their state simultaneously and thus, the technique displays low execution times compared to other related approaches. Finally, the required resources are minimized due to the simplicity of both the AI techniques compared to other trajectory creation methods which require complex and higher cost robots.The creation of collision free trajectories constitutes a significant research area of robotics since the navigation ability is provided to a robot. The robot navigation and the retrieval of optical data of a captured scene are two directly related fields. Area mapping and surveillance with the use of mobile robots are two fundamental examples of such applications. The techniques which retrieve and process data acquired from digital cameras belong in the broader research field of robot vision. For this reason, a novel robot vision technique was developed with which an appropriate record of the configuration area is formed and can be subsumed in the general field of the digital image stabilization methods. The image stabilization process compensates the unwanted motion of a camera which occurs during the image sequence acquisition. The proposed technique is based on the application of the Hilbert-Huang transformation (HHT), a signal analysis method. The total observed motion of image sequences which were acquired by a mobile camera is mainly caused by two different motions: the desired camera motion and the undesired jitter motion which is produced by the trembled motion of the camera. Local motion vectors are initially estimated from specific image areas of the background while the resulted signal is decomposed into a finite number of subsignals with the application of the Empirical Mode Decomposition (EMD) process. Subsequently, the energy content of each subsignal is extracted with the application of the Hilbert transform in order to define the last subsignal which will include components of the undesired camera motion. The summation of the initially produced subsignals corresponds to the jitter camera motion and, thus, it is removed from the original image sequence so that the stabilized version could be created. Experimental results have shown that the proposed technique exhibits superior performance compared to other digital image stabilization algorithms. The qualitative superiority of the method over other reported approaches relies on the fact that the analysis of the initial motion signal is based on the basic features of each independent motion. The undesired jitter motion includes higher frequency components with lower pixel displacements while the components with contrary features comprise the desired camera motion. A software scheme was developed which cooperates with a real mobile robot, executing all the required navigation processes and producing the stabilized versions of the acquired image sequences with the proposed technique.Finally, a novel technique related to the adaptable retrieval of the third dimension of space is proposed. The extracted disparity maps are usually utilized in applications such as autonomous mobile robot navigation and unknown terrain mapping. The proposed technique recalculates the value of a significant variable in depth extraction, the disparity level, which essentially corresponds to the maximum pixel value of the extracted disparity map. A depth map is initially calculated with the application of any stereo correspondence approach and, thus, the corresponding histogram displays a number of possible disparities equal to the disparity level. Sequentially, the resulted histogram is analyzed into equally sized parts and the disparity level redefinition is achieved with the calculation of statistical metrics for the right-most histogram part. In case of an adjacent object, a distribution increment appears on the last subhistogram and, thus, a disparity level increment is required in order to continuously extract the required disparity values. On the contrary, a high disparity level value is redundant and results to a higher computational burden. In order to reduce the complexity of the stereo correspondence approach, the disparity level is decreased. All the reported stereo correspondence methods consider fixed values for the disparity map extraction which actually excludes the dynamic features of the natural scenes. The application of the proposed robot vision technique could accommodate and improve the navigation of a mobile robot since the reduction of the disparity level, which eventually leads to higher frame rates, is possible, much like the detection of adjacent objects. A software framework was developed which acquires stereo image pairs from a real robot and executes all the required processes of the proposed stereo vision method. The required processing time for the disparity level redefinition is kept at low levels rendering the proposed method appropriate for many robot applications.

Το ερευνητικό πεδίο της ρομποτικής είναι ευρέως διαδεδομένο και χρησιμοποιείται σε ένα μεγάλο αριθμό εφαρμογών. Ρομπότ διαφορετικών δυνατοτήτων που περιλαμβάνουν ένα μεγάλο αριθμό αισθητήρων αξιοποιούνται για την ολοκλήρωση ενός μεγάλου εύρους εργασιών. Η κατάλληλη χρήση των διαθέσιμων πόρων ενός ρομποτικού συστήματος και πιο συγκεκριμένα των διαθέσιμων αισθητήρων αποτελεί κρίσιμο παράγοντα για την ανάκτηση πληροφοριών που σχετίζονται με την κατάσταση του περιβάλλοντα χώρου. Ουσιαστικά, αποτελούν το μέσο με το οποίο ένα ρομπότ μπορεί να αντιληφθεί και να αλληλεπιδράσει με το περιβάλλον του. Σο σύνολο των εφαρμογών ρομποτικών συστημάτων θεωρούν απαραίτητη προϋπόθεση την αξιοποίηση των δεδομένων των αισθητήρων ώστε να εκτελούνται οι απαιτούμενες εργασίες.Φαρακτηριστικά παραδείγματα εφαρμογών και τεχνικών που προαπαιτούν τη χρήση αισθητήρων αποτελούν οι τεχνικές χάραξης πορειών ρομπότ καθώς και η ρομποτική όραση. Βασικός στόχος της παρούσας διδακτορικής διατριβής ήταν η μελέτη και η ανάπτυξη νέων τεχνικών χάραξης πορειών ρομπότ και ρομποτικής όρασης οι οποίες να σχετίζονται είτε άμεσα είτε έμμεσα με την πλοήγηση αυτών. Η πρώτη τεχνική χάραξης πορειών που περιγράφεται βασίζεται στα Κυψελιδωτά Αυτόματα (ΚΑ) ώστε μια ομάδα συνεργαζόμενων ρομπότ να ακολουθεί μία προκαθορισμένη διαδρομή. ΢τόχος του συστήματος είναι να παρέχεται σε μία ρομποτική ομάδα η δυνατότητα μετάβασης του κάθε ρομπότ από την αρχική στην τελική του θέση αποφεύγοντας πιθανά δυναμικά εμπόδια. Η τεχνική πρέπει να δεσμεύει και να χειρίζεται τους ελάχιστους δυνατούς πόρους του κάθε ρομπότ ώστε να επιτυγχάνονται επιπλέον στόχοι όπως η διατήρηση και η ανάκτηση των σχηματισμών της ομάδας μέσω συνεργασιών. Αρχικά, ο χώρος διακριτικοποιείται σε ισομεγέθεις κυψελίδες οι οποίες σε κάθε χρονικό βήμα χαρακτηρίζονται από μία κατάσταση. Η κατάσταση της κάθε κυψελίδας εξελίσσεται με βάση την τρέχουσα κατάστασή της καθώς και των γειτονικών της κυψελίδων εφαρμόζοντας τους κατάλληλους κανόνες μετάβασης. Η απαιτούμενη απόσταση, η αποφυγή των αντικειμένων και η ανάκτηση/διατήρηση των σχηματισμών της ομάδας επιτυγχάνονται με την εφαρμογή των κατάλληλων κανόνων εξέλιξης του ΚΑ. Λόγω της απλότητας των ΚΑ, η προτεινόμενη τεχνική εμφανίζει χαμηλές απαιτήσεις για την υλοποίησή της σε πραγματικά συστήματα. Σα δυναμικά αντικείμενα του χώρου ανιχνεύονται και αποφεύγονται επιτυχώς παρόλα αυτά με ορισμένους περιορισμούς εξαιτίας της διακριτικοποίησης του χώρου. ΢υγκριτικά με άλλες παρόμοιες τεχνικές της βιβλιογραφίας οι οποίες εμφανίζουν υψηλές απαιτήσεις στα τεχνικά χαρακτηριστικά των χρησιμοποιούμενων ρομπότ, η προτεινόμενη τεχνική μπορεί να υλοποιηθεί σε μία ρομποτική ομάδα αποτελούμενη από ρομπότ περιορισμένων τεχνικών προδιαγραφών.Σο βασικό πρόβλημα που αντιμετωπίζουν οι πολυπληθείς ρομποτικές ομάδες είναι ότι απαιτείται τοπική συνεργασία μεταξύ των γειτονικών μελών της ομάδας προκειμένου να διατηρείται ο σχηματισμός τους. Παρόλη τη σημασία της, η συγκεκριμένη διαδικασία συνεργασιών αποδεικνύεται χρονοβόρα επειδή η σύγκλιση για την ανάκτηση του σχηματισμού γίνεται σε τοπικό επίπεδο. Η δεύτερη τεχνική χάραξης πορειών προτάθηκε προκειμένου να ελαττωθεί ο εν λόγω απαιτούμενος χρόνος ανάκτησης. Η προτεινόμενη τεχνική βασίζεται στη συνέργεια δύο κλασσικών ευφυών τεχνικών, τα ΚΑ και τις Σεχνητές Αποικίες Μυρμηγκιών (ΣΑΜ). Σο κεντρικό εργαλείο που αξιοποιήθηκε από τους αλγορίθμους ΣΑΜ είναι η ουσία της «φερομόνης» με την εφαρμογή της οποίας οι απαιτούμενες διεργασίες επικοινωνίας ελαχιστοποιούνται στις απολύτως αναγκαίες. Αρχικά, ολόκληρη η ρομποτική ομάδα διαιρείται σε ισάριθμες υποομάδες οι οποίες καλούνται να σχηματίζουν και να διατηρούν το ίδιο μοτίβο. Ο χώρος λειτουργίας της ομάδας αναλύεται σε κυψελίδες ίσων διαστάσεων οι οποίες και χαρακτηρίζονται από συγκεκριμένες καταστάσεις σε κάθε χρονική στιγμή. Οι καταστάσεις χαρακτηρίζουν κυψελίδες που αντιστοιχούν σε: ελεύθερο χώρο, κάποιο ρομπότ της ομάδας, ένα αντικείμενο του χώρου και σε κάποια ποσότητα φερομόνης. Η κατάσταση της κάθε κυψελίδας εξελίσσεται με βάση τους κανόνες μετάβασης του ΚΑ μέσω των οποίων προσομοιώνονται όλες οι λειτουργίες του συστήματος. Οι διεργασίες που σχετίζονται με το σχηματισμό της ομάδας ολοκληρώνονται είτε με την άμεση επικοινωνία των μεταξύ τους γειτονικών μελών της ομάδας είτε με την ανίχνευση κυψελίδων που αντιστοιχούν σε κάποια ποσότητα φερομόνης. Κατά την κίνηση ενός ρομπότ στην τελική του θέση, αποτυπώνεται στο έδαφος η πορεία του με τη χρήση μίας ουσίας η οποία χαρακτηρίζεται από τη βασική ιδιότητα της φερομόνης, την εξάτμιση. Η ποσότητα της φερομόνης διακριτικοποιείται κατά αντιστοιχία με τον ελεύθερο χώρο λειτουργίας της ομάδας ώστε να αντιστοιχίζεται σε μία κατάσταση του ΚΑ και να ανιχνεύεται από τα μέλη της επομένης υποομάδας μέσω των κατάλληλων αισθητήρων. Με τον τρόπο αυτό, δεν απαιτείται από τα μέλη μίας υποομάδας να εκτελούν διεργασίες συνεργασιών εφόσον πιθανές αλλαγές στο σχηματισμό αποτυπώνονται στο έδαφος από τις προηγούμενες υποομάδες. Η προτεινόμενη τεχνική υλοποιήθηκε με τη χρήση ενός προγράμματος προσομοίωσης πραγματικών κόσμων και συστημάτων, το Webots, κυρίως λόγω της δυνατότητας που παρέχεται από τις διαθέσιμες βιβλιοθήκες για την προσομοίωση των λειτουργιών της φερομόνης. Σα χρησιμοποιούμενα ρομπότ εξοπλίστηκαν με περισσότερους αισθητήρες ανίχνευσης αντικειμένων ώστε να περιορίζονται τα μειονεκτήματα που προκύπτουν από τη διακριτικοποίηση του χώρου. Επιπλέον, εξαιτίας της έμφυτης παραλληλίας των ΚΑ, όλες οι κυψελίδες αναπτύσσουν ταυτόχρονα τις καταστάσεις τους με αποτέλεσμα η τεχνική να εμφανίζει μικρούς χρόνους εκτέλεσης σε σύγκριση με παρόμοιες τεχνικές της βιβλιογραφίας. Σέλος, οι απαιτούμενοι πόροι εκτέλεσης της τεχνικής ελαχιστοποιούνται, λόγω της απλότητας και των δύο ευφυών τεχνικών, σε σχέση με τις αντίστοιχες τεχνικές οι οποίες υλοποιούνται σε εξειδικευμένα και υψηλού κόστους ρομπότ.Οι τεχνικές χάραξης πορειών αποτελούν ένα σημαντικό τομέα της ρομποτικής εξαιτίας της δυνατότητας πλοήγησης που παρέχεται στα ρομπότ. Η πλοήγηση αυτών καθώς και η ανάκτηση της οπτικής πληροφορίας του χώρου λειτουργίας τους αποτελούν δύο άμεσα συνδεδεμένους τομείς. Η χαρτογράφηση και η επίβλεψη χώρων με τη χρήση κινούμενων ρομπότ αποτελούν δύο χαρακτηριστικά παραδείγματα της συσχέτισης αυτής. Οι τεχνικές με τις οποίες πραγματοποιείται η ανάκτηση και η διαχείριση δεδομένων μέσω της χρήσης ψηφιακών καμερών συγκαταλέγονται στον ευρύτερο ερευνητικό πεδίο της ρομποτικής όρασης. Για το λόγο αυτό, αναπτύχθηκε μία νέα τεχνική ρομποτικής όρασης μέσω της οποίας επιτυγχάνεται η ορθή καταγραφή του χώρου λειτουργίας ενός ρομπότ και εντάσσεται στη γενική κατηγορία των μεθόδων ψηφιακής σταθεροποίησης εικόνας. Η νέα αυτή τεχνική βασίζεται στην εφαρμογή του μετασχηματισμού Hilbert-Huang, μία μέθοδος ανάλυσης και επεξεργασίας σημάτων. Η συνολική κίνηση που παρατηρείται σε καταγεγραμμένες εικονοσειρές οι οποίες έχουν ληφθεί από οποιαδήποτε κινούμενη ψηφιακή κάμερα οφείλεται σε δύο ανεξάρτητες κινήσεις, την ηθελημένη κίνηση και την ανεπιθύμητη κίνηση η οποία οφείλεται στις δονήσεις που προκαλούνται κατά την κίνηση της κάμερας. Αρχικά, υπολογίζονται τα τοπικά διανύσματα κίνησης που προκύπτουν από συγκεκριμένες περιοχές του φόντου και το προκύπτον σήμα αναλύεται σε επιμέρους υποσήματα με την εφαρμογή της εμπειρικής μεθόδου ανάλυσης. Σο ενεργειακό περιεχόμενο του κάθε υποσήματος υπολογίζεται με την εφαρμογή του μετασχηματισμού Hilbert και προσδιορίζεται το τελευταίο υποσήμα που περιλαμβάνει συνιστώσες της ανεπιθύμητης κίνησης της κάμερας. Σο άθροισμα των αρχικών υποσημάτων αντιστοιχεί στην ανεπιθύμητη κίνηση της κάμερας οπότε και αφαιρείται στο τελευταίο στάδιο επεξεργασίας ώστε να παραχθεί η σταθεροποιημένη έκδοση της εικονοσειράς. Σα πειραματικά και συγκριτικά αποτελέσματα δείχνουν ότι η προτεινόμενη τεχνική επιτυγχάνει τον ορθό προσδιορισμό των δύο κινήσεων ενώ η τελική σταθεροποιημένη εικονοσειρά υπερτερεί ποιοτικά σε σχέση με άλλες σχετικές μεθόδους της βιβλιογραφίας. Ο αποδοτικός διαχωρισμός των δύο κινήσεων ποσοτικοποιήθηκε για όλες τις ελεγχόμενες τεχνικές με τη χρήση των κατάλληλων μετρικών. Η υπεροχή της τεχνικής έναντι των άλλων μεθόδων οφείλεται στο γεγονός ότι η ανάλυση των κινήσεων βασίζεται στα δύο βασικά χαρακτηριστικά των κινήσεων αυτών. Η ανεπιθύμητη κίνηση εμφανίζει συνιστώσες υψηλών συχνοτήτων και μικρές μετατοπίσεις ενώ αντιθέτως, η ηθελημένη κίνηση βασίζεται σε ομαλές (χαμηλές συχνότητες) και υψηλών πλατών (υψηλά ενεργειακά ποσοστά) μετατοπίσεις. ΢το πλαίσιο εφαρμογής της τεχνικής σε ένα κινούμενο ρομπότ αναπτύχθηκε ένα λογισμικό το οποίο «συνεργάζεται» με ένα πραγματικό ρομπότ και εκτελεί λειτουργίες πλοήγησης καθώς επίσης παράγει σταθεροποιημένες εικονοσειρές εφαρμόζοντας την προτεινόμενη τεχνική. Σέλος, προτείνεται μία νέα τεχνική ρομποτικής όρασης κατάλληλη για την προσαρμόσιμη ανάκτηση της τρίτης διάστασης του χώρου μέσω στερεοσκοπικών ζευγών δισδιάστατων εικόνων. Οι παραγόμενοι χάρτες βάθους μπορούν να αξιοποιηθούν σε εφαρμογές όπως αυτόνομη πλοήγηση ενός ρομπότ και χαρτογράφηση άγνωστων χώρων. Η προτεινόμενη τεχνική αναπροσαρμόζει την τιμή μίας σημαντικής μεταβλητής για την εξαγωγή χαρτών βάθους, του επιπέδου ανομοιομορφίας, το οποίο και αποτελεί ουσιαστικά τη μέγιστη δυνατή τιμή ενός εικονοστοιχείου του αντίστοιχου χάρτη. Αρχικά εξάγεται ένας χάρτης βάθους μίας σκηνής με την εφαρμογή μίας οποιασδήποτε μεθόδου στερεοσκοπικής αντιστοίχησης. Σο αντίστοιχο εξαγόμενο ιστόγραμμα εμφανίζει έναν αριθμό πιθανών τιμών ανομοιομορφίας ίσο με το επίπεδο ανομοιομορφίας. ΢τη συνέχεια, το ιστόγραμμα αναλύεται σε ισομεγέθη μέρη και η αναπροσαρμογή του επιπέδου ανομοιομορφίας πραγματοποιείται με βάση συγκεκριμένα στατιστικά δεδομένα του δεξιότερου τμήματος του ιστογράμματος. ΢την περίπτωση όπου ένα αντικείμενο βρίσκεται στο κοντινό περιβάλλον της στερεοσκοπικής κάμερας, παρατηρείται αύξηση της κατανομής στο δεξιότερο τμήμα του ιστογράμματος οπότε και απαιτείται αύξηση του επιπέδου ανομοιομορφίας ώστε να εξάγονται οι ζητούμενες τιμές ανομοιομορφίας. ΢την αντίθετη περίπτωση, η εφαρμογή μίας υψηλής τιμής επιπέδου ανομοιομορφίας είναι περιττή επειδή το συνολικό υπολογιστικό κόστος διατηρείται άσκοπα σε υψηλά επίπεδα οπότε και το αντίστοιχο επίπεδο ελαττώνεται. Οι προτεινόμενες τεχνικές στερεοσκοπικής αντιστοίχησης της βιβλιογραφίας θεωρούν μία σταθερή τιμή του επιπέδου ανομοιομορφίας χωρίς να γίνεται καμία προσέγγιση μεταβολής του με αποτέλεσμα τον αποκλεισμό της δυναμική φύσης του χώρου λειτουργίας ενός ρομπότ. Η εφαρμογή της προτεινόμενης τεχνικής διευκολύνει και βελτιώνει την πλοήγηση ενός ρομπότ καθιστώντας δυνατή τη μείωση του επιπέδου ανομοιομορφίας (μείωση του χρόνου εξαγωγής των απαιτούμενων χαρτών) και τον εντοπισμό κοντινών αντικειμένων, αντίστοιχα. Για το λόγο αυτό, αναπτύχθηκε κατάλληλο λογισμικό το οποίο λαμβάνει τα στερεοσκοπικά ζεύγη εικόνων από ένα πραγματικό ρομπότ και εκτελεί όλες τις λειτουργίες της προτεινόμενης τεχνικής. Ο απαιτούμενος χρόνος για την αναπροσαρμογή του επιπέδου ανομοιομορφίας διατηρείται σε χαμηλά επίπεδα, όπως προκύπτει από την υλοποίηση της τεχνικής, καθιστώντας την κατάλληλη για ένα μεγάλο αριθμό ρομποτικών εφαρμογών.