Βαθμονόμηση ρομποτικού βραχίονα – μηχανικής όρασης και σχεδιασμός συστήματος ελέγχου παρακολούθησης τροχιάς

Abstract

This thesis researches the computational algorithms that are used in developing visual tracking robotic applications, where an industrial robot arm tries to follow the displacements of a moving object based on measurement results acquired from a vision system. This category of robotic applications is usually referred to as “visual servoing applications” and is a subject of research for many years. In most cases a vision system consisted of one or more cameras observes a characteristic feature on the object’s surface (ex. hole or corner) and uses image processing techniques to extract the feature’s location in image coordinates. A proper control law is usually commissioned in order to relate the variance of the sensor measurements with the corresponding movement of the robot arm. This thesis examines the case that no characteristic features can be detected on the surface of the observed object, which can happen if the object has smooth surface without obvious texture features. This case is very common in industrial robotic applications, where some rigid objects that need to be tracked by a robot arm have smooth and featureless surfaces.Throughout the development of the discussed visual tracking application, various innovative methods and algorithms were developed and tested. The first innovation concerns the calculation of the relative position and orientation of the vision system’s coordinate frame in reference to the robot tool frame. This calculation is usually referred to as “Hand-Eye Calibration” and all currently proposed methods make use of the 3D transformations derived from the calibration of the cameras. The innovation of the proposed method lies in the use of 3D reconstructed points for the calculation of the Hand-Eye transformation rather than the transformation matrices derived from camera calibration. The superiority of the proposed method is theoretically justified and experimentally proven by means of multiple experimental results. The second innovation concerns the use of 3D surface reconstruction techniques in visual tracking robotic applications, by means of calculating the position and orientation of an observed moving object. Due to the lack of characteristic features on the observed object, its whole visible surface had to be reconstructed by using a vision system consisting of a camera and a multiple laser line device. The cloud of reconstructed points on the object’s surface was correlated with the corresponding CAD data of the object’s model by applying the ICP algorithm. In this way the 3D transformation relating the CAD model’s coordinate frame and the vision system’s measurement frame could be extracted, thus the position and orientation of the observed object could be found. In order to speed up the ICP algorithm the nearest neighbor point extraction function (used by ICP) was accelerated by using 3D space sub-division based on KD-trees. The accuracy and time performance of the proposed method for calculating the position and orientation of an observed object renders the method attractive for practical visual tracking robotic application. The feasibility and performance of the complete visual tracking system is proven by presenting multiple experimental results.The contribution of this thesis in the scientific fields of automation control and robotics is significant, as many of the presented methods and algorithms constitute an innovation to the corresponding fields. The presented theoretical background and the extensive experimental results provide a complete study for building real-world visual tracking robotic applications. Throughout the development of the discussed visual tracking application significant effort has been made for optimizing the time performance of the system, especially the algorithms used by the vision system for calculating the position and orientation of the observed object. Although the use of KD-trees significantly increased time performance, the vision system is not fast enough yet for use in time continuous tracking applications, where a robot arm is required to continuously track the displacement of a moving object in real time. Our goal is to use parallel processing techniques in multi-core processors in order to increase the time performance of the vision system, so that the robot arm will be able to track high-speed moving objects by performing an uninterrupted continuous path motion. Furthermore, a more sophisticated control law may be needed for handling a time continuous tracking application, which should include state prediction functionality for compensating for the position hysteresis of the tracking system.

Η διατριβή πραγματεύεται την μελέτη, υλοποίηση κι αξιολόγηση υπολογιστικών αλγορίθμων, ο συνδυασμός των οποίων χρησιμοποιείται για την ανάπτυξη και κατασκευή ρομποτικών βιομηχανικών εφαρμογών που στοχεύουν στην παρακολούθηση κινούμενων αντικειμένων από το άκρο ενός βιομηχανικού ρομποτικού βραχίονα με βάση την πληροφορία (ανάδραση) που λαμβάνεται από μία ή περισσότερες ψηφιακές κάμερες. Η κατηγορία αυτών των ρομποτικών εφαρμογών αναφέρεται στην διεθνή βιβλιογραφία ως «visual servoing» και αποτελεί αντικείμενο έρευνας για πολλά χρόνια. Στις περισσότερες περιπτώσεις μία ή περισσότερες ψηφιακές κάμερες παρατηρούν κάποιο χαρακτηριστικό σημείο ενός κινούμενου αντικειμένου (πχ γωνία ή οπή) και χρησιμοποιώντας κάποιο μοντέλο ελέγχου μεταφράζουν την μεταβολή στις μετρήσεις των καμερών σε μια αντίστοιχη κίνηση του άκρου του ρομποτικού βραχίονα. Αντικείμενο έρευνας της διατριβής είναι η σχεδίαση και δημιουργία ρομποτικών συστημάτων παρακολούθησης τροχιάς, όπου το παρατηρούμενο αντικείμενο δεν έχει εμφανή χαρακτηριστικά υφής τα οποία μπορούν ν’ ανιχνευθούν και να μετρηθούν από τους κλασικούς αλγορίθμους επεξεργασίας εικόνας. Οι περιπτώσεις αυτές είναι πολύ συχνές σε βιομηχανικές εφαρμογές όπου απαιτείται η παρακολούθηση κι επεξεργασία κινούμενων αντικειμένων με έντονες καμπύλες και ελάχιστα χαρακτηριστικά σημεία.Η μελέτη κι ενασχόληση με το παραπάνω αντικείμενο είχε σαν αποτέλεσμα την ανάπτυξη κι εφαρμογή καινοτόμων τεχνικών και μεθοδολογιών, οι οποίες συνέβαλαν στην υλοποίηση του ρομποτικού συστήματος παρακολούθησης τροχιάς. Η πρώτη καινοτομία αφορά την χρησιμοποίηση μετρήσεων ανακατασκευής σημείων για τον υπολογισμό της σχετικής θέσης και προσανατολισμού του άκρου ενός βιομηχανικού ρομποτικού βραχίονα και ενός συστήματος μηχανικής όρασης, το οποίο είναι σταθερά στερεωμένο στο άκρο του βραχίονα. Ο υπολογισμός της σχετικής θέσης και προσανατολισμού ενός συστήματος μηχανικής όρασης και ενός βιομηχανικού ρομποτικού βραχίονα αναφέρεται στην διεθνή βιβλιογραφία ως «Hand-Eye Calibration» και «Robot-World Calibration» και σε όλες τις περιπτώσεις χρησιμοποιεί τους μετασχηματισμούς από την βαθμονόμηση των καμερών. Η νέα μέθοδος ανακατασκευής σημείων έδωσε συνολικά καλύτερα αποτελέσματα σε σύγκριση με τις υπάρχουσες κλασσικές μεθόδους που χρησιμοποιούν μετασχηματισμούς βαθμονόμησης κάμερας, αποδεικνύοντας με αυτό τον τρόπο την ανωτερότητά της.Η δεύτερη καινοτομία αφορά την χρήση προηγμένων αλγορίθμων υπολογισμού θέσης και προσανατολισμού ενός παρατηρούμενου αντικειμένου χωρίς ιδιαίτερα χαρακτηριστικά υφής (πχ οπές ή γωνίες). Ο υπολογισμός πραγματοποιείται χρησιμοποιώντας τα κατασκευαστικά δεδομένα CAD του αντικειμένου καθώς κι ένα πλήθος δεδομένων ανακατασκευής σημείων από την επιφάνειά του, τα οποία προέρχονται από μετρήσεις μιας μετρητικής κεφαλής αποτελούμενης από μια ψηφιακή κάμερα κι ένα λέιζερ πολλαπλών γραμμών. Οι συντεταγμένες των ανακατασκευασμένων σημείων και τα αντίστοιχα CAD δεδομένα της επιφάνειας του αντικειμένου σχετίζονται μεταξύ τους με την εφαρμογή ενός επαναληπτικού αλγορίθμου ICP. Για την βελτιστοποίηση της χρονικής απόκρισης του αλγορίθμου τα CAD δεδομένα έχουν ομαδοποιηθεί με την χρήση δυαδικών δένδρων K-D trees, έτσι ώστε οι υπολογισμοί ελάχιστης απόστασης που απαιτούνται από τον αλγόριθμο ICP να επιταχύνονται σημαντικά. Η εφαρμογή τέτοιων προηγμένων μεθόδων υπολογισμού θέσης και προσανατολισμού κινούμενων αντικειμένων είναι μια καινοτομία στον χώρο των ρομποτικών συστημάτων παρακολούθησης τροχιάς.Η διατριβή αυτή αποτελεί σημαντική συνεισφορά στην επιστήμη και τεχνολογία του αυτομάτου ελέγχου, ρομποτικής και μηχανικής όρασης προτείνοντας νέες αρχιτεκτονικές στη σχεδίαση ρομποτικών εφαρμογών παρακολούθησης τροχιάς κινούμενου αντικειμένου και προσφέρει νέες μεθοδολογίες με πολλαπλές χρήσιμες εφαρμογές. Όλες οι καινοτόμες μέθοδοι που αναπτύχθηκαν τεκμηριώνονται θεωρητικά και μαθηματικά, ενώ τα πειραματικά αποτελέσματα αποδεικνύουν την εφικτότητα και την ακρίβεια που προσφέρουν, καθώς και την γρήγορη χρονική απόκρισή τους που τις κάνει ελκυστικές σε πραγματικές ρομποτικές εφαρμογές.Αντικείμενο μελλοντικής εργασίας αποτελεί η περαιτέρω επιτάχυνση του ρομποτικού συστήματος παρακολούθησης τροχιάς, χρησιμοποιώντας μεθόδους παράλληλης επεξεργασίας σε πολυπύρηνους επεξεργαστές. Στόχος είναι η επίτευξη μεγαλύτερων ταχυτήτων απόκρισης του συστήματος παρακολούθησης, έτσι ώστε ο ρομποτικός βραχίονας να είναι σε θέση να παρακολουθεί αντικείμενα που κινούνται στον χώρο με μεγαλύτερες ταχύτητες. Επίσης αντικείμενο μελλοντικής εργασίας αποτελεί η επίτευξη μιας συνεχούς ομαλής κίνησης παρακολούθησης από τον βραχίονα, όπου ο υπολογισμός της θέσης του κινούμενου αντικειμένου και η διόρθωση τροχιάς του βραχίονα θα πραγματοποιούνται σε συνεχή χρόνο με πολύ μεγάλη ταχύτητα. Τέλος, είναι πιθανή η χρήση κάποιου καταλληλότερου για συστήματα συνεχούς χρόνου νόμου ελέγχου, ο οποίος θα περιλαμβάνει λειτουργίες πρόβλεψης κατάστασης για την αντιστάθμιση του φαινομένου υστέρησης του συστήματος.