Αναγνώριση αναδιπλώσεων με κάμερες βάθους και ρομποτικός χειρισμός υπερ-εύκαμπτων αντικειμένων

Abstract

Τhe goal of this dissertation is the development of a complete solution for robotic unfolding, independent of the type, fabric, colors and shape of a garment as well as its decorative elements, such as pockets and collars. To achieve this, methods that incorporate human knowledge and perception are developed and combined with machine learning techniques. In addition, depth sensors are used, which provide more information about the garment’s configuration than a simple camera and are not affected by the colors of the garments or the shadows created by different lighting conditions.The robotic unfolding process followed in the proposed approach consists of three basic steps: 1) the garment is transformed from a random configuration, through robotic manipulations, to a half-folded state on a working table, 2) the configuration of the garment is recognized in order to ultimately extract its upper layer, 3) the garment is fully unfolded either by lifting it in the air from suitable points, or by rotating its upper layer around its folding axis.

Στόχος αυτής της διατριβής είναι η ανάπτυξη μιας μεθόδου ρομποτικού ξεδιπλώματος, ανεξάρτητης από τον τύπο (π.χ. μπλούζα, παντελόνι, πετσέτα κλπ.), το ύφασμα, τα χρώματα και τα μοτίβα ενός ρούχου καθώς και από τα διακοσμητικά του στοιχεία, όπως τσέπες και γιακάδες. Για την επίτευξη αυτού του στόχου αναπτύσσονται μέθοδοι που ενσωματώνουν την ανθρώπινη γνώση και τον τρόπο αντίληψης, οι οποίες συνδυάζονται με τεχνικές μηχανικής μάθησης. Επιπροσθέτως, χρησιμοποιούνται αισθητήρες βάθους, οι οποίοι παρέχουν περισσότερη πληροφορία για τη διαμόρφωση ενός ρούχου σε σχέση με μια απλή κάμερα και δεν επηρεάζονται από τα χρώματα των ρούχων, ούτε από τις σκιές που μπορούν να δημιουργήσουν διαφορετικές συνθήκες φωτισμού.Η διαδικασία ρομποτικού ξεδιπλώματος που ακολουθείται στην προτεινόμενη προσέγγιση αποτελείται από τρία βασικά βήματα: 1) το ρούχο από τυχαία αρχική κατάσταση μεταβαίνει, μέσω ρομποτικών χειρισμών και με τη βοήθεια της βαρύτητας, σε ημι-διπλωμένη κατάσταση πάνω σε ένα τραπέζι εργασίας, 2) αναγνωρίζεται η διαμόρφωση του ρούχου με βασικό στόχο την ανίχνευση του άνω επιπέδου του (το ημι-διπλωμένο ρούχο χωρίζεται στο άνω και κάτω επίπεδο τα οποία συνδέονται μεταξύ τους μέσω του άξονα δίπλωσης), 3) το ρούχο ξεδιπλώνεται πλήρως είτε σηκώνοντάς το στον αέρα από κατάλληλα σημεία, είτε με μετακίνηση του άνω επιπέδου γύρω από τον άξονα δίπλωσής του.