Retrieval of 3-dimensional rigid and non-rigid objects

Abstract

This dissertation focuses on the problem of 3D object retrieval from large datasets in a near realtime manner. In order to address this task we focus on three major subproblems of the field: (i) pose normalization of rigid 3D models with applications to 3D object retrieval, (ii) non-rigid 3D object description and (iii) search over rigid 3D object datasets based on 2D image queries. Regarding the first of the three subproblems, 3D model pose normalization, three novel pose normalization methods are presented, based on: (i) 3D Reflective Object Symmetry (ROSy) and (ii, iii) 2D Reflective Object Symmetry computed on Panoramic Views (SymPan and SymPan+). All three methods are general purpose 3D model pose normalization methods used to enhance the performance of a rigid 3D object retrieval pipeline.Considering the second subproblem, a non-rigid 3D object retrieval methodology, based on the properties of conformal geometry and graph-based topological information (ConTopo++) has been developed. While graph-based methods are robust to non-rigid object deformations, they require intensive computations which can be reduced by the use of appropriate representations, addressed through geometry-based methods. In this respect, a 3D object retrieval methodology which combines the above advantages in a unified manner, is presented. Furthermore, a string matching strategy for the comparison of graphs that describe 3D objects, is proposed.Regarding the third subproblem a 3D object retrieval method, based on 2D range image queries that represent partial views of real 3D objects, is presented. The complete 3D objects of the database are described by a set of panoramic views and a Bag-of-Visual-Words model is built using SIFT features extracted from them. To address the problem of partial matching, a spatial histogram computation scheme on the panoramic views, is suggested.The methodologies developed and described in this dissertation are evaluated in terms of retrieval accuracy and demonstrated using both quantitative and qualitative measures via an extensive consistent evaluation against state-of-the-art methods on standard datasets

Η παρούσα διδακτορική διατριβή εστιάζει στο πρόβλημα της ανάκτησης 3Δ αντικειμένων από μεγάλες βάσεις δεδομένων σε σχεδόν πραγματικό χρόνο. Για την αντιμετώπιση του προβλήματος αυτού, η έρευνα επικεντρώνεται σε τρία βασικά υποπροβλήματα του χώρου: (α) κανονικοποίηση θέσης άκαμπτων 3Δ μοντέλων με εφαρμογές στην ανάκτηση 3Δ αντικειμένων, (β) περιγραφή εύκαμπτων 3Δ αντικειμένων και (γ) αναζήτηση από βάσεις δεδομένων 3Δ αντικειμένων βασιζόμενη σε 2Δ εικόνες-ερώτησης.Σχετικά με το πρώτο υποπρόβλημα, την κανονικοποίηση θέσης 3Δ μοντέλων, παρουσιάζονται τρεις νέες μέθοδοι οι οποίες βασίζονται στις εξής αρχές: (α) Τριδιάστατη Ανακλαστική Συμμετρία Αντικειμένου (ROSy) και (β, γ) Διδιάστατη Ανακλαστική Συμμετρία Αντικειμένου υπολογιζόμενη επί Πανοραμικών Προβολών (SymPan και SymPan+). Και οι τρεις μέθοδοι αποτελούν γενικού σκοπού μεθόδους κανονικοποίησης 3Δ μοντέλων και χρησιμοποιούνται για να αυξήσουν την απόδοση μιας διαδικασίας ανάκτησης 3Δ αντικειμένων.Όσον αφορά το δεύτερο υποπρόβλημα, αναπτύχθηκε μια μέθοδος ανάκτησης εύκαμπτων 3Δ αντικειμένων, η οποία συνδυάζει τις ιδιότητες της σύμμορφης γεωμετρίας και της τοπολογικής πληροφορίας βασιζόμενης σε γράφους, με ενιαίο τρόπο (ConTopo++). Ενώ οι μέθοδοι που βασίζονται σε γράφους είναι εύρωστες ως προς τις παραμορφώσεις εύκαμπτων αντικειμένων, απαιτούν εντατικούς υπολογισμούς, οι οποίοι ωστόσο μπορούν να μειωθούν με τη χρήση κατάλληλων αναπαραστάσεων, μέσω μεθόδων που βασίζονται στην γεωμετρία. Επιπλέον, προτείνεται μια στρατηγική συνταιριασμού συμβολοσειρών, για τη σύγκριση των γράφων που αναπαριστούν 3Δ αντικείμενα.Σχετικά με το τρίτο υποπρόβλημα, παρουσιάζεται μια μέθοδος ανάκτησης 3Δ αντικειμένων, βασιζόμενη σε 2Δ εικόνες-ερώτησης, οι οποίες αντιπροσωπεύουν προβολές πραγματικών 3Δ αντικειμένων. Τα πλήρη 3Δ αντικείμενα της βάσης δεδομένων περιγράφονται από ένα σύνολο πανοραμικών προβολών και ένα μοντέλο Bag-of-Visual-Words δημιουργείται χρησιμοποιώντας τα χαρακτηριστικά SIFT που προέρχονται από αυτά. Για να αντιμετωπιστεί το πρόβλημα της μερικής ταύτισης, προτείνεται ένα σχήμα υπολογισμού χωρικών ιστογραμμάτων από τις πανοραμικές προβολές.Οι μεθοδολογίες που αναπτύχθηκαν και περιγράφονται στην παρούσα διατριβή αξιολογούνται όσον αφορά την ακρίβεια ανάκτησης και παρουσιάζονται κάνοντας χρήση ποσοτικών και ποιοτικών μέτρων μέσω μιας εκτεταμένης και συνεκτικής αξιολόγησης σε σχέση με μεθόδους τρέχουσας τεχνολογικής στάθμης επάνω σε τυποποιημένες βάσεις δεδομένων.