Supervised and unsupervised deep learning methodologies

Abstract

In recent years, Deep Learning (DL) methods have been excelling in various tasks, including classification, clustering, and regression among others. Part of their success is the introduction of successively deeper architectures, which have been shown to increase the performance in tasks like these, at the cost of significantly increased computational complexity. In this PhD thesis, we investigated various DL methods which fall under the Supervised and Unsupervised Learning cases, with the goal of increasing their performance whilst maintaining their computational cost at low levels. The choice to keep computational costs low was motivated, for one, by the increasing popularity of DL methods, as applications like object detection and tracking, among others, have found their way into almost all modern mobile devices. Furthermore, the advent of drones, and other robots, which currently can only take on small, embedded devices, also influenced the algorithms investigated in this thesis. First, a general framework for discriminant autoencoding was proposed, to tackle the problems of classification and clustering, using lightweight neural networks. Towards this goal, Autoencoders (AEs) were studied, and various discriminative criteria were inserted into their learning objective, under the general Graph Embedding Framework. Both supervised and unsupervised criteria were proposed, and the resulting representations obtained by the proposed Discriminant Autoencoders were evaluated on various benchmarks, showcasing their ability to generalize and apply the criteria to unseen samples at no added cost. Next, the problem of visual object tracking was tackled, with the goal of using the proposed methods on embedded devices. Specifically, a generic framework of parallel object detection and tracking was proposed, which supports the use of any object tracker and significantly boosts its performance at virtually no additional cost. In the same task, a different approach was followed to develop a tracker based on a deep convolutional feature histogram architecture. Histograms have been used in this task in earlier years, and the combination of histograms with convolutional features, as well as that of features from different levels of the network, was proven experimentally to be superior to the baseline methods. Next, unsupervised autoencoders were once again investigated, this time in the field of Astrophysics, and specifically in gravitational wave surrogate modelling. The use of AEs in this task helped us uncover a latent spiral relationship between the surrogate coefficients and the corresponding independent variables, which we were able to formulate and incorporate into lightweight neural networks which learned to regress the coefficients more faithfully. Finally, returning to the classification task, the use of label embedding methods was proposed, to tackle the issue of inherent ambiguity present in classification datasets which use binary labels to encode the data classes. A general-class and an instance-specific variant were proposed and shown to ease the training process and lead to better generalization.

Τα τελευταία χρόνια, οι μέθοδοι Βαθιάς Μάθησης (ΒΜ) έχουν υπερτερήσει άλλων σε διάφορους τύπους προβλημάτων, συμπεριλαμβανομένης και της ταξινόμησης, ομαδοποίησης και παλινδρόμησης δεδομένων. Μέρος της επιτυχίας τους αποτελεί η εισαγωγή ολοένα και βαθύτερων αρχιτεκτονικών, οι οποίες έχει αποδειχτεί πως βελτιώνουν την απόδοση των μεθόδων αυτών σε τέτοιου είδους προβλήματα, με κόστος όμως σημαντική αύξηση στην υπολογιστική πολυπλοκότητά τους. Στην παρούσα διδακτορική διατριβή μελετήθηκαν διάφοροι μέθοδοι ΒΜ, υπό το πρίσμα της Επιβλεπόμενης αλλά και της Μη Επιβλεπόμενης Μάθησης, με απώτερο στόχο τη βελτίωση της απόδοσής τους, διατηρώντας το υπολογιστικό τους κόστος σε χαμηλά επίπεδα. Κίνητρο για τον περιορισμό αυτό αποτέλεσε αφενός η δημοτικότητα που γνώρισαν οι τεχνικές ΒΜ τα τελευταία χρόνια, καθότι εφαρμογές όπως η ανίχνευση και παρακολούθηση αντικειμένων, μεταξύ άλλων, βρίσκονται σχεδόν σε όλες τις σύγχρονες κινητές συσκευές. Αφετέρου, η έλευση των μη επανδρωμένων αεροσκαφών και άλλων ρομπότ, τα οποία μπορούν να υποστηρίξουν μόνο μικρές, ενσωματωμένες συσκευές στην παρούσα στιγμή, επηρέασε επίσης την επιλογή των αλγορίθμων που μελετήθηκαν στη συγκεκριμένη διατριβή. Αρχικά, προτάθηκε ένα γενικό πλαίσιο για διακριτική αυτοκωδικοποίηση, με στόχο την αντιμετώπιση προβλημάτων ταξινόμησης και ομαδοποίησης, χρησιμοποιώντας ελαφριά νευρωνικά δίκτυα. Προς αυτή την κατεύθυνση, διερευνήθηκαν οι Αυτοκωδικοποιητές και εισήχθησαν σε αυτούς διακριτικά κριτήρια υπό το γενικότερο πλαίσιο της Ένθεσης Γράφων. Προτάθηκε μια σειρά κριτηρίων με επίβλεψη από τις πραγματικές ετικέτες των δεδομένων και μη, και οι αναπαραστάσεις που έμαθε ο προτεινόμενος Διακριτικός Αυτοκωδικοποιητής υποβλήθηκαν σε αξιολόγηση σε πολλαπλά σύνολα δεδομένων, όπου και αποδείχτηκε πως είναι ικανός να εφαρμόσει τη γνώση του σε άγνωστα δεδομένα. Στη συνέχεια, μελετήθηκε το πρόβλημα της παρακολούθησης αντικειμένων, με στόχο την εφαρμογή των αντίστοιχων αλγορίθμων σε ενσωματωμένες συσκευές. Συγκεκριμένα, αναπτύχθηκε ένα γενικό πλαίσιο ταυτόχρονης ανίχνευσης και παρακολούθησης αντικειμένων, το οποίο υποστηρίζει οποιονδήποτε αλγόριθμο ανίχνευσης και, με σχεδόν μηδενικό κόστος, αυξάνει σημαντικά τις επιδόσεις του στη μακροπρόθεσμη παρακολούθηση αντικειμένων. Στο ίδιο πρόβλημα ακολουθώντας διαφορετική προσέγγιση, αναπτύχθηκε ένας αλγόριθμος παρακολούθησης αντικειμένων βασισμένος σε ιστογράμματα βαθιών συνελικτικών χαρακτηριστικών. Τα ιστογράμματα έχουν χρησιμοποιηθεί με σχετική επιτυχία στο πρόβλημα αυτό στο παρελθόν, και ο συνδυασμός ιστογραμμάτων και συνελικτικών χαρακτηριστικών αλλά και χαρακτηριστικών από διάφορα επίπεδα του δικτύου αποδείχθηκε πειραματικά ανώτερος από τις συγκρινόμενες μεθόδους. Στη συνέχεια, μελετήθηκε ξανά η χρήση μη επιβλεπόμενων αυτοκωδικοποιητών, αυτή τη φορά στο πεδίο της Αστροφυσικής, και συγκεκριμένα στο πρόβλημα της παρένθετης μοντελοποίησης βαρυτικών κυμάτων απο δυαδικά συστήματα μελανών οπών. Η χρήση των αυτοκωδικοποιητών μας οδήγησε στην ανακάλυψη μιας σπειροειδούς σχέσης μεταξύ των συντελεστών της παρένθετης μοντελοποίησης και των ανεξάρτητων μεταβλητών, την οποία και τυποποιήσαμε και εισάγαμε σε ελαφριά νευρωνικά δίκτυα τα οποία επέδειξαν βελτιωμένη απόδοση στο πρόβλημα παλινδρόμησης των συντελεστών. Τέλος, επιστρέφοντας στο πρόβλημα της ταξινόμησης, προτάθηκε η χρήση τεχνικών ένθεσης ετικετών, προκειμένου να ληφθεί υπόψη κατά τη διάρκεια της εκπαίδευσης η εγγενής ασάφεια που εμπεριέχεται σε σύνολα δεδομένων ταξινόμησης που χρησιμοποιούν δυαδικές ετικέτες για την κωδικοποίηση των κλάσεων. Προτάθηκε μία παραλλαγή που αφορά την ασάφεια μεταξύ κλάσεων και μία δεύτερη που αφορά την ασάφεια μεταξύ δειγμάτων, και αποδείχθηκε πως η προτεινόμενη μέθοδος διευκολύνει τη διαδικασία εκπαίδευσης και οδηγεί σε καλύτερη γενίκευση σε άγνωστα δείγματα.