Ανάπτυξη μερικώς επιβλεπόμενων αλγορίθμων μηχανικής μάθησης

Abstract

The increasing number of technological products that interact with various views of a human’s life are currently characterized by a common factor: the production of vast amounts of data, compared especially to the corresponding quantities of the last decades. This fact, which has been ideally harmonized with the parallel evolvement of the storing systems and the data retrieval mechanisms, has inferred great obstacles during their exploitation as informative sources for training the corresponding learning models, according to the principles that are defined by the fields of Machine Learning and Data Mining. The main reason is the inability to obtain the ground truth of their target value, either in the case of Classification or Regression tasks, without procedures that demand a lot of time or monetization costs, regarding the large volumes of data that are usually available. As a solution to this reality, which is characterized by the existence of numerous unlabeled data along with only a few labeled data, the Partially Supervised Learning algorithms has aroused the last years. According to their generic operation, each learning model is refined using only a small portion of the total amount of collected data, which have to get labeled through an accurate mechanism, and then the pool of unlabeled data is mined for detecting the most informative instances, aiming at improving both the predictive behavior and the robustness of its decisions, without depending much on the human factor, whose contribution is usually time-expensive and costly. Indeed, this kind of algorithms try to uncover the underlying distribution of generating data, so as to obtain better generalization performance over unknown data. Two of the most important categories of Partially Supervised Learning algorithms are these of Semi-supervised and Active Learning. Besides the fact that both of them share some common properties, adopting iterative learning schemes and letting probabilistic learners to be combined appropriately under their operating framework, they substantially differ over one point. Although the former category produces fully automated learning tools, the latter employs human oracles into its learning kernel, so as to make queries over the target value of the most ambiguous unlabeled instances. In practice, the main contribution of the current thesis is to highlight the use of ensemble learners into the Partially Supervised Learning algorithms, the adoption of mechanisms that enable the additional reduction of time and cost expenses, observing their behavior into this kind of algorithms, as well as studying the usefulness of similar approaches into more specific scientific fields that have slightly been examined by other demonstrations in the literature. Moreover, in order to favor the wide applicability of the proposed algorithms, loose assumptions were posed, operating under efficient single-view learning schemes, trying to obtain accurate enough predictions through several approaches of formatting base learners. The suggestion also about combining these two distinct approaches under a common framework of exploiting the available data and computational resources, led to a learning strategy that is proved really beneficial on real-life scenarios, which stem from a harmonic combination of separate learning strategies that highly reduce the version space of candidate hypotheses. To sum up, we consider that the current thesis constitutes one comprehensive work that examines the operation of several Partially Supervised Learning algorithms regarding their application on both generic and more specific problems. The ulterior ambition, besides highlighting the applicability of the proposed works, is to provide thorough comments and to extract useful directions and conclusions that could facilitate the further study of this interesting field. Link of Publications: https://dblp.org/pers/hd/k/Karlos:Stamatis

Οι ολοένα και περισσότερες τεχνολογικές εφαρμογές που αλληλοεπιδρούν με τις διάφορες πτυχές της ανθρώπινης υπόστασης, έχουν φτάσει σήμερα να χαρακτηρίζονται από ένα κοινό στοιχείο: την παραγωγή τεράστιων ποσοτήτων δεδομένων, ιδίως αν αυτό συγκριθεί με τις προηγούμενες δεκαετίες. Αυτό το γεγονός, που έχει εναρμονιστεί ιδανικά με την ταυτόχρονη ανάπτυξη των τεχνολογιών αποθήκευσης και ανάκτησης αντίστοιχων ποσοτήτων δεδομένων, επιβάλει μεγάλες δυσκολίες κατά την αξιοποίηση τους ως πηγή πληροφόρησης για την εφαρμογή προβλεπτικών μοντέλων μάθησης σύμφωνα με τις αρχές των πεδίων της Μηχανικής Μάθησης και της Εξόρυξης Γνώσης. Ο κύριος λόγος είναι η αδυναμία κτήσης των ετικετών ή των πραγματικών τιμών που συνοδεύουν αυτές τις εγγραφές, ανάλογα με το αν αναφερόμαστε σε πρόβλημα Κατηγοριοποίησης ή Παλινδρόμησης, χωρίς να καταφεύγουμε σε διαδικασίες που επιβάλουν μεγάλες χρονικές καθυστερήσεις ή/και αντίστοιχα μεγάλα υλικά κόστη, αναλογιζόμενοι πάντοτε τον τεράστιο όγκο δεδομένων που καλούμαστε να διαχειριστούμε. Ως απάντηση σε αυτό το πρόβλημα διαχείρισης των πολυάριθμων συνήθως μη-ετικετοποιημένων στιγμιότυπων σε συνδυασμό με την παράλληλη ύπαρξη ενός μικρού πλήθους ετικετοποιημένων στιγμιότυπων, έχει αναδυθεί τα τελευταία χρόνια η εκδοχή των αλγορίθμων Μερικώς Επιβλεπόμενης Μάθησης. Σύμφωνα με αυτή την κατηγορία αλγορίθμων, το εκάστοτε προβλεπτικό μοντέλο εκπαιδεύεται βασιζόμενο σε ένα αρχικά μικρό πλήθος παραδειγμάτων και γίνεται προσπάθεια άντλησης των πιο χρήσιμων ανά περίπτωση στιγμιότυπων από την αρκετά μεγαλύτερη δεξαμενή μη-ετικετοποιημένων παραδειγμάτων, στοχεύοντας στη βελτίωση τόσο της συνολικής προβλεπτικής συμπεριφοράς όσο και της σθεναρότητας των αποφάσεων του, αποφορτίζοντας τον ανθρώπινο παράγοντα από τις χρονοβόρες διαδικασίες ετικετοποιήσης. Ουσιαστικά, επιδιώκεται η καλύτερη ιχνηλάτιση της υποβόσκουσας κατανομής παραγωγής των εκάστοτε εξεταζόμενων δεδομένων, έτσι ώστε να επιτευχθούν καλύτερα αποτελέσματα σε νέα άγνωστα δεδομένα. Δύο από τις σημαντικότερες κατηγορίες των αλγορίθμων Μερικώς Επιβλεπόμενης Μάθησης είναι αυτές της Ημιεπιβλεπόμενης και της Ενεργητικής Μάθησης. Αν και οι δύο αυτές ευρύτατες οικογένειες προσεγγίσεων παρουσιάζουν αρκετά κοινά στοιχεία, υιοθετώντας επαναληπτικά σχήματα μάθησης και επιτρέποντας σε πιθανοτικούς εκμαθητές να συνδυάζονται καταλλήλως υπό τον τρόπο λειτουργίας τους, διαφοροποιούνται ουσιαστικά σε ένα σημείο. Η πρώτη παράγει πλήρως αυτόνομα εργαλεία μάθησης, σε αντίθεση με τη δεύτερη, η οποία αξιοποιεί τον ανθρώπινο παράγοντα εντός του πυρήνα μάθησης της για την έγκυρη ενημέρωση επί των πιο αμφιλεγόμενων μη-ετικετοποιημένων παραδειγμάτων. Επί του πρακτέου, η κύρια συνεισφορά της παρούσας διατριβής έγκειται στην ανάδειξη της χρησιμότητας των ομαδοποιημένων εκμαθητών εντός του πλαισίου των αλγορίθμων Μερικώς Επιβλεπόμενης Μάθησης, την υιοθέτηση μηχανισμών που επιτρέπουν την περαιτέρω μείωση του κόστους, χρονικού ή υλικού, και την παρατήρηση της χρησιμότητας τους, καθώς και τη μελέτη της εφαρμογής παρόμοιων προσεγγίσεων σε επιστημονικά πεδία τα οποία δεν έχουν μελετηθεί, είτε καθόλου είτε χωρίς μεγάλη εμβάθυνση από άλλες σχετικές εργασίες στη βιβλιογραφία. Προκειμένου μάλιστα να διευρυνθεί η δυνατότητα εφαρμογής των προτεινόμενων αλγορίθμων, οι υποθέσεις που τέθηκαν ήταν αρκετά ανεκτικές, λειτουργώντας υπό αποδοτικά σχήματα μάθησης Μίας Όψης, δίνοντας ταυτόχρονα μεγάλο βάρος στην απόκτηση προβλέψεων υψηλής ποιότητας μέσω ποικίλων προσεγγίσεων σύστασης ομαδοποιημένων εκμαθητών. Η πρόταση μάλιστα συνεργασίας των δύο αυτών προσεγγίσεων υπό κοινό μηχανισμό αξιοποίησης των διαθέσιμων δεδομένων και υπολογιστικών πόρων, χαράσσει μία στρατηγική με πολύπλευρα πρακτικά οφέλη, τα οποία προκύπτουν από την αρμονικό συνδυασμό στρατηγικών μάθησης που περιορίζουν δραστικά τον χώρο μάθησης των υποψήφιων μοντέλων μάθησης. Ολοκληρώνοντας, θεωρούμε ότι η παρούσα διατριβή αποτελεί μία ολοκληρωμένη προσπάθεια μελέτης των εξεταζόμενων στρατηγικών μάθησης στο πεδίο της Μερικώς Επιβλεπόμενης Μάθησης, τόσο σε επίπεδο γενικών προβλημάτων όσο και σε πιο εξειδικευμένες περιπτώσεις, όπως αυτές καταγράφθηκαν και ερευνητικά. Απώτερος στόχος, πέρα από την ανάδειξη νέων αλγορίθμων, αποτελεί ο σχολιασμός και η εξαγωγή χρήσιμων συμπερασμάτων που μπορούν να ωφελήσουν τους ερευνητές που ασχολούνται με το πεδίο αυτό. Σύνδεσμος δημοσιεύσεων: https://dblp.org/pers/hd/k/Karlos:Stamatis