Machine learning from weakly-labelled and sparsely-positive data

Abstract

The thesis deals with the topic of learning from weakly-labelled data that are also sparsely-positive. In a binary classification scenario, a weak label refers to a label that is used to describe a set of data points (or bag of instances), rather than a specific data point. On the other hand, the term ”sparsely-positive” implies that the salient characteristics that differentiate the positive from the negative class, are sporadically present both within the bag of instances and within the scope of each positive instance. This sparsity can be detrimental to learning algorithms, due to the low prevalence of the important characteristics and their overshadowing by other, unrelated to the task, characteristics. To deal with such problems, we first formalize them as a scenario of identifying rare positive events in large collections of signals. Then, we introduce a methodology for converting the original problem, to a form that can be solved efficiently by means of Multiple-Instance Learning (MIL). After transforming it to a suitable format, we propose using a MIL algorithm that is based on attention, in order to better handle the sparsely-positive nature of the problem. Finally, we build on this approach and introduce a multi-modal generalization of it, that is able to learn from multiple, weakly-labelled collections of signals, corresponding to data from multiple simultaneous sources (modalities or sensors), and again described by a single label. We continue by applying the analysis methodology to 2 real-world applications. First, we tackle the problem of detecting hand tremor caused by Parkinson’s disease (PD), using acceleration data recorded unobtrusively and in-the-wild via smartphone-embedded sensors. Furthermore, we apply the methodology to a sparsely-positive image classification problem from the medical domain: the detection of Diabetic Retinopathy (DR) in retinal images. Next, we demonstrate an application of the multi-modal approach to the problem of predicting if a person has PD by analyzing smartphone sensor data collected in-the-wild from 2 sources: hand acceleration data captured from the IMU sensor and typing data captured from the virtual keyboard of their smartphone. In the second part of the thesis, we introduce a novel semi-supervised approach for utilizing completely unlabelled bags in MIL problems. First, we show how to adapt the principle of Virtual Adversarial Training (VAT) to the MIL setting. VAT is a state-of-the-art approach for regular Semi-Supervised Learning (SSL) that encourages the model to be consistent across certain perturbations (referred to as virtual adversarial) of its inputs. Then, we go on to propose 2 additional variants of the main approach, which impose additional constraints on the form of the virtual adversarial perturbation. Finally, we apply our novel semi-supervised method to the PD tremor detection problem from the first part of the thesis, but now taking into account a large cohort of 454 subjects with acceleration data of the exact same nature as the initial cohort of 45 subjects, but lacking any form of tremor ground-truth.

Η διατριβή μελετά το πρόβλημα της μάθησης από δεδομένα με αδύναμες ετικέτες που είναι ταυτόχρονα και σποραδικώς-θετικά. Ο όρος “αδύναμη ετικέτα” αναφέρεται σε μια ετικέτα που αντιστοιχεί σε ένα σετ παραδειγμάτων αντί για ένα μεμονωμένο παράδειγμα. Ο όρος “σποραδικώς-θετικό” υποδηλώνει ότι τα κύρια χαρακτηριστικά που καθορίζουν την αδύναμη ετικέτα υπερτερούν σε μεγάλο βαθμό από άλλα, μη σχετικά με το πρόβλημα, χαρακτηριστικά. Στη διατριβή αυτή προτείνουμε μια γενική στρατηγική μετασχηματισμού του αρχικού προβλήματος εύρεσης σπάνιων γεγονότων ενδιαφέροντος σε μεγάλες συλλογές σημάτων με αδύναμες ετικέτες, σε μια μορφή που μπορεί να επιλυθεί αποδοτικά από έναν μηχανισμό Μάθησης Πολλαπλών Παραδειγμάτων (Multiple-Instance Learning (MIL)). Η μεθοδολογία περιλαμβάνει επίσης την προσαρμογή και χρήση ενός αλγορίθμου MIL, βασιζόμενου στο μηχανισμό της προσοχής (attention), προκειμένου να μοντελοποιηθεί επαρκώς η σποραδικώς θετική φύση των δεδομένων. Στη συνέχεια, παρουσιάζουμε μια εφαρμογή της προτεινόμενης μεθοδολογίας στο πρόβλημα της αναγνώρισης του τρόμου χειρός που οφείλεται στη Νόσο του Πάρκινσον. Για το σκοπό αυτό, γίνεται χρήση σημάτων επιταγχυνσιομέτρου που έχουν καταγραφεί τόσο από ασθενείς με Πάρκινσον όσο και από υγιείς ανθρώπους κάτω από εξωεργαστηριακές συνθήκες ελεύθερης διαβίωσης (in-the-wild). Επιπρόσθετα, επεκτείνουμε και εφαρμόζουμε την προτεινόμενη μεθοδολογία στο πρόβλημα της ανίχνευσης της διαβητικής αμφιβληστροειδοπάθειας (Diabetic Retinopathy (DR)) από φωτογραφίες του βυθού του ματιού. Παρουσιάζουμε πως ο χειρισμός του προβλήματος μέσω του περιβάλλοντος της Μάθησης Πολλαπλών Παραδειγμάτων μπορεί να δώσει μια λύση στο πρόβλημα της σποραδικής θετικότητας, καθώς επίσης και στο πρόβλημα της εξηγησιμότητας ενός μοντέλου βαθιάς μηχανικής μάθησης. Προτείνουμε επίσης μια γενίκευση της προτεινόμενης μεθοδολογίας, η οποία μπορεί να χειριστεί την ύπαρξη πολλαπλών πηγών δεδομένων με αδύναμες ετικέτες, προκειμένου να υλοποιήσει μια διαδικασία μάθησης πάνω σε αυτές. Η προσέγγιση αυτή είναι γενική και μπορεί να λειτουργήσει με οποιονδήποτε αριθμό πηγών δεδομένων. Κατόπιν, μελετούμε την εφαρμογή της γενικευμένης μεθοδολογίας πολλαπλών πηγών στο αληθινό πρόβλημα της ταυτόχρονης πρόβλεψης της νόσου Πάρκινσον, καθώς και δύο κινητικών συμπτωμάτων της, μέσω της ανάλυσης δεδομένων από δύο διαφορετικές πηγές: σήματα επιταγχυνσιομέτρου για τον εντοπισμό του τρόμου, και σήματα προερχόμενα από την πληκτρολόγηση σε εικονικό πληκτρολόγιο έξυπνσης συσκευής, για τον εντοπισμό της εξασθένισης των κινητικών δεξιοτήτων (fine-motor impairment (FMI)). Τέλος, προτείνουμε μια νέα μέθοδο που συνδυάζει την τεχνοτροπία της μάθησης πολλαπλών παραδειγμάτων (MIL) με την τεχνοτροπία της ημι-εποπτευόμενης μάθησης (Semi-Supervised Learning (SSL)). Για το σκοπό αυτό, προχωρούμε στην μετατροπή της, καθιερωμένης στο χώρο της ημι-εποπτευόμενης μάθησης, τεχνικής του Virtual Adversarial Training (VAT), στην ισοδύναμή της στο πεδίο του MIL. Εκτελώντας πειράματα σε συνθετικά σετ δεδομένων, επιδευκνύουμε πως η προτεινόμενη προσέγγιση μπορεί να αξιοποιήσει αποτελεσματικά την ύπαρξη σετ πολλαπλών παραδειγμάτων χωρίς καμία ετικέτα, προκειμένου να βελτιώσει την επίδοση ενός MIL ταξινομητή. Ολοκληρώνοντας, εφαρμόζουμε τον παραπάνω αλγόριθμο σε ένα αληθινό πρόβλημα που συνδυάζει μάθηση πολλαπλών παραδειγμάτων με ημι-εποπτευόμενη μάθηση: την ανίχνευση τρόμου χειρός από σήματα επιταγχυνσιομέτρου, αλλά υπό την παρουσία επιπλέον δεδομένων χωρίς καθόλου ετικέτες που έχουν καταγραφεί από ένα αρκετά μεγάλο σύνολο ανθρώπων, υπό τις ίδιες συνθήκες με το αρχικό σετ δεδομένων με αδύναμες ετικέτες που μελετήθηκε προηγουμένως. Και σε αυτήν την περίπτωση, η προτεινόμενη συνδυαστική προσέγγιση επιφέρει σημαντική βελτίωση της επίδοσης ταξινόμησης, συγκρινόμενη με αυτή ενός μοντέλου που δεν κάνει χρήση των επιπλέον δεδομένων χωρίς ετικέτες.