Δίκτυα αραιής ενεργοποίησης: μια νέα μέθοδος αποσύνθεσης και συμπίεσης δεδομένων

Abstract

Recent literature on unsupervised learning focused on designing structural priors with the aim of learning meaningful features, but without considering the description length of the representations. In this thesis, first we introduce the φ metric that evaluates unsupervised models based on their reconstruction accuracy and the degree of compression of their internal representations. We then present and define two activation functions (Identity, ReLU) as base of reference and three sparse activation functions (top-k absolutes, Extrema-Pool indices, Extrema) as candidate structures that minimize the previously defined metric φ. We lastly present Sparsely Activated Networks (SANs) that consist of kernels with shared weights that, during encoding, are convolved with the input and then passed through a sparse activation function. During decoding, the same weights are convolved with the sparse activation map and subsequently the partial reconstructions from each weight are summed to reconstruct the input. We compare SANs using the five previously defined activation functions on a variety of datasets (Physionet, UCI-epilepsy, MNIST, FMNIST) and show that models that are selected using φ have small description representation length and consist of interpretable kernels.

Η πρόσφατη βιβλιογραφία σχετικά με τη μη-επιβλεπώμενη μάθηση επικεντρώθηκε στο σχεδιασμό δομών με στόχο την μάθηση χαρακτηριστικών. Αυτό όμως γινόταν χωρίς να ληφθεί υπόψη το μήκος περιγραφής των αναπαραστάσεων, το οποίο είναι ένα άμεσο και αμερόληπτο μέτρο της πολυπλοκότητας του μοντέλου. Στο πλαίσιο της διδακτορικής διατριβής προτείνουμε ένα μέτρο φ το οποίο αξιολογεί μη-επιβλεπώμενα μοντέλα με βάση την ακρίβεια ανακατασκευής και το βαθμό συμπίεσης των εσωτερικών αναπαραστάσεων. Έπειτα παρουσιάζουμε και ορίζουμε δύο συναρτήσεις ενεργοποίησης (Ταυτότητα, ReLU) ως βάσεις αναφοράς και τρεις αραιές συναρτήσεις ενεργοποίησης (Απόλυτα κ-μέγιστα, Δείκτες συγκέντρωσης ακρότατων, Ακρότατα) ως υποψήφιες δομές για την ελαχιστοποίηση του προηγουμένως ορισμένου μέτρου φ. Τέλος προτείνουμε μια νέα αρχιτεκτονική Νευρωνικών Δικτύων, τα Δίκτυα Αραιής Ενεργοποίησης (SANs), τα οποία αποτελούνται από πυρήνες με κοινά βάρη που κατά την κωδικοποίηση συνελλίσονται με την είσοδο και στη συνέχεια διέρχονται μέσω μιας συνάρτησης αραιής ενεργοποίησης. Κατά τη διάρκεια της αποκωδικοποίησης, τα ίδια βάρη συνελλίσονται με τον χάρτη αραιής ενεργοποίησης και έπειτα οι μερικές ανακατασκευές από κάθε βάρος αθροίζονται για να ανακατασκευάσουν την είσοδο. Συγκρίνουμε τα SANs χρησιμοποιώντας τις προηγουμένως ορισμένες συναρτήσεις ενεργοποίησης σε ένα σύνολο από βάσεις δεδομένων (15 βάσεις δεδομένων από την Physionet και EEG από την UCI για ταξινόμηση επιληπτικών κρίσεων) και δείχνουμε ότι τα SANs που επιλέγονται με χρήση του φ έχουν αναπαραστάσεις με μικρό μήκος περιγραφής και περιέχουν ερμηνεύσιμους πυρήνες.