Parallel and distributed methods for autonomous design of artificial neural networks

Abstract

In recent years, neural networks in the form of deep learning have re-ignited a widespread interest in artificial intelligence. The applications that leverage deep learning have automated several conceptionally easy tasks that are hard to express algorithmically. Examples include identifying objects in an image, counting the number of occurrences for the same object, autonomous driving and accurate speech-to-text. While deep learning enables the automation of such tasks without explicitly instructing the machine, intricate neural architectures are employed. These architectures require several person-hours and computational resources to design them. Furthermore, expertise both in neural networks and in the specific field of application are pre-requisites.Neural architecture search aims to automate the process of designing the networks by several different approaches, including metaheuristics, reinforcement learning, and differentiable methods. This thesis employs and studies parallel and distributed neural architecture search algorithms. The efficiency and effectiveness of the implemented algorithms are studied and speed-up techniques that are widely adopted but have not been studied in-depth before. Furthermore, under the scope of the thesis, an open-source library aimed at distributed neural architecture search has been developed. Finally, the thesis contributes to the field of neural architecture search by verifying the effectiveness and showing the limitations of methods such as reduced epoch training, distributed evolutionary search methods, distributed differentiable methods, and employing neural architecture search methods for graph convolutional networks.

Τα τελευταία χρόνια, τα νευρωνικά δίκτυα με τη μορφή του deep learning έχουν αναζωπυρώσει το ενδιαφέρον για την τεχνητή νοημοσύνη. Οι εφαρμογές που αξιοποιούν το deep learning έχουν αυτοματοποιήσει αρκετές εργασίες που είναι δύσκολο να εκφραστούν αλγοριθμικά. Τα παραδείγματα περιλαμβάνουν αναγνώριση αντικειμένων σε μια εικόνα, μέτρηση του αριθμού των εμφανίσεων για το ίδιο αντικείμενο, αυτόνομη οδήγηση και ακριβή μετατροπή ομιλίας σε κείμενο. Ενώ το deep learning επιτρέπει την αυτοματοποίηση τέτοιων εργασιών χωρίς ρητές οδηγίες προς τον υπολογιστή, χρειάζονται πολύπλοκες νευρωνικές αρχιτεκτονικές. Αυτές οι αρχιτεκτονικές απαιτούν αρκετές ώρες και υπολογιστικούς πόρους για να σχεδιαστούν. Επιπλέον, απαραίτητη προϋπόθεση είναι η τεχνογνωσία τόσο στα νευρωνικά δίκτυα όσο και στο συγκεκριμένο πεδίο εφαρμογής. Η αναζήτηση νευρωνικής αρχιτεκτονικής (Neural Architecture Search) στοχεύει στην αυτοματοποίηση της διαδικασίας σχεδιασμού των δικτύων με πολλές διαφορετικές προσεγγίσεις, συμπεριλαμβανομένων της μεταευρετικής, της ενισχυτικής μάθησης και των διαφοροποιήσιμων μεθόδων. Η παρούσα διατριβή χρησιμοποιεί και μελετά παράλληλους και κατανεμημένους αλγόριθμους αναζήτησης νευρωνικής αρχιτεκτονικής. Μελετώνται η αποδοτικότητα και η αποτελεσματικότητα των εφαρμοζόμενων αλγορίθμων και τεχνικές επιτάχυνσης που έχουν υιοθετηθεί ευρέως αλλά δεν έχουν μελετηθεί στο παρελθόν σε βάθος. Επιπλέον, στο πλαίσιο της διατριβής, έχει αναπτυχθεί μια βιβλιοθήκη ανοιχτού κώδικα που στοχεύει στην κατανεμημένη αναζήτηση νευρωνικής αρχιτεκτονικής. Τέλος, η διατριβή συνεισφέρει στον τομέα της αναζήτησης νευρωνικής αρχιτεκτονικής επαληθεύοντας την αποτελεσματικότητα και δείχνοντας τους περιορισμούς μεθόδων όπως είναι η εκπαίδευση με μειωμένες εποχές, οι κατανεμημένες εξελικτικές μέθοδοι αναζήτησης, οι κατανεμημένες διαφορίσιμες μέθοδοι και η χρήση μεθόδων αναζήτησης νευρωνικής αρχιτεκτονικής για συνελικτικά δίκτυα γράφων (Graph Convolutional Networks).