Deep reinforcement learning algorithms for intelligent agents in virtual environments

Abstract

The objective of the present dissertation is the construction of intelligent agents, based on deep reinforcement learning methods, and their application on virtual environments spanning visual, auditory and tabular domains. In the visual domain, we applied deep reinforcement learning in conjunction with neural state abstraction to create an agent capable of navigating a maze environment based on Minecraft using only raw visual information. Furthermore, we devised an improved version of ε-greedy exploration based on adversarial neural networks and showed that a deep reinforcement learning agent using this exploration scheme can more efficiently navigate Minecraft maze environments and play a two-dimensional side-scrolling game called Super Mario Bros. In the auditory domain, we created an environment, using the Unity game engine, where a number of human speakers are present in various places within a room, and created a deep reinforcement learning agent capable of navigating the room and guiding itself towards a given speaker using only auditory information. In the tabular domain, we employed deep reinforcement learning along with a variable batch training technique to create an agent capable of achieving perfect play on a board game called L-Game, given an array of the state of the board after each player move, while requiring less data to train. Combining the audio and tabular domains, we expressed the problem of optimizing the parameters of the post-processing stack applied to the predictions of an Audio Event Detection system as a Markov Decision Process. We employed deep reinforcement learning as a way of exploring the parameter space and finding the values for each parameter which maximize the final audio event classification performance of the detector system, given an array of the detector system predictions.

Αντικείμενο της παρούσης διατριβής είναι η δημιουργία ευφυών πρακτόρων, βασισμένων σε μεθόδους βαθιάς ενισχυτικής μάθησης, και η εφαρμογή τους σε εικονικά περιβάλλοντα που αφορούν τους τομείς εικόνας, ήχου και πινάκων. Στο τομέα της εικόνας, εφαρμόσαμε βαθιά ενισχυτική μάθηση σε συνδυασμό με νευρωνική αφαιρετική μέθοδο καταστάσεων για τη δημιουργία ενός πράκτορα ικανού να περιηγείται σε περιβάλλον λαβύρινθου βασισμένου στο Minecract, χρησιμοποιώντας μόνο ακατέργαστη οπτική πληροφορία. Περαιτέρω, εφηύραμε μία βελτιωμένη εκδοχή της ε-greedy εξερεύνησης, βασισμένη σε ανταγωνιστικά νευρωνικά δίκτυα, και δείξαμε ότι ένας πράκτορας βαθιάς ενισχυτικής μάθησης που χρησιμοποιεί αυτή τη μέθοδο εξερεύνησης μπορεί να περιηγηθεί πιο αποδοτικά σε περιβάλλοντα λαβύρινθου του Minecraft και να παίζει το δισδιάστατο παιχνίδι πλατφόρμας Super Mario Bros. Στο τομέα του ήχου, δημιουργήσαμε ένα περιβάλλον, χρησιμοποιώντας τη μηχανή του Unity, όπου ομιλητές είναι παρόντες σε διάφορα σημεία μέσα σε ένα δωμάτιο, και επίσης δημιουργήσαμε έναν πράκτορα βαθιάς ενισχυτικής μάθησης ικανό να περιηγείται σε αυτό το δωμάτιο και να οδηγεί τον εαυτό του πρός κάποιον καθορισμένο ομιλητή χρησιμοποιώντας μόνο ακουστική πληροφορία. Στο τομέα των πινάκων, εφαρμόσαμε βαθιά ενισχυτική μάθηση σε συνδυασμό με μια τεχνική εκπαίδευσης μεταβλητού μεγέθους συστάδας για τη δημιουργία ενός πράκτορα ικανού για την επίτευξη τέλειου παιξίματος στο επιτραπέζιο παιχνίδι L-Game, δοθέντος ενός πίνακα με την κατάσταση του παιχνιδιού μετά την κίνηση κάθε παίκτη, ενώ απαιτεί λιγότερα δεδομένα για την εκπαίδευσή του. Συνδυάζοντας τους τομείς του ήχου και των πινάκων, εκφράσαμε το πρόβλημα της βελτιστοποίησης των παραμέτρων της στοίβας μετα-επεξεργασίας που εφαρμόζεται στις προβλέψεις ενός συστήματος Ανίχνευσης Ακουστικών Συμβάντων ως μία Μαρκοβιανή Διεργασία Αποφάσεων. Εφαρμόσαμε βαθιά ενισχυτική μάθηση ως έναν τρόπο εξερεύνησης του χώρου των παραμέτρων, με σκοπό την εύρεση των τιμών για κάθε παράμετρο οι οποίες μεγιστοποιούν την τελική απόδοση κατηγοριοποίησης ακουστικών συμβάντων του συστήματος ανίχνευσης, δοθέντος ενός πίνακα με τις προβλέψεις του συστήματος.