Collective artificial intelligence and personalized educational interactions in learning new skills

Abstract

Social Learning has been an exciting area in Artificial Intelligence for researching learning mechanisms for in multi-agent game playing systems, besides being a useful concept in diverse science areas, like sociology, economics and marketing. The agent-based simulation of social organizations, based on the investigation of agents’ training and learning tactics and strategies, has been inspired by the ability of humans to learn from social environments which are rich in interactions between peers and partial or hidden information. Such richness is a source of complexity that an effective learner has to be able to navigate. Introducing socially inspired dynamics in multi-agent environments is perceived as a promising approach to simulate realistic human-like playing behaviors and highlight the importance of collectively gained knowledge.In this thesis, we first investigate the performance of synthetic agents in playing and learning scenarios in a turn-based zero-sum game and we highlight the ability of opponent-based learning player models to demonstrate a competitive playing edge in social environments. Synthetic agents are generated based on a variety of combinations of some key learning parameters, such as exploitation-vs-exploration trade-off, the ability to look back in time and the ability to project in the future, as well as the speed of learning. These synthetic agents, then, interact over a very large number of games and the experimental data is analyzed to identify clusters of agents which demonstrate interesting associations between the learning parameters and eventual performance ranking. Additionally, we examine how synthetic agents interact in social environments employing a variety of training strategies against diverse opponents. This training and playing experimentation indicates that quality playing relies more on the correct set-up of the learning mechanism than on experience. We, also, investigate the learning progress of inexperienced agents in competitive game playing social environments, and we aim to determine the effect of a knowledgeable opponent on a novice learner. An investigation of the impact of the environmental complexity on the game playing-and-learning behavior of synthetic agents also sheds light on how an effective player has to adapt its learning and playing profile to maintain a given performance profile, when the complexity of a social environment changes. To support our claims, we also conduct a large-scale evaluation of existing rating methods and, as we highlight an inconsistency in how these methods treat synthetic agents, we come up with a proposal for a new rating approach. This approach can be regarded as a base for developing rating systems for multi-agent systems and we demonstrate experimentally its effectiveness.We conclude the thesis by presenting a method, where a synthetic agent experiments with varying the ordering of opponent selection from a group of diverse agents to determine a “best fit for learning” opponent sequence; initial results suggest that good progress and stable evolution arise when an agent faces opponents of increasing capacity, and that an agent with a good learning mechanism set-up progresses better when it faces less favorably set-up agents.The simulation of social societies, as in the previously mentioned experiments, requires vast amounts of computing resources, which must be managed over distributed or high performance computing infrastructures to provide for cost-effective experimentation. To that end, this thesis presents a novel platform for the segmentation and management of social simulation experiments in game-playing multi-agent systems. The platform is managed through a web-based graphical user interface, to combine the advantages of powerful grid infrastructure middleware and sophisticated workflow systems in a way that some generic functionality is sacrificed for the benefit of obtaining a smooth and brief learning curve, without compromising security. Last but not least, this platform can serve as a generic test bed for fellow researchers to experiment with their own turn-based zero-sum games.

Η Κοινωνική Μάθηση (Social Learning) αποτελεί μια νέα, σημαντική περιοχή έρευνας στον τομέα της Τεχνητής Νοημοσύνης (Artificial Intelligence) και συγκεκριμένα στην μελέτη των μηχανισμών μάθησης των πολυπρακτορικών συστημάτων (Multi-Agent Systems) παιχνιδιού. Επίσης, θεωρείτε ένας σημαντικός άξονας μελέτης και εφαρμογών για διάφορους επιστημονικούς τομείς, όπως η κοινωνιολογία, η οικονομία και το μάρκετινγκ. Οι κοινωνικοί οργανισμοί (Social Organizations), βασιζόμενοι στα συστήματα προσομοίωσης με πράκτορες, καθώς και η μελέτη/διερεύνηση των στρατηγικών/τεχνικών εκπαίδευσης και μάθησης των πρακτόρων, εμπνεύστηκαν από την ικανότητα των ανθρώπων να μαθαίνουν από κοινωνικά περιβάλλοντα που είναι πλούσια σε κρυφές πληροφορίες και σε αλληλεπιδράσεις μεταξύ οντοτήτων (π.χ. ανθρώπων). Αυτός ο πλούτος του περιβάλλοντος, είναι μια πηγή πολυπλοκότητας όπου ένας μαθητευόμενος πρέπει να μπορεί να πλοηγηθεί ορθά και αποτελεσματικά σύμφωνα με τον στόχο του. Η εισαγωγή της κοινωνικής δυναμικής στα πολυπρακτορικά περιβάλλοντα, θεωρείται ως μια πολλά υποσχόμενη προσέγγιση για την προσομοίωση ρεαλιστικών συμπεριφορών παιχνιδιού, συμπεριφορές που μοιάζουν με ανθρώπινες, καθώς και για την ανάδειξη της σημαντικότητας της Συλλογικής Γνώσης (Collective Knowledge).Η διατριβή αυτή, στοχεύει στην έρευνα της απόδοσης των συνθετικών πρακτόρων (Synthetic Agents) σε σενάρια μάθησης και παιξίματος σε παιχνίδια στρατηγικής με μηδενικό άθροισμα (Zero-Sum). Επίσης, αναδεικνύουμε την σημαντικότητα και την ικανότητα των μοντέλων μάθησης με βάση τον αντίπαλο (Opponent Based Learning), που παρουσιάζουν τα ανταγωνιστικά κοινωνικά περιβάλλοντα με στόχο την αποδοτικότερη μάθηση και παίξιμο ενός πράκτορα.Οι συνθετικοί πράκτορες σχεδιάστηκαν και αναπτύχθηκαν με βάση διάφορους συνδυασμούς κάποιων βασικών παραμέτρων μάθησης, όπως η επιλογή μεταξύ εξερεύνησης και εκμετάλλευσης γνώσης, ταχύτητα μάθησης κ.α.. Στη συνέχεια, οι συνθετικοί πράκτορες αλληλεπιδρούν σε μεγάλους αριθμούς παιχνιδιών και τα πειραματικά δεδομένα αναλύονται για τον προσδιορισμό των ομαδοποιήσεων τους, που παρουσιάζουν σημαντικές συσχετίσεις μεταξύ των παραμέτρων μάθησης και την τελική κατάταξη των επιδόσεων τους.Επιπλέον, εξετάζουμε πώς οι συνθετικοί πράκτορες αλληλεπιδρούν σε κοινωνικά περιβάλλοντα, χρησιμοποιώντας διάφορες στρατηγικές εκπαίδευσης εναντίον διαφόρων αντιπάλων (πράκτορες με διαφορετικά χαρακτηριστικά μάθησης και παιξίματος). Αυτός ο πειραματισμός εκπαίδευσης και παιξίματος, αναδεικνύει πως η ποιότητα του παιξίματος εξαρτάται περισσότερο από τη ορθή παραμετροποίηση του μηχανισμού μάθησης παρά από την εμπειρία.Εξετάζουμε επίσης, την πρόοδο/εξέλιξη της μάθησης των άπειρων πρακτόρων σε κοινωνικά περιβάλλοντα ανταγωνιστικών παιχνιδιών, στοχεύοντας στον προσδιορισμό της επίδρασης ενός έμπειρου αντιπάλου σε έναν αρχάριο πράκτορα. Η διερεύνηση των επιπτώσεων της πολυπλοκότητας του περιβάλλοντος στη συμπεριφορά παιξίματος και μάθησης των συνθετικών πρακτόρων, αναδεικνύει τον τρόπο με τον οποίο ένας αποτελεσματικός παίκτης πρέπει να προσαρμόσει το προφίλ μάθησης και παιξίματος του, για να διατηρήσει ένα συγκεκριμένο προφίλ απόδοσης, όταν η πολυπλοκότητα τους κοινωνικού περιβαλλοντικές μεταβάλλεται.Για την επιβεβαίωση των πειραμάτων αποτελεσμάτων, διεξάγουμε μια αξιολόγηση, μεγάλης κλίμακας, των υπαρχουσών μεθόδων αξιολόγησης της επίδοσης των παικτών (Elo και Glicko), εφαρμοσμένες σε πολυπρακτορικά συστήματα, όπου τονίζεται μια ασυνέπεια (ασυμφωνία) ως προς τον τρόπο με τον οποίο οι προαναφερθέν μέθοδοι αξιολογούν της επιδόσεις των συνθετικών πρακτόρων. Στην συνέχεια, προτείνουμε μία νέα προσέγγιση αξιολόγησης της επίδοσης των πρακτόρων. Η προσέγγιση αυτή, μπορεί να θεωρηθεί ως βάση για την ανάπτυξη μεθόδων αξιολόγησης της επίδοσης παικτών για πολυπρακτορικά συστήματα. Με ένα μεγάλο αριθμό πειραμάτων αποδεικνύεται η αποτελεσματικότητά της προσέγγισης που προτάχθηκε.Επίσης, στα πλαίσια της διατριβής αυτής, παρουσιάζεται μία μέθοδος επιλογής αντιπάλου από μία ομάδα διαφορετικών πρακτόρων, με σκοπό την αποτελεσματικότερη μάθηση και παίξιμο. Μελετήθηκε ένας συνθετικός πράκτορας (με προφίλ καλού παίκτη) όπου πειραματίζεται σε παιχνίδια στρατηγικής με διάφορες αλληλουχίες διαφορετικών αντιπάλων (πράκτορες με διαφορετικά χαρακτηριστικά παιξίματος και επιδόσεις) για τον προσδιορισμό της αλληλουχίας που θα του προσφέρει την "αποτελεσματικότερη μάθησης". Τα αποτελέσματα των πειραμάτων, δείχνουν ότι η αποτελεσματικότερη πρόοδος και η σταθερότερη εξέλιξη ενός πράκτορα, προκύπτει όταν αυτός αντιμετωπίζει αρχικά αντιπάλους με χειρότερο προφίλ παιξίματος από το δικό του και σταδιακά επιλέγει αντιπάλους με καλύτερο προφίλ παιξίματος. Επίσης, οι μελέτες δείχνουν πως ένας συνθετικός πράκτορας με σωστά διαμορφωμένο/παραμετροποιημένο μηχανισμό μάθησης αποδίδει καλύτερα όταν αντιμετωπίζει λιγότερο ευνοϊκά διαμορφωμένους πράκτορες.Η προσομοίωση των κοινωνικών περιβαλλόντων, όπως στα προαναφερθέντα πειράματα, απαιτεί τεράστιους υπολογιστικούς πόρους. Για τον λόγο αυτό τα πειράματα της διατριβής αυτής διαχειρίστηκαν μέσω κατανεμημένων ή υψηλής απόδοσης υπολογιστικών υποδομών, όπως οι υποδομές του HellasGrid. Για το σκοπό αυτό, η διατριβή αυτή, παρουσιάζει μια νέα πλατφόρμα με διάφορες καινοτομίες για την τμηματοποίηση και τη διαχείριση των πειραμάτων κοινωνικής προσομοίωσης, πολυπρακτορικά συστήματα παιχνιδιών. Η πλατφόρμα αυτή, διαχειρίζεται μέσω ενός διαδικτυακού γραφικού περιβάλλοντος χρήστη, συνδυάζοντας τα πλεονεκτήματα των υπολογιστικών υποδομών υψηλής απόδοσης (HellasGrid), του δυναμικού ενδιάμεσου λογισμικού τους (Middleware) και των εξελιγμένων συστημάτων ροής εργασίας, με τρόπο που ορισμένες γενικές λειτουργίες θυσιάζονται προς όφελος της απόκτησης μιας ομαλής και σταθερής εξέλιξης των κατανεμημένων υπο-πειραμάτων, χωρίς να διακυβεύεται η ασφάλεια όλων των συστημάτων. Τέλος, η πλατφόρμα αυτή μπορεί να χρησιμοποιηθεί από ερευνητές του τομέα της μηχανικής μάθησης, για να πειραματιστούν με τα δικά τους παιχνίδια, μηδενικού αθροίσματος και τους δικούς τους μηχανισμού μάθησης πρακτόρων.