Fuzzy based computational models of emotion for monitoring students' affective trajectories

Abstract

Affective computing (AC) is an emerging multidisciplinary field, which aims to bridge the gap between the highly emotional human and the emotionally challenged computer, in order to provide a higher level of human machine interaction. This Thesis contributes to AC research by proposing new emotion representations and by developing novel computational mechanisms and methodological frameworks to be utilised by AC systems. This research is conducted under an educational scope however it is not limited to an educational context since the methodologies presented can be applied in a number of different areas, thus offering a large potential of future research directions. The contributions of this research fall under the scope of AC, machine learning, and the psychological theories aiming to understand human emotion. More specifically, a contextualized and personalised version of the Affective Trajectories hypothesis is presented, extending on the original theory, and providing a framework for its utilization by AC systems. A fuzzy mechanism for knowledge extraction and adaptation is developed achieving an improved classification performance compared to the computational methods it relied upon. A novel computational model of emotion the AV-AT model is proposed to provide AC researchers with a tool for efficiently describing user's affective state. Lastly a novel hierarchical fuzzy method is developed, consisting of a genetically optimized adaptive fuzzy system, and a Fuzzy Cognitive Map. This method incorporates low-level information concerning the basic elements of a student's affective trajectory through time, and high-level information of the affective transitions a student experiences, to model students' affective trajectories during learning tasks. The affective transitions of students are explored in the context of problem based learning pedagogical frameworks. A novel scenario based survey design is introduced to elicit affect information. Finally, an offline adaptation process, which enables the development of pre-trained personalised systems, is presented.

Η Συναισθηματική Επιστήμη των Υπολογιστών (ΣΕΠ) είναι ένας αναδυόμενος πολύ-επιστημονικός τομέας, ο οποίος στοχεύει να γεφυρώσει το χάσμα μεταξύ του εξαιρετικά συναισθηματικού ανθρώπου και του συναισθηματικά περιορισμένου υπολογιστή, προκειμένου να παρέχει ένα υψηλότερο επίπεδο αλληλεπίδρασης ανθρώπου - μηχανής. Αυτή η διατριβή συμβάλλει στην έρευνα του ΣΕΠ, προτείνοντας νέες αναπαραστάσεις συναισθημάτων και αναπτύσσοντας νέους υπολογιστικούς μηχανισμούς και μεθοδολογικά πλαίσια που θα χρησιμοποιηθούν από συστήματα ΣΕΠ. Αυτή η έρευνα διεξάγεται στην εκπαίδευση, ωστόσο δεν περιορίζεται μόνο στο εκπαιδευτικό πλαίσιο, καθώς οι μεθοδολογίες που παρουσιάζονται μπορούν να εφαρμοστούν σε πολλούς διαφορετικούς τομείς, προσφέροντας έτσι ένα μεγάλο εύρος μελλοντικών κατευθύνσεων έρευνας. Οι συνεισφορές αυτής της έρευνας εμπίπτουν στο πεδίο ΣΕΠ, της μηχανικής μάθησης και των ψυχολογικών θεωριών που στοχεύουν στην κατανόηση του ανθρώπινου συναισθήματος. Πιο συγκεκριμένα, παρουσιάζεται μια προσαρμοσμένη και εξατομικευμένη εκδοχή της υπόθεσης των Συναισθηματικών Τροχιών, η οποία επεκτείνει την αρχική θεωρία και παρέχει ένα πλαίσιο για τη χρήση της από συστήματα ΣΕΠ. Αναπτύχθηκε ένας μηχανισμός ασαφής λογικής για την εξαγωγή και προσαρμογή γνώσης, ο οποίος πέτυχε βελτιωμένη απόδοση ταξινόμησης σε σύγκριση με τις υπολογιστικές μεθόδους στις οποίες βασίστηκε. Ένα νέο υπολογιστικό μοντέλο συναισθημάτων, το μοντέλο AV-AT, προτείνεται για να παρέχει στους ερευνητές ΣΕΠ ένα εργαλείο για την αποτελεσματική περιγραφή της συναισθηματικής κατάστασης του χρήστη. Τέλος, αναπτύσσεται μια νέα ιεραρχική μέθοδο ασαφής λογικής, που αποτελείται από ένα γενετικά βελτιστοποιημένο προσαρμοστικό σύστημα ασαφής λογικής και έναν γνωστικό χάρτη ασαφής λογικής. Αυτή η μέθοδος ενσωματώνει πληροφορίες χαμηλού επιπέδου σχετικά με τα βασικά στοιχεία της συναισθηματικής τροχιάς ενός μαθητή στο χρόνο, και πληροφορίες υψηλού επιπέδου για τις συναισθηματικές μεταβάσεις που βιώνει ένας μαθητής, για να μοντελοποιήσει τις συναισθηματικές τροχιές των μαθητών κατά τη διάρκεια μαθησιακών εργασιών. Οι συναισθηματικές μεταπτώσεις των μαθητών διερευνώνται στο πλαίσιο του παιδαγωγικού πλαισίου μάθησης βάσει προβλημάτων. Ένας νέος σχεδιασμός έρευνας που βασίζεται σε σενάρια εισάγεται για την εξαγωγή δεδομένων σχετικών με το συναίσθημα. Τέλος, παρουσιάζεται μια διαδικασία προσαρμογής εκτός σύνδεσης, η οποία επιτρέπει την ανάπτυξη προ-εκπαιδευμένων εξατομικευμένων συστημάτων.