Empowering intelligent classrooms with attention monitoring and intervention cycles

Abstract

The primary goal of an AmI environment is to help and support the people living in it; towards that objective it should be able to identify a user need and act accordingly. Many research approaches and commercial tools have focused on realizing this concept, which follows the paradigm of the trigger-action model; however, the majority of them poses several limitations (e.g., one trigger can be connected to a single action, artifact-oriented triggers mainly). The domain of education would particularly benefit from an AmI environment able to monitor students during their educational activities and intervene when deemed necessary to help, support or motivate them so as to promote the learning process. Nevertheless, despite the fact that the concept of the Intelligent Classroom has gained much attention from researchers over the past decade, none of the approaches proposed so far offers a generic, scalable, fast and easy way to connect triggers with actions. Aiming to bridge this gap, this thesis presents a framework and an authoring tool that support both developers and educators in defining the behaviors (triggers) that lead to context-aware interventions (actions). Following an extensive literature review and an iterative elicitation process –based on multiple collection methods such as brainstorming, focus groups, observation and scenarios– the high-level functional and non-functional requirements that both the framework and authoring tool should satisfy were identified. Based on those findings, this work aims to equip the Intelligent Classroom with mechanisms that monitor the learners' attention levels and intervene, when necessary, to (i) provide motivating activities to distracted, unmotivated or tired individuals or (ii) suggest to educators alternative methodologies which would be beneficial for the entire classroom. In more detail, the LECTOR framework offers a mechanism for identifying student behaviors that require remedial actions and intervening when the students need help or support. This mechanism relies on “if-then” rules -created either by developers or by educators- to define the behavior of the classroom environment. In order to ensure scalability and simplify rules’ management, a three (3) step process for connecting a behavior with an intervention was introduced. In more detail, the first step requires the user to define a behavior, next the conditions under which the behavior becomes a trigger have to be described, and during the last step connections between a trigger and appropriate interventions are created. This decomposition permits a behavior to be associated with multiple triggers, and a trigger with multiple interventions that alternate depending on the context of use. Furthermore, in contrast to the artifact-oriented recipes that are currently supported by the majority of such tools, LECTOR’s rule structure supports the creation of user-oriented intervention scenarios.Furthermore, LECTOR introduces a sophisticated authoring tool, named LECTORstudio, which aims to support both developers and educators in creating rules that describe behaviors, triggers, and interventions. However, since developers require further assistance in order to integrate the appropriate building blocks necessary for programming the AmI environment (e.g., actors, context, interventions), LECTORstudio also provides such functionality through intuitive user interfaces.Lastly, in order to further support the targeted end-users of the Intelligent Classroom environment (i.e., students and educators), this work also features three (3) additional tools: LECTORviewer, NotifEye and CognitOS. The former two (namely LECTORviewer and NotifEye) aim to support educators in having an overview of the students’ attention levels and providing their input regarding ambiguous behaviors or scheduled interventions that aim to re-engage distracted, tired or unmotivated students. CognitOS on the other hand, is a sophisticated web-based working environment for students that hosts a variety of educational applications, which constitute the communication channels through which LECTOR presents the interventions.

Ο πρωταρχικός στόχος ενός περιβάλλοντος Διάχυτης Νοημοσύνης (ΔΝ) είναι να βοηθά και να υποστηρίζει τους ανθρώπους που ζουν και κινούνται μέσα σε αυτό. Για αυτό το λόγο, ένα τέτοιο περιβάλλον θα έπρεπε να μπορεί να αναγνωρίσει τις ανάγκες των χρηστών του και να αντιδρά κατάλληλα για να τις ικανοποιήσει. Αυτή η ιδέα δεν είναι καινούρια, πολλές ερευνητικές μελέτες αλλά και εμπορικά εργαλεία έχουν προσπαθήσει να την υλοποιήσουν ακολουθώντας το διαδεδομένο μοντέλο «έναυσμα-δράση» (trigger-action). Ωστόσο, οι περισσότερες από αυτές τις προσεγγίσεις έχουν αρκετά μειονεκτήματα όπως το γεγονός ότι ένα έναυσμα (trigger) μπορεί να οδηγήσει σε μία και μόνο δράση (action) ή την απαίτηση τα περισσότερα εναύσματα (triggers) να προέρχονται από συγκεκριμένες καταστάσεις συσκευών και όχι από ανθρώπινες ενέργειες. Ο τομέας της εκπαίδευσης θα επωφελούνταν τα πλείστα από ένα περιβάλλον Διάχυτης Νοημοσύνης που έχει τη δυνατότητα να παρακολουθεί τους μαθητές κατά τη διάρκεια των εκπαιδευτικών τους δραστηριοτήτων και να επεμβαίνει –όταν κριθεί απαραίτητο– για να τους βοηθήσει και να τους υποστηρίξει υποβοηθώντας με αυτόν το τρόπο την διαδικασία μάθησης. Παρόλο που η ιδέα της Έξυπνης Τάξης βρίσκεται ήδη αρκετά χρόνια στο προσκήνιο, καμία από τις έως τώρα διαθέσιμες προσεγγίσεις δεν προσφέρει ένα γενικό, επεκτάσιμο, γρήγορο και εύκολο τρόπο να συνδέονται εναύσματα (triggers) με δράσεις (actions).Προσπαθώντας να καλύψει αυτό το κενό, αυτή η διατριβή παρουσιάζει μία υποδομή (framework) και ένα εργαλείο συγγραφής (authoring tool) για να διευκολύνει τους προγραμματιστές αλλά και τους εκπαιδευτικούς να συνδέσουν συμπεριφορές μαθητών (εναύσματα) με παρεμβάσεις (δράσεις). Ακολουθώντας μία εκτενή βιβλιογραφική έρευνα και μία επαναληπτική διαδικασία συλλογής πληροφοριών –βασισμένη σε πολλές μεθόδους όπως κατιδεασμός, ομάδες εστίασης, παρατήρηση και κατασκευή σεναρίων– αναγνωρίστηκαν οι βασικές λειτουργικές και μη-λειτουργικές απαιτήσεις του συστήματος. Έχοντας ως βάση αυτά τα ευρήματα, αυτή η εργασία στοχεύει να εξοπλίσει την Έξυπνη Τάξη με μηχανισμούς που παρακολουθούν τα επίπεδα προσοχής των μαθητών και επεμβαίνουν όταν είναι απαραίτητο για: (α) να παρέχουν συναρπαστικές δραστηριότητες σε μαθητές που έχουν χάσει το κίνητρο να συμμετέχουν ή έχουν κουραστεί ή έχουν αποσπαστεί από τις τρέχουσες δραστηριότητες, ή (β) να προτείνουν εναλλακτικές μεθοδολογίες στους καθηγητές για να τα κερδίσουν την προσοχή του συνόλου των μαθητών της τάξης. Συγκεκριμένα, η υποδομή LECTOR προσφέρει έναν μηχανισμό που χρησιμοποιεί τις τεχνολογίες που υπάρχουν ήδη στην Έξυπνη Τάξη για να αναγνωρίζει συμπεριφορές μαθητών που απαιτούν επανορθωτικές ενέργειες και να επεμβαίνει όταν οι μαθητές χρειάζονται βοήθεια ή υποστήριξη. Αυτός ο μηχανισμός βασίζεται σε κανόνες της μορφής «if-then» –που έχουν δημιουργηθεί είτε από προγραμματιστές είτε από εκπαιδευτικούς– για να ορίσει τη συμπεριφορά του περιβάλλοντος της τάξης. Επιπλέον, εισάγεται μία διαδικασία τριών (3) βημάτων για τη σύνδεση συμπεριφορών και παρεμβάσεων. Αρχικά απαιτείται ο ορισμός των συμπεριφορών, στη συνέχεια ο ορισμός των συνθηκών κάτω από τις οποίες μία συμπεριφορά αποτελεί έναυσμα για παρέμβαση, και τέλος η σύνδεση των συμπεριφορών με τις κατάλληλες παρεμβάσεις. Αυτός ο κατακερματισμός επιτρέπει μια συμπεριφορά να συνδεθεί με πολλαπλά εναύσματα (triggers), και ένα έναυσμα με πολλαπλές παρεμβάσεις. Επιπλέον, ένα ακόμα χαρακτηριστικό των κανόνων που μπορούν να δημιουργηθούν είναι ότι υποστηρίζουν τη δημιουργία ανθρωποκεντρικών και όχι συσκευο-κεντρικών σεναρίων, εν αντιθέσει με τους κανόνες που ήδη υποστηρίζονται από την πλειοψηφία των σχετικών εργαλείων.Επιπροσθέτως, ο LECTOR προσφέρει ένα εργαλείο συγγραφής (authoring tool) που ονομάζεται LECTORstudio και στοχεύει να βοηθήσει τόσο τους προγραμματιστές όσο και τους εκπαιδευτικούς να δημιουργούν κανόνες που περιγράφουν συμπεριφορές, εναύσματα, και παρεμβάσεις. Ωστόσο, επειδή οι προγραμματιστές χρειάζονται επιπλέον εργαλεία για να ενσωματώσουν τα δομικά στοιχεία που είναι απαραίτητα για τον προγραμματισμό του περιβάλλοντος της Έξυπνης Τάξης (π.χ., πλαίσιο χρήσης, παρεμβάσεις, συσκευές παρουσίασης παρεμβάσεων), το LECTORstudio προσφέρει την κατάλληλη λειτουργικότητα μέσα από εύχρηστες γραφικές διεπαφές.Τέλος, έχοντας ως στόχο την υποστήριξη των τελικών χρηστών της Έξυπνης Τάξης (δηλ. των μαθητών και των εκπαιδευτικών), αυτή η εργασία προσφέρει επιπλέον τρία (3) εργαλεία: LECTORviewer, NotifEye και CognitOS. Τα δυο πρώτα (LECTORviewer και NotifEye) έχουν ως στόχο να προσφέρουν στους εκπαιδευτικούς τη δυνατότητα εκτενούς εποπτείας των εναυσμάτων που ανιχνεύονται από τον LECTOR και έκφρασης της δικής τους εκτίμησης για διφορούμενες συμπεριφορές ή για παρεμβάσεις που πρόκειται σύντομα να ξεκινήσουν. Τέλος, το CognitOS αποτελεί ένα περιβάλλον εργασίας για μαθητές το οποίο, μεταξύ άλλων, φιλοξενεί πλήθος εκπαιδευτικών εφαρμογών που χρησιμοποιούνται από το LECTOR ως τα κανάλια παρουσίασης και εφαρμογής παρεμβάσεων.