Supporting young children in ambient intelligence environments

Abstract

Ambient Intelligence (AmI) is a vision of the future information society stemming from the convergence of ubiquitous computing, communication and intelligent user-friendly interfaces. Many AmI applications aim to improve and enhance everyday living activities for a variety of target user groups, including non-traditional users of interactive technologies. However, the potential benefits and impact of AmI technologies for children is underinvestigated. This work aims to build an Ambient Intelligence (AmI) environment which is capable of supporting the development of young children through playing. In order to achieve this goal, this thesis proposes an AmI technological framework to support the design, development and deployment of innovative games. These games are capable of monitoring and evaluating children’s skills and abilities, while, on the other hand, enhancing children playing experience as they adapt to meet the continuously changing playing maturity. At the same time, children’s needs for activity, exercise and pleasure are optimally covered while also providing opportunities for creativity.The proposed technological framework facilitates the creation of smart games that share unique features such as: a) being adaptive to children’s skills and abilities, b) being able to establish the appropriate communication channels with children (verbal or non-verbal) c) allowing children to have the control so that with practice they are able to play unsupported and thus develop their self-esteem and independence, d) improving motivation, and f) reducing fear of failure. For producing the proposed technological framework, the stakeholders (i.e. young children, their parents as well as early intervention professionals) were initially identified and their requirements were collected and analysed. This resulted into the elaboration of functional and non-functional requirements allowing the definition of interaction scenarios within the context of AmI environments. Regarding the framework implementation, a service-oriented architecture was conceived, along with the elaboration of various subsystems. The various components were designed and built based on a generic architecture, so as to support knowledge management annotation and extraction, alternative ambient interaction techniques, personalization and adaptation. Furthermore, the proposed framework facilitates the automated extraction of knowledge regarding children’s skills, abilities and overall development based on interaction monitoring, so as to offer indications regarding the children developmental state, maturity level and skills. As a result, the provided technological infrastructure allows the detection of potential developmental issues to be further investigated and diagnosed if necessary. To this end, the parents are provided with general information (in a pleasant and practical way) about their child’s physical and mental development progress, as well as indications of a possible skill immaturity. Finally, early intervention professionals are provided with extensive data in addition to the full interaction history for reasoning about whether the child is meeting all the necessary developmental milestones.At the same time, this technological infrastructure is employed with the help of occupational therapists to create innovative ways to use new technology in their practice.In the context of an AmI environment, the practical usage of the framework has been validated through the design and implementation of a number of augmented artifacts to act as physical or digital means facilitating interaction between children and the system. These artifacts include an augmented interactive children’s table, an augmented chair, a digital pen, digital dice, etc. Furthermore, several physical artifacts such as puzzle pieces, identity cards, toys, etc., that typically contain no technology, were augmented using the framework. For the provision of augmented interaction channels several applications were created including a three-dimensional virtual playfellow, digital reproductions of famous games such as puzzles, card games, etc. These applications act as the required software layer to host the novel interaction channels proposed by this research work. For both parents and early intervention professionals to administer these applications and the system, several content editing and interaction monitoring tools were implemented to support each stakeholder group’s needs based on the extracted requirements. Finally, the framework itself is a ready to use tool for developers who wish to develop novel applications to support playful interaction within AmI environments. In this respect, the framework provides a number of tools for the creation, interaction scripting, monitoring and integrating of smart augmented artifacts, so as to radically decrease the required development effort.The aforementioned framework was deployed within a simulation space in the FORTH’s AmI Facility and a two-phase evaluation with children, parents and early intervention professionals was conducted in order to identify potential usability barriers prior to the practical exploitation of the concepts. The first phase of the evaluation was conducted early on and after implementing the basic technological infrastructure, so as to primarily measure user acceptance as well as the ergonomic design of the settled artifacts. Participants of this evaluation were children aged from three to six years old. The second phase of the evaluation was conducted after the complete deployment of the framework, in order to assess its value for each targeted stakeholder. Therefore, the evaluation user base was expanded, including young children in the age range of three to seven years old, their parents and early intervention professionals.

Η Διάχυτη Νοημοσύνη (Ambient Intelligence - AmI) αποτελεί το όραμα της κοινωνίας της πληροφορίας του μέλλοντος που απορρέει από την σύγκλιση πανταχού παρόντων υπολογιστικών συστημάτων, της επικοινωνίας και των ευφυών διεπαφών. Πολλές εφαρμογές της Διάχυτης Νοημοσύνης έχουν ως στόχο τη βελτίωση και την υποστήριξη της καθημερινότητας ενός συνόλου ομάδων χρηστών, το οποίο περιλαμβάνει και μη παραδοσιακούς χρήστες διαδραστικών τεχνολογιών όπως είναι τα μικρά παιδιά. Ωστόσο, τα πλεονεκτήματα που προκύπτουν από την εφαρμογή της Διάχυτης Νοημοσύνης για τα μικρά παιδιά δεν έχουν ακόμη εξερευνηθεί σε ικανοποιητικό βαθμό. Η παρούσα διατριβή έχει ως στόχο την δημιουργία ενός περιβάλλοντος Διάχυτης Νοημοσύνης ικανό να υποστηρίξει την ανάπτυξη μικρών παιδιών μέσω του παιχνιδιού. Προκειμένου να επιτευχθεί αυτός ο στόχος, προτείνεται ένα τεχνολογικό πλαίσιο (framework) για να υποστηρίξει το σχεδιασμό, την ανάπτυξη και υλοποίηση καινοτόμων παιχνιδιών. Τα παιχνίδια αυτά έχουν τη δυνατότητα να παρακολουθούν και να αξιολογούν τις ικανότητες των παιδιών, ενώ παράλληλα εμπλουτίζουν την εμπειρία του παιχνιδιού καθώς προσαρμόζονται συνεχώς σε αυτές. Παράλληλα, οι ανάγκες των παιδιών για δραστηριότητα, άσκηση και ευχαρίστηση καλύπτονται με το βέλτιστο δυνατό τρόπο, ενώ παράλληλα παρέχονται δυνατότητες για την ενίσχυση της δημιουργικότητας. Το προτεινόμενο τεχνολογικό πλαίσιο υποστηρίζει την δημιουργία έξυπνων παιχνιδιών που μοιράζονται μοναδικά χαρακτηριστικά, όπως: α) είναι προσαρμόσιμα στις ικανότητες των παιδιών, β) έχουν την δυνατότητα να δημιουργήσουν κατάλληλους διαύλους επικοινωνίας με τα παιδιά (λεκτικούς ή μη), γ) δίνουν στα παιδιά τον έλεγχο ώστε με την εξάσκηση να μπορούν να παίξουν αυτόνομα, ενισχύοντας τους με αυτόν τον τρόπο την αίσθηση της αυτοπεποίθησης και την ανεξαρτησίας, δ) αυξάνουν το κίνητρο και ε) μειώνουν τον φόβο της αποτυχίας και του λάθους. Προκειμένου να δημιουργηθεί το προτεινόμενο τεχνολογικό πλαίσιο, οι ενδιαφερόμενοι χρήστες (δηλαδή μικρά παιδιά, οι γονείς τους καθώς και οι ειδικοί στην ανάπτυξη του παιδιού) αρχικά προσδιορίστηκαν και εν συνεχεία έγινε η συλλογή και ανάλυση των απαιτήσεών τους. Με αυτόν τον τρόπο έγινε ο ορισμός των λειτουργικών και μη-λειτουργικών απαιτήσεων, επιτρέποντας τον καθορισμό σεναρίων αλληλεπίδρασης στο πλαίσιο ενός περιβάλλοντος Διάχυτης Νοημοσύνης. Αναφορικά με την υλοποίηση του τεχνολογικού πλαισίου, δημιουργήθηκε μια αρχιτεκτονική διεργασιών βασισμένη σε υπηρεσίες (service-oriented architecture) που περιλαμβάνει επιμέρους υποσυστήματα. Τα επιμέρους υποσυστήματα σχεδιάστηκαν και δημιουργήθηκαν λαμβάνοντας υπόψη μια γενικευμένη αρχιτεκτονική, ούτως ώστε να υποστηρίζουν τον ορισμό και την εξαγωγή διαχείρισης γνώσης, εναλλακτικές τεχνικές αλληλεπίδρασης στο πλαίσιο της Διάχυτης Νοημοσύνης, προσωποποίηση και προσαρμογή. Επιπλέον, το προτεινόμενο τεχνολογικό πλαίσιο υποστηρίζει την αυτόματη εξαγωγή γνώσης σχετικά με τις ικανότητες και της συνολικής ανάπτυξης των παιδιών βάση της παρακολούθησης της αλληλεπίδρασης, ούτως ώστε να προσφέρει ενδείξεις που αφορούν την ανάπτυξή τους σε σχέση με το επίπεδο ωριμότητας των ικανοτήτων τους. Με αυτόν τον τρόπο, η παρεχόμενη τεχνολογική υποδομή επιτρέπει την αναγνώριση τυχόν προβλημάτων ανάπτυξης τα οποία χρήζουν περαιτέρω διάγνωσης και έρευνας. Για το σκοπό αυτό, στους γονείς παρέχονται γενικές πληροφορίες, με έναν ευχάριστο και πρακτικό τρόπο, σχετικά με την σωματική και διανοητική ανάπτυξη των παιδιών τους, καθώς και ενδείξεις πιθανών ανώριμων ικανοτήτων. Τέλος, εκτενή δεδομένα χρήσης καθώς και το πλήρες ιστορικό της αλληλεπίδρασης παρέχονται στους ειδικούς στην ανάπτυξη των μικρών παιδιών για το καθορισμό του αν και κατά πόσο το παιδί κατακτά τα ορόσημα ανάπτυξης. Παράλληλα, η τεχνολογική υποδομή χρησιμοποιείται με τη βοήθεια εργοθεραπευτώνούτως ώστε να δημιουργηθούν καινοτόμοι τρόποι εφαρμογής πρωτοπόρας τεχνολογίας στην πράξη. Στο πλαίσιο ενός περιβάλλοντος Διάχυτης Νοημοσύνης, η χρήση του τεχνολογικού πλαισίου στην πράξη επικυρώθηκε με τον σχεδιασμό και την υλοποίηση ενός συνόλου από επαυξημένα αντικείμενα, τα οποία δρουν ως υλικά και ψηφιακά μέσα για να επιτρέψουν την αλληλεπίδραση των παιδιών με το σύστημα. Τα αντικείμενα αυτά περιλαμβάνουν ένα επαυξημένο παιδικό τραπέζι, μια επαυξημένη καρέκλα, ένα ψηφιακό στυλό, ψηφιακά ζάρια, κοκ. Επιπλέον, αρκετά φυσικά αντικείμενα όπως κομμάτια από παζλ, κάρτες αναγνώρισης, παιχνίδια, κοκ., τα οποία δεν περιλαμβάνουν τεχνολογία, εμπλουτίστηκαν και επαυξήθηκαν χρησιμοποιώντας εργαλεία που προφέρει το τεχνολογικό πλαίσιο. Για την παροχή επαυξημένων διόδων επικοινωνίας, διάφορες εφαρμογές δημιουργήθηκαν, όπως ένας τρισδιάστατος εικονικός χαρακτήρας-συμπαίκτης, ψηφιακές αναπαραστάσεις γνωστών παραδοσιακών παιχνιδιών. Οι εφαρμογές αυτές αποτελούν το απαραίτητο ενδιάμεσο λογισμικό το οποίο φιλοξενεί τις νέες διόδους επικοινωνίας που προτείνονται από την παρούσα διατριβή. Για να υποστηριχθούν οι ανάγκες των επιμέρους ομάδων χρήσης (με βάση τις ορισμένες απαιτήσεις τους) τόσο για τους γονείς όσο και για τους ειδικούς στην ανάπτυξη των μικρών παιδιών αναπτύχθηκαν εφαρμογές διαχείρισης των εφαρμογών και των συστημάτων, περιλαμβάνοντας ποικίλες εφαρμογές διαχείρισης περιεχομένου και παρακολούθησης της αλληλεπίδρασης. Τέλος, το τεχνολογικό πλαίσιο αυτό καθαυτό είναι ένα εργαλείο έτοιμο για χρήση από τους προγραμματιστές οι οποίοι επιθυμούν να αναπτύξουν καινοτόμες εφαρμογές που υποστηρίζουν παιγνιώδη αλληλεπίδραση σε περιβάλλοντα Διάχυτης Νοημοσύνης. Με αυτή την έννοια, το τεχνολογικό πλαίσιο παρέχει ένα σύνολο από εργαλεία για την δημιουργία, τον ορισμό αλληλεπίδρασης, παρακολούθησης και ενσωμάτωσης ευφυών επαυξημένων αντικειμένων ούτως ώστε να μειώσουν κατακόρυφα την απαιτούμενη προσπάθεια υλοποίησης. Το τεχνολογικό πλαίσιο έχει εγκατασταθεί στους χώρους προσομοίωσης του κτιρίου Διάχυτης Νοημοσύνης του ΙΤΕ και αξιολογήθηκε σε δύο φάσεις από παιδιά, γονείς και ειδικούς στην ανάπτυξη των μικρών παιδιών, προκειμένου να αναγνωριστούν πιθανά προβλήματα. Η πρώτη φάση της αξιολόγησης έγινε μετά την υλοποίηση της κύριας τεχνολογικής υποδομής, ώστε να υπάρχει μια πρώτη καταμέτρηση της αποδοχής από τους χρήστες και του εργονομικού σχεδιασμού των αντικειμένων. Συμμετέχοντες στην αξιολόγηση ήταν παιδιά τριών έως έξι ετών. Το δεύτερο στάδιο της αξιολόγησης διεξήχθη μετά την περάτωση του συνόλου του τεχνολογικού πλαισίου, ούτως ώστε να αξιολογηθεί η χρησιμότητά του σε κάθε ομάδα χρήσης. Σε αυτό το στάδιο, η βάση χρηστών της αξιολόγησης διευρύνθηκε, περιλαμβάνοντας παιδιά τριών έως έξι ετών, τους γονείς τους καθώς και ειδικούς στην ανάπτυξη των μικρών παιδιών.