Computational intelligence techniques, pattern recognition and machine learning in audiovisual and biometric data analysis

Abstract

The analysis of the visual representation of people leads us to useful conclusions in relation to their basic external characteristics, such as the sex, skin color, etc. Furthermore, specific facial grimaces, contractions, and expansions of facial features, but also sequences of facial movements, give us useful information about the emotional state of each person. Understandably, some results can give us false information in specific cases, but this error rate can be reduced enough to cases that emotion detection is carried out on people participating in some common activities – events. In such cases, the drawn conclusions about the emotional state of each participant, give us useful information which can contribute to improving the quality of each such event. As important as it is the emotion detection of individuals, it is equally important to detect emotional states of groups of people based on common activities and events, because the “Group Affects Recognition” and the final conclusions. Specifically, in this research we have investigated, through a series of important works, the “detection of emotions of groups of people using software”, and all this research is adapted to e-learning and to tutoring systems. This research aimed to draw useful conclusions in e-teachings similar to those that experienced professors understanding in real classrooms with the physical presence of students, and accordingly adapting their lessons. For example, professors can detect situations in which students begin to get “tired” of the lesson or even bored of it. They try to adapt their lessons in order to achieve the best results in terms of imparting knowledge, which is quite efficient and “profitable” for both sides (Students – Professors), improving the quality of teaching. Thus, we managed to build an integrated system consisting of all distinct components of work, which give us real-time information about the concentration value of each group of people attending an online course. Finally, it can be used in all e-learning applications which give us the facial data of participants, because we can take the samples directly from screen output used for online teaching.

Η ανάλυση της οπτικής απεικόνισης ανθρώπων μας οδηγεί σε χρήσιμα συμπεράσματα σε σχέση με βασικά εξωτερικά χαρακτηριστικά τους, όπως για παράδειγμα το φύλο, την χρωματική απόχρωση κ.α.. Επίσης, συγκεκριμένοι μορφασμοί του προσώπου, συστολές και διαστολές χαρακτηριστικών αλλά και ακολουθίες από κινήσεις του προσώπου, μας δίνουν επίσης χρήσιμες πληροφορίες σε σχέση με την συναισθηματική κατάσταση κάθε ανθρώπου. Όπως είναι λογικό, κάποια συμπεράσματα μπορούν να δίνουν ψευδείς πληροφορίες σε συγκεκριμένες περιπτώσεις αλλά σε καταστάσεις που η ανίχνευση πραγματοποιείται σε ανθρώπους που συμμετέχουν σε κάποια δραστηριότητα, το επίπεδο λάθους μειώνεται αρκετά και τα συμπεράσματα για την συναισθηματική κατάσταση του εκάστοτε ανθρώπου μας δίνουν πολύ χρήσιμες πληροφορίες που μπορούν να βοηθήσουν πάρα πολύ στην βελτίωση της ποιότητας των συγκεκριμένων δραστηριοτήτων. Όσο σημαντική είναι η ανίχνευση συναισθημάτων μεμονωμένων ανθρώπων άλλο τόσο είναι και η ανίχνευση τους βασιζόμενοι στις ομάδες που συμμετέχουν στην κάθε δραστηριότητα, διότι η «ομάδα επηρεάζει τα τελικά συμπεράσματα και την συνολική ανίχνευσή τους». Συγκεκριμένα, σε αυτή την έρευνα μελετήσαμε μέσα από μια σειρά σημαντικών «βημάτων» την ανίχνευση συναισθημάτων ομάδων ανθρώπων από λογισμικά υπολογιστών προσαρμοσμένοι στην απομακρυσμένη μάθηση (e-learning) και σε συστήματα αυτόματης διδασκαλίας (tutoring systems). Αυτή η έρευνα είχε σκοπό να εξάγουμε χρήσιμα συμπεράσματα σε ηλεκτρονικές διδασκαλίες παρόμοια με αυτά που καταλαβαίνουν έμπειροι καθηγητές μέσα σε πραγματικές τάξεις με την φυσική παρουσία μαθητών-φοιτητών και αντίστοιχα να προσαρμόζουν το μάθημα τους. Δηλαδή, όταν οι καθηγητές καταλαβαίνουν ότι οι φοιτητές αρχίζουν να «κουράζονται» ή αρχίζει το μάθημα να τους φαίνεται βαρετό, προσπαθούν να προσαρμόσουν το μάθημα έτσι ώστε να πετύχουν τα καλύτερα αποτελέσματα από πλευράς μετάδοσης γνώσης, κάτι το οποίο είναι αρκετά αποδοτικό και κερδοφόρο και για τις δύο πλευρές (φοιτητές – καθηγητές), βελτιώνοντας έτσι την ποιότητα διδασκαλίας. Τοιουτοτρόπως, καταφέραμε να φτιάξουμε ένα ολοκληρωμένο σύστημα αποτελούμενο από όλα τα ξεχωριστά κομμάτια της εργασίας, το οποίο μας δίνει σε πραγματικό χρόνο πληροφορίες για την κατάσταση συγκέντρωσης της κάθε ομάδας που παρακολουθεί ένα διαδικτυακό μάθημα. Επίσης, αυτό μπορεί να χρησιμοποιηθεί σε όλες τις εφαρμογές διαδικτυακής μάθησης που μας δίνουν τα δεδομένα από τα πρόσωπα των συμμετεχόντων, διότι μπορούμε να παίρνουμε τα δείγματα απευθείας από την οθόνη που χρησιμοποιείται για την εκάστοτε διαδικτυακή διδασκαλία.