Human activity recognition using conditional random fields and privileged information

Abstract

This thesis solves the problem of human activity recognition from video sequences and static images, which is a part of computer vision field. To model human activities, conditional random fields were applied using data from heterogeneous sources. Moreover, a novel classification scheme that is based on the learning using privileged information was also proposed, where privileged information is given as an additional input to the classification model and it is available only during training but never during testing. Experimental results demonstrated that privileged information helps to build a stronger classifier than one would learn without it, while it significantly increases the recognition accuracy of the model.

Η διατριβή ασχολείται με το πρόβλημα της αναγνώρισης της ανθρώπινης δραστηριότητας από εικονοσειρές και απλές εικόνες, το οποίο ανήκει στην ευρύτερη περιοχή της υπολογιστικής όρασης. Για την επίλυση του προβλήματος χρησιμοποιήθηκαν τα υπό συνθήκη τυχαία πεδία συνδυάζοντας δεδομένα από πολλαπλές πηγές. Επιπλέον, προτάθηκε μια καινούρια μέθοδος ταξινόμησης που βασίζεται στην προνομιακή πληροφορία, η oποία δίδεται ως επιπλέων είσοδος στο μοντέλο και είναι διαθέσιμη μόνο στην φάση της εκπαίδευσης αλλά όχι στην φάση του ελέγχου. Τα πειραματικά αποτελέσματα δείχνουν ότι αυτού του είδους η πληροφορία βοηθά στο να δημιουργήσουμε έναν ισχυρότερο ταξινομητή απ' ότι κάποιος θα μάθαινε χωρίς αυτήν, ενώ αυξάνει σημαντικά την ακρίβεια της αναγνώρισης του μοντέλου.