Τεχνικές εξόρυξης γνώσης για χαρακτηρισμό περιεχομένου και παροχή συστάσεων στον κοινωνικό ιστό

Abstract

The thesis consists of two research sections: the characterization of social content and the delivery of recommendation services to the users of the Social Web. Each section approaches distinctively the analysis of great volumes of data aiming at highlight the most valuable parts according to the application at hand.In the first section, we propose a clustering framework which models images with similarity graphs and clusters them by taking into account both their visual content and the available metadata. Then, we make use of the clustering results along with machine learning algorithms to classify the image clusters into Points of Interests or Events. The classification results are included in a web-based application which enables users to navigate through large collections of photos. Furthermore, regarding the discovery of event-related photos, we present an efficient method for handling great number of photos. The first section is concluded with two more techniques for the characterization of social content. In the first one, we develop a collaborative event annotation framework which approaches the “Event” concept from different perspectives by proposing a series of search functionalities in the presence of large photo collections. The second technique presents a number of matching methods aiming at relating single photos with points of interests. All methods are compared with the search mechanism of Flickr in terms of precision and recall.The second section focuses on the elicitation of user preferences and the delivery of recommendations. We propose two ways of incorporating the notion of Dissimilarity into recommender systems: (1) a dissimilarity recommender and (2) a framework for extracting dissimilarity features of rated items. The dissimilarity recommender is based on calculated differences in users’ preferences among item attributes to extract estimations. The results of the dissimilarity algorithm are combined with the ones coming from existed recommenders based on the notion of similarity. Apart from the aforementioned recommender, the notion of dissimilarity is presented through a feature extraction framework which aims at enriching the representations of items with new indicative features. Each feature refers to an item and expresses the difference in preferences for an attribute between the user who rated it and a group of users who have similar preferences with him. The new features are incorporated into existed recommenders-classifiers and are evaluated in terms of precision. The results have shown that the dissimilarity features can lead to more appropriate recommendations. The second section is concluded with two parallel/distributed solutions for recommender systems. In the first solution, we present IANOS framework through which we can execute similarity recommenders in a parallel mode in order to be combined with our dissimilarity recommender, the procedures of which are developed in a distributed manner. In the second solution, we propose Hydra framework through which we can create weighted-hybrid recommenders by combining any type of existed ones. Hydra’s combination policy (Virtual Fusion) is applied upon the results of the incorporated recommenders by taking into account their individual performance aiming at providing better recommendations.

Η διατριβή επεκτάθηκε σε δύο θεματικές ενότητες: τον χαρακτηρισμό κοινωνικού περιεχομένου και την παροχή συστάσεων σε χρήστες του διαδικτύου. Κάθε ενότητα προσεγγίζει με διαφορετικό τρόπο την ανάλυση μεγάλης κλίμακας δεδομένων του κοινωνικού ιστού με στόχο την ανάδειξη των πιο σημαντικών τμημάτων τους στα πλαίσια της εκάστοτε εφαρμογής. Στην πρώτη θεματική ενότητα, αναπτύχθηκε ένα πλαίσιο ομαδοποίησης, το οποίο μοντελοποιεί τις εικόνες σε δομές γράφων ομοιότητας λαμβάνοντας υπόψη οπτική πληροφορία και πληροφορία μεταδεδομένων. Στη συνέχεια, η διαδικασία ομαδοποίησης εξελίχθηκε σε μια μεθοδολογία, όπου με χρήση μηχανικής μάθησης επιτυγχάνεται ο χαρακτηρισμός των ομάδων σε σημεία ενδιαφέροντος και δραστηριότητες. Τα αποτελέσματα της μεθοδολογίας ενσωματώθηκαν σε δικτυακή εφαρμογή για την πλοήγηση σε μεγάλο όγκο περιεχομένου. Επιπροσθέτως, όσον αφορά τον εντοπισμό δραστηριοτήτων υλοποιήθηκε μια αποδοτική μέθοδος υπό την παρουσία μεγάλων συλλογών από εικόνες. Στη συνέχεια, τα αποτελέσματα της προαναφερθείσας μεθοδολογίας πλαισίωσαν δύο διαδικασίες χαρακτηρισμού περιεχομένου. Στην πρώτη διαδικασία, αναπτύχθηκε ένα πλαίσιο συνεργατικής επισημείωσης με στόχο τη συσχέτιση περιεχομένου με δραστηριότητες. Το πλαίσιο προσεγγίζει την έννοια της δραστηριότητας από διαφορετικές σκοπιές, κάνοντας χρήση μιας σειράς από λειτουργίες αναζήτησης περιεχομένου σε μεγάλες συλλογές εικόνων. Στη δεύτερη διαδικασία χαρακτηρισμού περιεχομένου, παρουσιάζεται μια σειρά από μεθόδους αντιστοίχισης εικόνων με σημεία ενδιαφέροντος, οι οποίες αξιολογήθηκαν ως προς την ακρίβεια και ανάκληση, ενώ παράλληλα συγκρίθηκαν με τον μηχανισμό αναζήτησης του Flickr.Η δεύτερη θεματική ενότητα επικεντρώθηκε στην εκμαίευση των προτιμήσεων των χρηστών και την παροχή συστάσεων προς αυτούς. Πιο συγκεκριμένα, προτείνονται δύο τρόποι ενσωμάτωσης της έννοιας της ανομοιότητας στα προτασιακά συστήματα: έναν νέο προτασιακό αλγόριθμο ανομοιότητας και ένα πλαίσιο εξαγωγής χαρακτηριστικών ανομοιότητας για τα αντικείμενα. Ο αλγόριθμος ανομοιότητας υπολογίζει διαφορές προτίμησης των χρηστών μεταξύ των ιδιοτήτων των αντικειμένων, τις οποίες λαμβάνει υπόψη για να εξάγει εκτιμήσεις βαθμολογιών. Τα αποτελέσματα του αλγορίθμου συνδυάζονται με εκτιμήσεις υπαρχόντων αλγορίθμων που βασίζονται στην έννοια της ομοιότητας. Επίσης, η έννοια της ανομοιότητας ενσωματώθηκε σε ένα πλαίσιο εξαγωγής χαρακτηριστικών για τα αντικείμενα με σκοπό την ενίσχυση των αναπαραστάσεών τους. Κάθε χαρακτηριστικό ενός αντικειμένου εκφράζει τον βαθμό διαφοράς προτίμησης σε μια τιμή ιδιότητας μεταξύ του χρήστη που το βαθμολόγησε και μιας ομάδας χρηστών που μοιράζονται παρόμοια ενδιαφέροντα με τον εν λόγω χρήστη. Με τα νέα χαρακτηριστικά προσδόθηκε επιπλέον χρήσιμη πληροφορία που οδήγησε στην αποτελεσματικότερη εκμαίευση των προτιμήσεων των χρηστών και επομένως, σε καταλληλότερες προτάσεις. Τα χαρακτηριστικά ενσωματώθηκαν σε υπάρχοντες αλγορίθμους και αξιολογήθηκαν με όρους ακρίβειας ταξινόμησης. Επιπρόσθετα, υλοποιήθηκαν δύο παράλληλες/κατανεμημένες λύσεις προτασιακών συστημάτων. Στην πρώτη λύση, παρουσιάζεται το πλαίσιο ΙΑΝΟΣ, όπου επιτελείται η παράλληλη εκτέλεση των αλγορίθμων ομοιότητας με τον αλγόριθμο ανομοιότητας, οι διαδικασίες του οποίου υλοποιήθηκαν με κατανεμημένη λογική, μειώνοντας τον χρόνο εκτέλεσης του. Στη δεύτερη λύση, αναπτύχθηκε το πλαίσιο Ύδρα, όπου μέσω παράλληλης εκτέλεσης και συνδυασμού υπαρχόντων προτασιακών αλγορίθμων, κατέστη δυνατή η δημιουργία υβριδικών αλγορίθμων με χρήση της πολιτικής εικονικής συγχώνευσης. Η εν λόγω πολιτική συνδυάζει τους αλγορίθμους στο επίπεδο των αποτελεσμάτων λαμβάνοντας υπόψη τις επιμέρους επιδόσεις τους με στόχο να παράγει καλύτερες προτάσεις.