Μεθοδολογίες αναγνώρισης προτύπων για την ανάκτηση πολυμεσικών δεδομένων με βάση το περιεχόμενο και μέσω διαβαθμιστικού λογισμικού

Abstract

In this thesis it was analyzed and developed a prototype system with middleware software that offers a mobile service that allows mobile users to make a content based search and retrieval of music files belonging in the same musical genre. For this purpose it was used a combination of technologies of mobile technologies techniques of content based musical genre classification and methodologies of individualization and evaluation. The system architecture is consisted of two levels and uses middleware software for the developing of mobile service. The front end of system was designed and developed taking into consideration the characteristics of environment of mobile services in order to eliminate restrictions that existed in similar systems. In our system the mobile service is offered through the push framework. As a result the service is available in all mobile phones, it does not need installation of special software or it needs some special software or mobile phone operation systems. Moreover, the results of service were not content delivery that might be undesirable from the user but a list of links with music files that belong in the same musical genre giving the ability to user of selecting if he wants to receive the corresponding content in his mobile phone. The back end of the systems consists of all these modules that are responsible for the musical genre classification. In order to achieve better musical genre classification results was proposed a new classification method that was based on the musical source separation technique. In this method the original music signal of music file in a preprocessing level was decomposed to its sources. For the separation of the original signal to the three sources were used two relevant algorithms namely Convolutive Sparse Coding and a Wavelet Packets based algorithm. A feature extraction procedure is applied to each separated signal and the extracted features are fed into an ensemble combination of Support Vector Machine based classifiers for genre classification. Experimental results gave a better classification accuracy almost 2-3% in applying a source separation algorithm before feature extraction. Moreover, it was proposed the use of a hybrid method of individualization that had as result the service to provide results that not only were content similar and belonged in the same musical genre but also results that had taken into account also the preferences of the user or other users. The hybrid method of individualization was constituted by the combination of content based music retrieval and a method of collaborating filtering that is named personality diagnosis. For the evaluation of system by the side of software was proposed a three stage evaluation framework. In this framework is combined subjective evaluation criteria relating to users responses and objective evaluation criteria relating to software parameters.

Στη διατριβή αυτή αναλύθηκε, σχεδιάστηκε και αναπτύχθηκε ένα πρότυπο σύστημα με διαβαθμιστικό λογισμικό που προσφέρει, μέσω μιας υπηρεσίας κινητής τηλεφωνίας, τη δυνατότητα στους χρήστες κινητών τηλεφώνων να αναζητήσουν με βάση το περιεχόμενο μουσικά κομμάτια που ανήκουν στο ίδιο μουσικό είδος. Για τον σκοπό αυτό χρησιμοποιήθηκε ένας συνδυασμός τεχνολογιών κινητής τηλεφωνίας, τεχνικών ταξινόμησης ως προς το μουσικό είδος που βασίζονται στο περιεχόμενο, και μεθοδολογιών εξατομίκευσης και αξιολόγησης για τη δημιουργία ενός τέτοιου συστήματος. Η αρχιτεκτονική του συστήματος είναι δύο επιπέδων και κάνει χρήση διαβαθμιστικού λογισμικού για την ανάπτυξη της υπηρεσίας που πραγματοποιεί την αναζήτηση μουσικών κομματιών τα οποία ανήκουν στο ίδιο είδος με το παράδειγμα τραγούδι που στέλνει ο χρήστης μέσω της συσκευής κινητού τηλεφώνου. Το εμπρόσθιο μέρος σε αυτό το σύστημα σχεδιάστηκε και αναπτύχθηκε λαμβάνοντας υπόψη τα χαρακτηριστικά του περιβάλλοντος κινητών υπηρεσιών, ώστε να εξαλειφθούν αρκετοί περιορισμοί που υπήρχαν σε παρόμοια συστήματα. Στο σύστημα μας η υπηρεσία κινητής τηλεφωνίας προσφέρεται μέσα από τη χρήση του πλαισίου ώθησης. Αυτό είχε ως αποτέλεσμα η υπηρεσία να είναι διαθέσιμη σε οποιαδήποτε συσκευή κινητού τηλεφώνου, να μη χρειάζεται εγκατάσταση ειδικού λογισμικού ή να χρειάζεται κάποιο ειδικό λογισμικό ή λειτουργικό σύστημα κινητών τηλεφώνων. Επιπλέον, τα αποτελέσματα της υπηρεσίας δεν ήταν παράδοση περιεχομένου που πιθανόν να ήταν ανεπιθύμητο από το χρήστη αλλά μια λίστα συνδέσμων, με μουσικά κομμάτια που ανήκουν στο ίδιο είδος, δίνοντας τη δυνατότητα στο χρήστη να επιλέξει μόνος του αν θέλει να λάβει αντίστοιχο περιεχόμενο στη συσκευή του κινητού τηλεφώνου του. Το οπίσθιο μέρος του συστήματος αποτελείται από εκείνες τις υπομονάδες που είναι υπεύθυνες για την ταξινόμηση των μουσικών αρχείων ως προς το είδος. Για να επιτευχθούν καλύτερα αποτελέσματα ταξινόμησης ως προς του μουσικό είδος, και άρα να είναι πιο στοχευμένα τα αποτελέσματα της υπηρεσίας, προτάθηκε μια νέα μέθοδο ταξινόμησης που βασίστηκε στην τεχνική του διαχωρισμού μουσικών πηγών. Στη μέθοδο αυτή το αρχικό μουσικό σήμα του μουσικού κομματιού σε ένα προ-επεξεργαστικό στάδιο της ταξινόμησης, αποσυντίθεται στα επιμέρους σήματα του. Για το διαχωρισμό του αρχικού σήματος σε τρεις μουσικές πηγές χρησιμοποιήθηκαν δύο μέθοδοι: ο αλγόριθμος της αραιής συνελικτικής κωδικοποίησης και η μέθοδος που βασίζεται στα WPs. Για την ταξινόμηση χρησιμοποιήθηκαν SVM ταξινομητές συνόλου, και παρατηρήθηκε ότι η χρήση του προ-επεξεργαστικού σταδίου διαχωρισμού των πηγών βελτιώνει τα αποτελέσματα ταξινόμησης ως προς το μουσικό είδος περίπου 2-3% και για τις δύο τεχνικές. Επιπλέον, προτάθηκε η χρήση μιας υβριδικής μεθόδου εξατομίκευσης που είχε ως αποτέλεσμα η υπηρεσία να παρέχει αποτελέσματα που όχι μόνο ήταν όμοια ως προς το περιεχόμενο και ανήκαν στην ίδια μουσική κλάση, αλλά και αποτελέσματα στα οποία λαμβάνονταν υπόψη επίσης οι προτιμήσεις του χρήστη ή των υπόλοιπων χρηστών. Η υβριδική μέθοδος εξατομίκευσης αποτελούνταν από το συνδυασμό της ανάκτησης μουσικής ως προς το περιεχόμενο και μιας μεθόδου φίλτρων συνεργατικής διήθησης που ονομάζεται ’’διάγνωση προσωπικότητας”. Για την αξιολόγηση του συστήματος τέλος, από την πλευρά του λογισμικού προτάθηκε ένα πλαίσιο αξιολόγησης τριών σταδίων. Μέσα από το πλαίσιο αυτό αξιολογούνται τόσο τα ποσοτικά όσο και τα ποιοτικά χαρακτηριστικά του συστήματος και λαμβάνεται επίσης και η υποκειμενική αξιολόγηση των χρηστών για το σύστημα με διαβαθμιστικό λογισμικό που παρέχει την υπηρεσία κινητής τηλεφωνίας.