Intention and sentiment mining on the web for business intelligence

Abstract

Websites, search engines, and social media platforms are the simplest way to get information. People use social media to share their feelings and opinions about topical subjects or personal difficulties. This user behaviour provides large volumes of original unprocessed data that, with the proper manipulation, might yield substantial research discoveries. A portion of the content shared on social media is connected to the products and services available on the market. Large amounts of publicly available information on a product or service provide an essential quantity of data that businesses and other types of organisations can use. In recent years, much effort has been placed into managing these data to derive relevant insights for enterprises. The essential tools are Business Intelligence (BI) systems to quickly process, analyse, and visualise data. The purpose of BI systems is to facilitate the decision-making process inside an organisation. As a tool for making decisions, BI systems can adopt and analyse the information provided by social media users to forecast the present and future specific needs of customers and evaluate the performance of businesses. In addition, it is helpful to recognise the sentiment and the underlying intention in the large amounts of publicly available and free to obtain microblogging data to act appropriately in different scenarios. In this thesis, our goal is to find a way to get beyond these limitations, unite the research fields of sentiment analysis and intention mining, and create a novel BI system. First, we focus on pre-processing, which is the first step in text classification. Choosing the proper pre-processing techniques can improve classification effectiveness for sentiment analysis. For example, lemmatization, removing numbers and replacing contractions improve accuracy, but removing punctuation doesn't. On the other hand, ablation and combination studies show the importance of replacing numbers and punctuation. Then, we present an ensemble text sentiment classification scheme based on empirical analysis of several classifiers and other related works. The proposed system is based on linguistic pre-processing, feature engineering, and supervised machine learning techniques. Finally, we present a Business Intelligence tool that categorises tweets by intention, sentiment, and opinion. The final model automatically recognises the intent to buy, compare, and seek information about a product. Concluding, in this thesis we created a novel BI system that uses publicly available information and by using Natural Language Understanding (NLU) approaches offers to end-users important insights about a product or service.

Ο Παγκόσμιος Ιστός έχει γίνει αναμφισβήτητα αναπόσπαστο μέρος της καθημερινότητα μας, ενώ οι ιστότοποι, οι μηχανές αναζήτησης και οι πλατφόρμες μέσων κοινωνικής δικτύωσης είναι ο πιο απλός τρόπος απόκτησης πληροφοριών. Συγκεκριμένα, είναι συχνό φαινόμενο να καταφεύγουν οι άνθρωποι σε κοινωνικές πλατφόρμες για να εκφράσουν τα συναισθήματα και τις απόψεις τους, που συνήθως σχετίζονται με διαφορετικά θέματα της επικαιρότητας ή με προσωπικά ζητήματα. Αυτή η συμπεριφορά των χρηστών δημιουργεί τεράστιες ποσότητες μη επεξεργασμένων πληροφοριών που με τον σωστό χειρισμό μπορεί να αποφέρουν σημαντικές πληροφορίες σε ένα σύνολο ερευνητικών ζητημάτων. Στο πλαίσιο που περιγράφηκε παραπάνω, και συγκεκριμένα σε πλατφόρμες κοινωνικής δικτύωσης όπως το Twitter και το Meta, διαπιστώθηκε ότι ένα ποσοστό του δημοσιευμένου περιεχομένου σχετίζεται με προϊόντα και υπηρεσίες της αγοράς. Ως εκ τούτου, οι τεράστιες ποσότητες δημοσίως διαθέσιμων πληροφοριών που μπορούν να σχετίζονται με ένα συγκεκριμένο προϊόν ή υπηρεσία, δημιουργούν έναν όγκο δεδομένων που μπορεί να αξιοποιηθεί από επιχειρήσεις και οργανισμούς. Αυτός ο όγκος δεδομένων έχει υπολογιστεί σε πάνω από 2,5 πεντάκις εκατομμύρια bytes δεδομένων κάθε μέρα. Η διαχείριση αυτών των δεδομένων για την εξαγωγή χρήσιμων γνώσεων για τις επιχειρήσεις, είναι ένας τομέας έρευνας που έχει λάβει μεγάλη προσοχή τα τελευταία δέκα χρόνια, οδηγώντας στη δημιουργία μιας ποικιλίας συστημάτων Επιχειρηματικής Ευφυΐας. Αυτά τα συστήματα θεωρούνται ως τα πιο κρίσιμα εργαλεία επεξεργασίας, ανάλυσης και ταχείας απεικόνισης δεδομένων, με στόχο να βοηθήσουν τη διαδικασία λήψης αποφάσεων μιας εταιρείας. Ωστόσο, ένα βασικό μειονέκτημα αυτών των συστημάτων είναι ότι περιορίζονται στην Επεξεργασία Φυσικής Γλώσσας και όχι στην Κατανόηση Φυσικής Γλώσσας. Η επεξεργασία φυσικής γλώσσας εστιάζει στην επεξεργασία κειμένου για τη μετατροπή του σε κομμάτια των οποίων η χρήση είναι ευκολότερη από τους υπολογιστές. Αντίθετα, η κατανόηση της φυσικής γλώσσας μπορεί να θεωρηθεί ως μια υποκατηγορία επεξεργασίας φυσικής γλώσσας, σκοπός της οποίας είναι να ερμηνεύσει το φυσικό κείμενο, να αντλήσει το νόημά του και να εξάγει ιδέες. Συμπερασματικά, ο πρωταρχικός στόχος της διατριβής είναι η δημιουργία ενός νέου συστήματος Επιχειρηματικής Ευφυΐας που εκμεταλλεύεται πλήρως τις διαθέσιμες στο κοινό πληροφορίες χρησιμοποιώντας τεχνικές Κατανόησης Φυσικής Γλώσσας για να προσφέρει στον τελικό χρήστη χρήσιμες πληροφορίες σχετικά με ένα επιλεγμένο προϊόν ή υπηρεσία. Για το σκοπό αυτό, το σύστημα εκμεταλλεύεται τα συναισθήματα, τις απόψεις και τις προθέσεις που μεταδίδονται μέσω του περιεχομένου των δημοσιεύσεων των χρηστών στα μέσα κοινωνικής δικτύωσης. Στη βιβλιογραφία, ένας σημαντικός αριθμός δημοσιεύσεων έχει διερευνήσει την ερευνητική περιοχή της ανάλυσης συναισθήματος σε δεδομένα μικροϊστολογίου (δεδομένα που δημοσιεύονται σε κοινωνικές πλατφόρμες),με αποτέλεσμα την δημιουργία ενός μεγάλου αριθμού από δημόσια διαθέσιμα σύνολα δεδομένων. Επιπλέον, στις μέρες μας, υπάρχει αυξανόμενο ενδιαφέρον σχετικά με την αναγνώριση των προθέσεων των χρηστών, ωστόσο αυτό περιορίζεται στο πεδίο της Ανάκτησης Πληροφοριών, και συγκεκριμένα στην αναγνώριση της εκφρασμένης πρόθεσης του χρήστη σε ένα ερώτημα που τίθεται μέσω μιας μηχανή αναζήτησης. Μέχρι στιγμής, η πρόοδος της έρευνας σε αυτούς τους ερευνητικούς τομείς έχει επιτευχθεί ανεξάρτητα, παρά τα κοινά σημεία τους. Το ερευνητικό αντικείμενο αυτής της διατριβής ενώνει τα δύο πεδία αυτά αξιοποιώντας τεχνικές εξόρυξης συναισθημάτων και προθέσεων στο πλαίσιο ενός συστήματος Επιχειρηματικής Ευφυΐας χρησιμοποιώντας δεδομένα μικροϊστολογίου.