Extracting knowledge from polymorphic textual data using graph-based machine learning and transformer-based deep learning techniques

Abstract

The aim of this thesis is to develop novel approaches that extract meaningful knowledge from polymorphic (unstructured and structured) textual data. To achieve this, we rely on recent advancements from the areas of Machine Learning (ML), Graph-Based Learning, Natural Language Processing (NLP) and Deep Learning (DL). This thesis comprises a series of research contributions; specifically: (i) we introduce a novel graph-based ML framework (Graph-of-Docs), which models documents in a unified graph structure, while solving several contextual limitations of traditional machine and previous graph-based learning frameworks; (ii) we study the incorporation of Graph Theory, Representation Learning and Knowledge Graphs (KGs) in the proposed framework to improve various classification tasks, while applying this framework for several real-world applications; (iii) we study the state of the art in several NLP tasks, focusing on the benefits of utilizing the Transformer architecture in them; (iv) we propose a novel keyphrase extraction approach that is highly accurate and has low computational complexity; (v) we introduce two novel Greek NLP datasets, and a series of state-of-the-art DL models aiming to facilitate future research in the understudied field of Greek NLP; (vi) we propose a unified framework, which combines advancements from KGs and Graph-based concepts with transformer- based Large Language Models (LLMs), as to improve the performance of various text generation tasks, while reducing the limitations of LLMs including hallucinations and indecisiveness. The experiments reported in this thesis validate the effectiveness of the abovementioned research findings. The code of our models and experiments is publicly available on GitHub, while our Greek NLP datasets and DL models are hosted on HuggingFace.

Ο στόχος της παρούσας διατριβής είναι η ανάπτυξη προσεγγίσεων που εξάγουν γνώση από πολυμορφικά (μη-δομημένα και δομημένα) δεδομένα κειμένου. Για να επιτευχθεί ο στόχος αυτός, βασιζόμαστε σε σύγχρονες προσεγγίσεις από τις ερευνητικές περιοχές της Μηχανικής Μάθησης (ΜΜ), της μάθησης βασισμένης σε γράφους, της Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ) και της Βαθιάς Μηχανικής Μάθησης (ΒΜΜ). Επιπροσθέτως, αυτή η διατριβή συνεισφέρει αρκετά ερευνητικά ευρήματα που περιλαμβάνουν: (i) ένα καινοτόμο πλαίσιο ΜΜ που βασίζεται σε γράφους, επ' ονόματι Graph-of-Docs, το οποίο μοντελοποιεί έγγραφα σε μια ενοποιημένη δομή γράφων και λύνει διάφορους περιορισμούς συμφραζομένων σε υπάρχουσα παραδοσιακά πλαίσια ΜΜ ή με οργάνωση γράφου·(ii) μελετούμε την ενσωμάτωση τεχνικών Θεωρίας Γράφων, Αναπαράστασης μάθησης και Γράφων Γνώσης (ΓΓ) στο προτεινόμενο πλαίσιο ως προς τη βελτίωση διάφορων προβλημάτων κατηγοριοποίησης ενώ εφαρμόζουμε το εν λόγω πλαίσιο σε αρκετές πραγματικές εφαρμογές· (iii) τεχνολογίες αιχμής μελετώνται στο πλαίσιο της διατριβής για πολλά προβλήματα ΕΦΓ, ενώ επίσης μελετώνται τα οφέλη της χρήσης της αρχιτεκτονικής του Transformer· (iv) εισάγουμε μια καινοτόμα προσέγγιση εξαγωγής σημαντικών όρων από κείμενα η οποία διαθέτει υψηλή ακρίβεια και χαμηλή υπολογιστική πολυπλοκότητα· (v) δημιουργούμε δυο καινοτόμα σύνολα δεδομένων ΕΦΓ για την Ελληνική γλώσσα, καθώς και μια σειρά τελευταίας τεχνολογίας ΒΜΜ μοντέλων με στόχο να διευκολύνουμε τη μελλοντική έρευνα στον όχι τόσο μελετημένο τομέα της ελληνικής ΕΦΓ· (vi) αναπτύσσουμε ένα ενοποιημένο πλαίσιο που συνδυάζει ερευνητικές εξελίξεις από τους ΓΓ, τη Θεωρία Γράφων και τα Μεγάλα Γλωσσικά Μοντέλα (ΜΓΜ), που βασίζονται στην αρχιτεκτονική του Transformer, ώστε να βελτιώσουμε την επίδοση διαφόρων δραστηριοτήτων που σχετίζονται με τη παραγωγή κειμένου, ενώ μειώνουμε τους περιορισμούς των ΜΓΜ όπως τις «παραισθήσεις» και την «αναποφασιστικότητα». Τα πειράματα που περιγράφονται στη διατριβή επικυρώνουν την αποτελεσματικότητα των παραπάνω ερευνητικών ευρημάτων. Ο κώδικας των μοντέλων και πειραμάτων μας είναι δημόσια διαθέσιμος στο GitHub, ενώ τα σύνολα δεδομένων και τα μοντέλα ΒΜΜ για την Ελληνική ΕΦΓ είναι διαθέσιμα στο HuggingFace.