Πολυγλωσσικοί ταξινομητές μέσω νευρωνικής μηχανικής μετάφρασης με έμφαση σε μεθόδους εκμάθησης μέσω μεταφοράς και ομοσπονδιακής μάθησης

Abstract

In recent years, there has been a remarkable increase in the interest of the scientific and business communities in the field of Artificial Intelligence – AI. The ability of modern devices to implement highly sophisticated AI techniques has increased the importance of using and developing applications that will use AI techniques and algorithms to process and analyze modern data. Undoubtedly, progress in AI makes computer systems more human-friendly, which requires the inclusion of natural language as an integral means of broader communication and interface between humans and computers. Today, the primary goal of research in the field of Natural Language Processing – NLP is to enable and facilitate communication between humans and computers without resorting to complex procedures. In particular, the introduction into our daily lives of a large number of applications that fall within the field of Generative Artificial Intelligence – GAI, such as ChatGPT by OpenAI, Copilot by Microsoft, and Google Bard, have introduced revolutionary methods in the fields of NLP, Natural Language Understanding – NLU, and Natural Language Generation – NLG of more human-friendly linguistic content. The latter has also brought significant improvements in human-machine interaction, allowing for faster production of text and other audiovisual material. Modern chatbots, automatic translation machines, and search engines are just some of these applications. These applications apply algorithms and techniques that fall within the field of AI, which is a subfield of AI and is one of the most advanced and growing research and business areas of the last five years. Although AI is not a new field of research, recent technological developments in the context of computer science, the increasing need for meaningful human-computer communication, the availability of big data, high-power computing resources and modern algorithms have triggered an exponential increase in interest in the development of new applications and systems. However, one of the biggest challenges in AI is the inability to generalize systems so that they can be effectively applied to multiple and heterogeneous areas of interest. Emerging Machine Learning – ML techniques and approaches, such as Transfer Learning, aim to address these limitations. However, the ever-increasing production and diversity of data create additional challenges in interoperability and their use in different sectors. Moreover, one of the major problems faced by modern applications in the field of NLP has to do with their inability to generalize and apply to different areas of interest. The modern production of huge volumes of data and the diversity that distinguishes them places certain limitations on their application and interoperability between different sectors, such as health, public administration, industry, etc. Sentiment analysis or entity recognition applications that have been created for a specific sector, e.g. in the healthcare sector, appear to have lower performance if used in a different sector, e.g. sentiment analysis of social media users regarding an electoral process or a specific product. This demonstrates the need to develop techniques that are not limited by the content and domain in which they are developed, but are based on the concepts of interoperability and data federation. Of particular importance is the need to develop systems that support multilingual implementations. Language differences constitute a significant obstacle to the horizontal application of NLP algorithms, as most implementations focus on specific languages, resulting in limited application and performance in different linguistic or cultural contexts. The implementation of multilingual systems is a critical requirement for the creation of interoperable and federated approaches that do not depend on language, thus ensuring their wider use and integration. The need for multilingual implementations is not limited only to addressing language barriers but also contributes to expanding the usefulness of systems at a global level, enhancing accessibility, inclusiveness and equitable development. Systems with multilingual support enhance the ability to manage data from distributed and heterogeneous sources, unifying knowledge and blurring language boundaries, thus offering more accuracy and flexibility in different application areas. Furthermore, the production and management of big data from more and more distributed sources and devices creates the need to develop federated and interoperable approaches that are not influenced and limited by a single language. In recent years, the use of Federated Learning, where devices are used as computing nodes that perform calculations on their local data in order to update a global model, aims to solve the issue of data federation, while simultaneously enhancing the security of user data. Finally, the needs and trends of modern intercultural and multilingual societies increasingly demonstrate the need to create multilingual solutions and applications that will have the ability to operate in a broader federal context and will make full and effective use of Neural Machine Translation – NMT techniques. So far, the research and business community have focused on the application of tools and techniques based on the English language. Few studies and tools target less important languages, such as Greek. For example, despite the continuous advances in the development of NMT algorithms and techniques for sentiment analysis in high-frequency and high-use languages, such as English, few applications and studies have been carried out in less used and more difficult languages, such as Greek. Based on the above challenges, this doctoral thesis focuses on the development of scientific approaches that will promote multilingual interoperability and generalization of AI applications. The goal is to create innovative systems that can manage data from heterogeneous and distributed sources, ensuring effective interaction between humans and machines regardless of language or cultural context, and enhance the decision-making process by providing reliable results and additional knowledge to end users. Through the integration of techniques such as transfer learning, pre-trained language models, federated learning and NMT, the thesis aspires to contribute to addressing contemporary research and technological limitations, laying the foundation for solutions that will enhance fair and inclusive development in the field of AI.

Τα τελευταία χρόνια παρατηρείται σταθερή αύξηση του ενδιαφέροντος της επιστημονικής και επιχειρηματικής κοινότητας στον τομέα της Τεχνητής Νοημοσύνης (ΤΝ) (Artificial Intelligence - AI). Η ικανότητα των σύγχρονων συσκευών να εφαρμόζουν εξαιρετικά εξελιγμένες τεχνικές ΤΝ έχει αυξήσει τη σημασία της χρήσης και ανάπτυξης εφαρμογών που θα κάνουν χρήση τεχνικών και αλγόριθμων ΤΝ για την επεξεργασία και την ανάλυση των σύγχρονων δεδομένων. Αναμφισβήτητα, η πρόοδος στην ΤΝ καθιστά τα συστήματα ηλεκτρονικών υπολογιστών πιο φιλικά προς τον άνθρωπο κάτι που απαιτεί τη συμπερίληψη της φυσικής γλώσσας ως αναπόσπαστο μέσο της ευρύτερης επικοινωνίας και της διεπαφής μεταξύ ανθρώπου και υπολογιστή. Σήμερα, ο πρωταρχικός στόχος της έρευνας στον τομέα της Επεξεργασίας Φυσικής Γλώσσας (ΕΦΓ) (Natural Language Processing - NLP) είναι να επιτρέψει και να διευκολύνει την επικοινωνία μεταξύ ανθρώπων και υπολογιστών χωρίς να καταφεύγουμε σε πολύπλοκες διαδικασίες. Ιδιαίτερα η εισαγωγή στην καθημερινή μας ζωή ενός μεγάλου πλήθους εφαρμογών που εντάσσονται στον τομέα της Παραγωγικής Τεχνητής Νοημοσύνης - ΠΝΤ (Generative AI - GAI), όπως το ChatGPT της εταιρίας OpenAI, το Copilot της εταιρίας Microsoft, και το Google Bard, έχουν εισάγει επαναστατικές μεθόδους στους τομείς της επεξεργασίας (Natural Language Processing - ΕΦΓ), αναγνώρισης (Natural Language Understanding - NLU) και παραγωγής (Natural Language Generation - NLG) γλωσσικού περιεχομένου πιο φιλικού στον άνθρωπο. Το τελευταίο έχει επιφέρει σημαντικές βελτιώσεις και στην αλληλεπίδραση μεταξύ ανθρώπου και μηχανής επιτρέποντας ταχύτερη παραγωγή κειμένου και άλλου οπτικοακουστικού υλικού. Τα σύγχρονα chatbots, οι αυτόματες μηχανές μετάφρασης και οι μηχανές αναζήτησης είναι μόνο μερικές από αυτές τις εφαρμογές. Οι συγκεκριμένες εφαρμογές εφαρμόζουν αλγόριθμους και τεχνικές που εμπίπτουν στον τομέα της ΕΦΓ, η οποία είναι υποτομέας της Τεχνητής Νοημοσύνης και είναι ένας από τους πλέον εξελιγμένους και αναπτυσσόμενους ερευνητικούς και επιχειρηματικούς τομείς της τελευταίας πενταετίας. Παρά το γεγονός ότι η ΕΦΓ δεν είναι καινούργιο πεδίο έρευνας, οι πρόσφατες τεχνολογικές εξελίξεις στο πλαίσιο της ΠΝΤ, η αυξανόμενη ανάγκη για ουσιαστική επικοινωνία ανθρώπου-υπολογιστή, η διαθεσιμότητα μεγάλων δεδομένων (Big Data), οι υπολογιστικοί πόροι υψηλής ισχύος και οι σύγχρονοι αλγόριθμοι έχουν πυροδοτήσει μια εκθετική αύξηση του ενδιαφέροντος για την ανάπτυξη νέων εφαρμογών και συστημάτων. Ωστόσο, μία από τις μεγαλύτερες προκλήσεις στον τομέα της ΕΦΓ είναι η αδυναμία γενίκευσης των συστημάτων, ώστε να μπορούν να εφαρμοστούν αποτελεσματικά σε πολλαπλούς και ετερογενείς τομείς ενδιαφέροντος. Νέες τεχνικές Μηχανικής Μάθησης - ΜΜ (Machine Learning - ML), όπως η εκμάθηση μέσω μεταφοράς (transfer learning), αποσκοπούν στην αντιμετώπιση αυτών των περιορισμών. Παρόλα αυτά, η διαρκώς αυξανόμενη παραγωγή και ποικιλομορφία δεδομένων δημιουργούν επιπλέον προκλήσεις στη διαλειτουργικότητα και στη χρήση τους σε διαφορετικούς τομείς. Επίσης, ένα από τα μείζονα προβλήματα που αντιμετωπίζουν οι σύγχρονες εφαρμογές στον τομέα της ΕΦΓ έχει να κάνει με την αδυναμία τους να γενικεύσουν και να εφαρμοστούν σε διαφορετικούς τομείς ενδιαφέροντος. Η σύγχρονη παραγωγή τεράστιων όγκων δεδομένων και η ποικιλομορφία που τα διακρίνει θέτει ορισμένους περιορισμούς στην εφαρμογή και διαλειτουργικότητα τους ανάμεσα σε διαφορετικούς τομείς, όπως η υγεία, η δημόσια διοίκηση, η βιομηχανία κ.ά.. Εφαρμογές ανάλυσης συναισθήματος ή αναγνώρισης οντοτήτων που έχουν δημιουργηθεί για ένα συγκεκριμένο τομέα, π.χ. στον τομέα της υγειονομικής περίθαλψης, δείχνουν να έχουν χαμηλότερη απόδοση αν χρησιμοποιηθούν σε έναν διαφορετικό τομέα, πχ. ανάλυση συναισθήματος χρηστών μέσων κοινωνιών δικτύωσης σχετικά με μια εκλογική διαδικασία ή με ένα συγκεκριμένο προϊόν. Αυτό καταδεικνύει την ανάγκη για ανάπτυξη τεχνικών που δεν θα περιορίζονται από το περιεχόμενο και τον τομέα στον οποίο αναπτύσσονται, αλλά θα στηρίζονται στις έννοιες της διαλειτουργικότητας και της ομοσπονδίας των δεδομένων. Ιδιαίτερη σημασία αποκτά η ανάγκη ανάπτυξης συστημάτων που να υποστηρίζουν πολυγλωσσικές υλοποιήσεις. Οι γλωσσικές διαφορές αποτελούν σημαντικό εμπόδιο στην οριζόντια εφαρμογή αλγορίθμων ΕΦΓ, καθώς οι περισσότερες υλοποιήσεις επικεντρώνονται σε συγκεκριμένες γλώσσες, με αποτέλεσμα την περιορισμένη εφαρμογή και απόδοση σε διαφορετικά γλωσσικά ή πολιτισμικά πλαίσια. Η υλοποίηση πολυγλωσσικών συστημάτων αποτελεί κρίσιμη απαίτηση για τη δημιουργία διαλειτουργικών και ομοσπονδιακών προσεγγίσεων που δεν θα εξαρτώνται από τη γλώσσα, εξασφαλίζοντας έτσι την ευρύτερη χρήση και ενσωμάτωσή τους. Η ανάγκη για πολυγλωσσικές υλοποιήσεις δεν περιορίζεται μόνο στην αντιμετώπιση γλωσσικών εμποδίων αλλά συμβάλλει και στη διεύρυνση της χρησιμότητας των συστημάτων σε παγκόσμιο επίπεδο, ενισχύοντας την προσβασιμότητα, τη συμμετοχικότητα και τη δίκαιη ανάπτυξη. Συστήματα με πολυγλωσσική υποστήριξη ενισχύουν τη δυνατότητα διαχείρισης δεδομένων από κατανεμημένες και ετερογενείς πηγές, ενοποιώντας τη γνώση και εξαλείφοντας γλωσσικά όρια, προσφέροντας έτσι περισσότερη ακρίβεια και ευελιξία σε διαφορετικούς τομείς εφαρμογής. Ακόμη, η παραγωγή και η διαχείριση μεγάλων δεδομένων από ολοένα και περισσότερες κατανεμημένες πηγές και συσκευές δημιουργεί την ανάγκη για ανάπτυξη ομοσπονδιακών και διαλειτουργικών προσεγγίσεων που δεν θα επηρεάζονται και περιορίζονται από μια γλώσσα. Τα τελευταία χρόνια, η αξιοποίηση της ομοσπονδιακής μάθησης – ΟΜ (federated learning), όπου οι συσκευές χρησιμοποιούνται ως υπολογιστικοί κόμβοι που εκτελούν υπολογισμούς στα τοπικά δεδομένα τους προκειμένου να ενημερώσουν ένα παγκόσμιο μοντέλο, στοχεύει προς την επίλυση του ζητήματος της ομοσπονδίας των δεδομένων, με παράλληλη ενίσχυση της ασφάλειας των δεδομένων των χρηστών. Τέλος, οι ανάγκες και οι τάσεις των σύγχρονων διαπολιτισμικών και πολύγλωσσων κοινωνιών καταδεικνύουν όλο και περισσότερο την ανάγκη δημιουργίας πολύγλωσσων λύσεων και εφαρμογών που θα έχουν τη δυνατότητα να λειτουργήσουν σε ένα ευρύτερο ομοσπονδιακό πλαίσιο και θα κάνουν πλήρη και αποτελεσματική χρήση των τεχνικών της Νευρωνικής Μηχανικής Μετάφρασης – ΝΜΜ (Neural Machine Translation - ΝΜT). Μέχρι στιγμής η ερευνητική και επιχειρηματική κοινότητα έχουν επικεντρωθεί στην εφαρμογή εργαλείων και τεχνικών βασισμένων στην αγγλική γλώσσα. Λίγες μελέτες και εργαλεία στοχεύουν σε λιγότερο σημαντικές γλώσσες, όπως η ελληνική. Για παράδειγμα, παρά τις συνεχείς προόδους στην ανάπτυξη αλγορίθμων και τεχνικών ΝΜΜ στην αναγνώριση συναισθήματος (sentiment analysis) σε γλώσσες υψηλής συχνότητας και χρήσης, όπως τα αγγλικά, λίγες εφαρμογές και μελέτες έχουν πραγματοποιηθεί σε λιγότερο χρησιμοποιημένες και πιο δύσχρηστες γλώσσες, όπως τα ελληνικά. Με βάση τις παραπάνω προκλήσεις, η παρούσα διδακτορική διατριβή επικεντρώνεται στην ανάπτυξη επιστημονικών προσεγγίσεων που θα προάγουν την πολυγλωσσική διαλειτουργικότητα και τη γενίκευση των εφαρμογών ΕΦΓ. Στόχος είναι η δημιουργία καινοτόμων προσεγγίσεων που θα μπορούν να διαχειρίζονται δεδομένα από ετερογενείς και κατανεμημένες πηγές, εξασφαλίζοντας την αποτελεσματική αλληλεπίδραση μεταξύ ανθρώπων και μηχανών ανεξάρτητα από τη γλώσσα ή το πολιτισμικό πλαίσιο και θα ενισχύουν τη διαδικασία λήψης αποφάσεων παρέχοντας αξιόπιστα αποτελέσματα και επιπλέον γνώση στους τελικούς χρήστες. Μέσω της ενσωμάτωσης τεχνικών όπως η εκμάθηση μέσω μεταφοράς, τα προεκπαιδεύμενα γλωσσικά μοντέλα, η ΟΜ και η ΝΜΜ, η διατριβή φιλοδοξεί να συμβάλει στην αντιμετώπιση των σύγχρονων ερευνητικών και τεχνολογικών περιορισμών, θέτοντας τη βάση για λύσεις που θα ενισχύουν τη δίκαιη και συμπεριληπτική ανάπτυξη στο πεδίο της ΤΝ.