Design, optimization, development and explanation of artificial intelligence algorithms, capable of running on distributed big data systems, based on multidimensional and complex datasets

Abstract

The exponential growth of digital data and advancements in Artificial Intelligence (AI) have redefined data-driven decision-making across industries. However, managing complex, high-dimensional, and multi-frequency datasets remains challenging, particularly in finance and cloud computing sectors where data variability, real-time adaptability, and predictive precision are crucial. This thesis introduces data-centric AI methodologies designed to create resilient and adaptable systems capable of processing diverse data across multiple formats and domains. Specifically, the dissertation presents a Knowledge and Reasoning Framework that utilizes ontologies and retrieval-augmented generation (RAG) techniques for integrating, managing, and processing structured and unstructured data. This enables the combined utilization of different types of data originating from different sources. Furthermore, techniques are developed to improve the real-time adaptability of time-series analysis models, allowing continuous system updates to capture evolving trends and maintain robust performance in dynamic environments. Techniques are also presented for the optimized use of Large Language Models (LLMs) for text analysis and classification, comparing their effectiveness with traditional transfer learning techniques for sentiment analysis in financial articles. Finally, an innovative system is proposed that combines and extends these methodologies, managing text, numerical data, and time-series data from various sources, providing a comprehensive solution with applications in the financial sector. The dissertation validates the proposed methodologies through real-world applications such as time-series prediction for cloud computing resource management, financial risk assessment, sentiment analysis, and systematic stock selection in finance. These contributions demonstrate significant improvements in handling complex datasets, ensuring real-time adaptability, and delivering interpretable and reliable AI-driven insights. By addressing the common challenges of data complexity and heterogeneity in real-world applications through multiple data-centric methodologies, this thesis offers scalable and resilient AI solutions for data-rich environments, effectively managing diverse and complex data formats across various domains.

Η εκθετική αύξηση των ψηφιακών δεδομένων και οι εξελίξεις στην Τεχνητή Νοημοσύνη (ΑΙ) έχουν επαναπροσδιορίσει τη λήψη αποφάσεων που βασίζεται σε δεδομένα σε διάφορους κλάδους. Ωστόσο, η διαχείριση και εκμετάλλευση σύνθετων, υψηλής διάστασης και διαφορετικών τύπων συνόλων δεδομένων παραμένει πρόκληση, ιδιαίτερα στους τομείς της χρηματοοικονομικής και του cloud computing, όπου η ποικιλία των δεδομένων, η προσαρμοστικότητα σε πραγματικό χρόνο και η ακρίβεια πρόβλεψης είναι κρίσιμες. H παρούσα διατριβή παρουσιάζει μεθοδολογίες ΑΙ με επίκεντρο τα δεδομένα, σχεδιασμένες να δημιουργούν ανθεκτικά και προσαρμοστικά συστήματα ικανά να επεξεργάζονται ποικίλα δεδομένα σε πολλαπλές μορφές και τομείς. Συγκεκριμένα, η διατριβή παρουσιάζει ένα Πλαίσιο Συλλογισμού και Γνώσης που αξιοποιεί οντολογίες και τεχνικές ανάκτησης-ενισχυμένης δημιουργίας (RAG) για την ενσωμάτωση, διαχείριση και επεξεργασία δομημένων και μη δομημένων δεδομένων. Αυτό επιτρέπει τη συνδυαστική χρήση διαφορετικών τύπων δεδομένων προερχόμενων από διαφορετικές πηγές. Επιπλέον, προτείνονται τεχνικές για τη βελτίωση της προσαρμοστικότητας μοντέλων ανάλυσης χρονοσειρών σε πραγματικό χρόνο, επιτρέποντας συνεχή ενημέρωση του συστήματος για την αποτύπωση εξελισσόμενων τάσεων και τη διατήρηση ισχυρής απόδοσης σε δυναμικά περιβάλλοντα. Παρουσιάζονται επίσης τεχνικές για βελτιστοποιημένη χρήση Μεγάλων Γλωσσικών Μοντέλων (LLMs) για ανάλυση και ταξινόμηση κειμένου, συγκρίνοντας την αποτελεσματικότητά τους με παραδοσιακές τεχνικές μεταφοράς μάθησης για ανάλυση συναισθήματος σε χρηματοοικονομικά άρθρα. Τέλος, προτείνεται ένα καινοτόμο σύστημα που συνδυάζει και επεκτείνει αυτές τις μεθοδολογίες, διαχειριζόμενο κείμενο, αριθμητικά δεδομένα και δεδομένα χρονοσειρών από ποικίλες πηγές, παρέχοντας μια ολοκληρωμένη λύση με εφαρμογές στον χρηματοπιστωτικό τομέα. Η διατριβή επικυρώνει τις προτεινόμενες μεθοδολογίες μέσω εφαρμογών στον πραγματικό κόσμο, όπως η πρόβλεψη χρονοσειρών για τη διαχείριση πόρων στο cloud computing, η αξιολόγηση χρηματοοικονομικού κινδύνου, η ανάλυση συναισθήματος και η συστηματική επιλογή μετοχών στη χρηματοοικονομική. Αυτές οι συνεισφορές επιδεικνύουν σημαντικές βελτιώσεις στη διαχείριση σύνθετων συνόλων δεδομένων, εξασφαλίζοντας προσαρμοστικότητα σε πραγματικό χρόνο και παρέχοντας ερμηνεύσιμα και αξιόπιστα αποτελέσματα με τη χρήση ΑΙ. Αντιμετωπίζοντας τις κοινές προκλήσεις της πολυπλοκότητας και της ετερογένειας των δεδομένων σε εφαρμογές του πραγματικού κόσμου μέσω συνδυασμένης χρήσης των προτεινόμενων μεθοδολογιών με επίκεντρο τα δεδομένα, αυτή η διατριβή προτείνει καινοτόμες λύσεις για την αποτελεσματική εκμετάλλευση ποικίλων και σύνθετων δεδομένων, συμβάλλοντας στην ανάπτυξη εφαρμοσμένων συστημάτων Τεχνητής Νοημοσύνης σε διάφορους τομείς.