Optimization-based models for explainable deep learning architectures in multidimensional signal processing applications

Abstract

Multidimensional signals are found in many important fields, including remote sensing, precision agriculture, autonomous robotic systems, and complex recommendation systems. These signals often represent rich and structured information about physical phenomena, environmental conditions, or user behaviors. To address challenges in processing and analyzing these signals, we introduce a framework based on three layers of dependencies. The first layer considers data-level dependencies within the multidimensional signals themselves. The second layer examines domain-level dependencies among the areas where these signals originate or are applied. The third layer focuses on agent-level dependencies between a network of agents processing such signals and share a common goal. Modeling these interconnected layers of dependencies can provide critical insights and enhance performance in tasks such as spectral and LiDAR super-resolution and cross-domain recommendation, ultimately improving the accuracy and efficiency of multidimensional signal processing across diverse applications. In recent years, deep learning-based solutions have become common for processing multidimensional signals. However, these approaches seem to have reached a performance ceiling, with deeper architectures being proposed by trial and error, lacking clear mathematical justification, and requiring increasingly larger datasets for training. This dissertation argues that by utilizing optimization theory, we can more effectively leverage these three layer-dependencies, resulting in solutions that are both explainable and efficient. For data-level dependencies, we developed novel optimization problems employing appropriate learnable or handcrafted regularizers, grounded in optimization theory, such as sparse representation theory. By leveraging these principles, we develop advanced algorithms that capture intricate dependencies within the data, leading to efficient iterative solutions. Building on deep unrolling and deep equilibrium approaches, we enhance these solutions by developing novel explainable deep learning architectures for solving the proposed optimization problems, designed to tackle a wide range of image processing applications, such as hyperspectral denoising and deconvolution. In scenarios where multidimensional signals originate from different domains, additional dependencies between these domains can be considered, increasing the effectiveness of the previously mentioned approaches. To utilize the domain-level dependencies, we develop coupled domain or domain adaptation methodologies based on novel frameworks with coupled dictionaries, coupled autoencoders, and deep unrolling. These create explainable solutions for problems such as spectral super-resolution in precision agriculture, LiDAR super-resolution in the automotive domain, and cross-domain recommendation. By discovering and utilizing transfer functions between domains, we enable high-quality signal reconstruction and effective knowledge transfer across related domains. Furthermore, in this dissertation, we extend the capabilities of the proposed methodologies, arguing that in many real-world scenarios, such as autonomous driving, networks of agents collaboratively processing and learning from multidimensional data. For agent-level dependencies, we explore federated learning to enable collaborative processing while ensuring data privacy and computational efficiency. We investigate resource-efficient federated deep equilibrium and unrolling models, particularly suitable for scenarios with heterogeneous devices, applied to tasks such as LiDAR super-resolution and medical imaging. Overall, this study provides a novel connection between mathematically solid and extensively studied optimization approaches, such as sparse representation modeling, and modern deep learning methods. By integrating these approaches, this work offers explainable, efficient solutions for complex multidimensional signal processing tasks. The contributions advance the state-of-the-art in remote sensing, precision agriculture, autonomous systems, and complex recommendation systems, with potential implications for a wide range of real-world scenarios. This dissertation bridges the gap between theoretical optimization techniques and practical deep learning models, setting a foundation for future innovations in multidimensional signal processing.

Τα πολυδιάστατα σήματα δύναται να εντοπιστούν σε πολλούς σημαντικούς κλάδους, συμπεριλαμβανομένων της τηλεπισκόπησης (remote-sensing), της ακριβούς γεωργίας (precision agriculture), των αυτόνομων ρομποτικών συστημάτων (autonomous robotics systems) και των σύνθετων συστημάτων συστάσεων (complex recommendation systems). Λόγω της υψηλής τους διάστασης, τα σήματα αυτά χαρακτηρίζονται από εγγενείς και δομημένες συσχετίσεις, οι οποίες σχετίζονται με τα φυσικά φαινόμενα που περιγράφουν, τις περιβαλλοντικές συνθήκες και τις συμπεριφορές των χρηστών. Για να αντιμετωπίσουμε τις προκλήσεις στην επεξεργασία και ανάλυση αυτών των σημάτων, εισάγουμε ένα πλαίσιο βασισμένο σε τρία στάδια εξαρτήσεων. Το πρώτο στάδιο εξετάζει τις εξαρτήσεις σε επίπεδο δεδομένων εντός των ίδιων των πολυδιάστατων σημάτων (data-level). Το δεύτερο στάδιο εξετάζει τις εξαρτήσεις μεταξύ διαφορετικών πεδίων (domains) από όπου αυτά τα σήματα προέρχονται ή και εφαρμόζονται (domain-level). Το τρίτο στάδιο εστιάζει στις εξαρτήσεις σε επίπεδο χρηστών (user-level), λαμβάνοντας υπόψη ότι σε πολλές εφαρμογές υπάρχουν διασυνδεδεμένοι χρήστες που επεξεργάζονται αυτά τα σήματα και μοιράζονται έναν κοινό στόχο. Η μοντελοποίηση αυτών των τριών ειδών αλληλοσυνδεόμενων εξαρτήσεων μπορεί να παρέχει κρίσιμες πληροφορίες και να βελτιώσει την απόδοση σε προβλήματα όπως η αύξηση της φασματικής ανάλυσης (spectral super-resolution), η αύξηση της ανάλυσης ενός φθηνού αισθητήρα LiDAR (LiDAR super-resolution) και οι συστάσεις μεταξύ διαφορετικών domains (cross-domain recommendation). Τα τελευταία χρόνια, λύσεις που βασίζονται στη βαθιά μάθηση (deep learning) καθίστανται ιδιαίτερα δημοφιλείς για την επεξεργασία πολυδιάστατων σημάτων. Ωστόσο, αυτές οι προσεγγίσεις φαίνεται να έχουν φτάσει σε ένα όριο όσον αφορά την απόδοση, με βαθύτερες αρχιτεκτονικές να προτείνονται χωρίς σαφή μαθηματική αιτιολόγηση και απαιτώντας όλο και μεγαλύτερα σύνολα δεδομένων για εκπαίδευση. Στην εν λόγω διατριβή υποστηρίζεται ότι με τη χρήση της θεωρίας βελτιστοποίησης, δύναται να αξιοποιηθεί πιο αποτελεσματικά το προτεινόμενο επίπεδο τριών εξαρτήσεων, οδηγώντας σε λύσεις που είναι τόσο ερμηνεύσιμες όσο και αποδοτικές. Πιο συγκεκριμένα, για τις εξαρτήσεις σε επίπεδο δεδομένων (data-level dependencies), αναπτύξαμε νέα προβλήματα βελτιστοποίησης χρησιμοποιώντας κατάλληλους όρους κανονικοποίησης που είτε μαθαίνονται από τα δεδομένα είτε επιλέγονται από κάποιον ειδικό (learnable- handcrafted regularizers), βασιζόμενα στη θεωρία βελτιστοποίησης, και σε εργαλεία όπως η αραιή αναπαράσταση (sparse representation). Με την αξιοποίηση αυτών των αρχών, αναπτύξαμε λύσεις που βασίζονται στις εξαρτήσεις των δεδομένων, οδηγώντας σε αποδοτικούς επαναληπτικούς αλγορίθμους. Επιπλέον, αξιοποιώντας μεθόδους όπως το deep unrolling και το deep equilibrium, οι προηγούμενες λύσεις μπορούν να βελτιωθούν περεταίρω, μετασχηματίζοντάς τες σε καινοτόμες και ερμηνεύσιμες αρχιτεκτονικές βαθιάς μάθησης. Τα εν λόγω ερμηνεύσιμα δίκτυα μπορούν να εφαρμοστούν σε μια ευρεία γκάμα εφαρμογών επεξεργασίας εικόνας, όπως η αποθορυβοποίηση και η αποσυνέλιξη υπερφασματικών εικόνων. Σε σενάρια όπου τα πολυδιάστατα σήματα προέρχονται από διαφορετικούς τομείς (domains), μπορούν να ληφθούν υπόψη πρόσθετες εξαρτήσεις, αυξάνοντας την αποτελεσματικότητα των προηγουμένως αναφερθέντων προσεγγίσεων. Για να αξιοποιήσουμε αυτές τις εξαρτήσεις, αναπτύξαμε μεθοδολογίες προσαρμογής τομέων (domain-adaptation) που στηρίζονται σε καινοτόμες τεχνικές όπως η μάθηση συζευγμένων λεξικών (coupled dictionary learning), η μάθηση συζευγμένων αυτόματων κωδικοποιητών (coupled autoencoders learning) και του deep unrolling. Οι εν λόγω μεθοδολογίες οδηγούν σε ερμηνεύσιμες λύσεις για προβλήματα όπως η αύξηση ανάλυσης φάσματος στην γεωργία ακριβείας, η αύξηση ανάλυσης φθηνών αισθητήρων LiDAR σε προβλήματα αυτόνομης οδήγησης και οι συστάσεις μεταξύ διαφορετικών πεδίων (cross-domain recommendation). Επιπλέον, σε αυτή τη διατριβή, επεκτείνουμε τις δυνατότητες των προτεινόμενων μεθοδολογιών, υποστηρίζοντας ότι σε πολλά σενάρια πραγματικού κόσμου, όπως η αυτόνομη οδήγηση, δίκτυα διασυνδεδεμένων χρηστών συνεργάζονται για την επεξεργασία και μάθηση από πολυδιάστατα δεδομένα. Για τις εξαρτήσεις σε επίπεδο χρηστών (user-level), εξετάσαμε την ομοσπονδιακή μάθηση (federated learning) για να επιτρέψουμε τη συνεργατική επεξεργασία λαμβάνοντας υπόψη την ιδιωτικότητα των δεδομένων και την υπολογιστική αποδοτικότητα. Τα προτεινόμενα μοντέλα συνεργατικής και βαθιάς μάθησης χαρακτηρίζονται κατάλληλα για σενάρια και προβλήματα με ετερογενείς συσκευές υπολογιστικής ισχύος και εφαρμόζονται σε προβλήματα όπως η αύξηση της ανάλυσης ενός αισθητήρα LiDAR και η ιατρική απεικόνιση και κατηγοριοποίηση. Συνολικά, αυτή η μελέτη παρέχει μια καινοτόμα σύνδεση μεταξύ μαθηματικά θεμελιωμένων τεχνικών βελτιστοποίησης, όπως η μοντελοποίηση αραιής αναπαράστασης, και σύγχρονων μεθόδων βαθιάς μάθησης. Ενσωματώνοντας αυτές τις προσεγγίσεις, αυτή η εργασία προσφέρει ερμηνεύσιμες και αποδοτικές λύσεις για σύνθετα προβλήματα επεξεργασίας πολυδιάστατων σημάτων. Οι συνεισφορές αυτής της εργασίας βελτιώνουν τις υπάρχουσες τεχνικές (state-of-the-art) σε ένα ευρύ φάσμα εφαρμογών όπως η τηλεπισκόπηση, η ακριβής γεωργία, τα αυτόνομα συστήματα και τα σύνθετα συστήματα συστάσεων, θέτοντας τα θεμέλια για μελλοντικές καινοτομίες στην επεξεργασία πολυδιάστατων σημάτων.