Machine learning methods for modelling and analysis of time series signals in geoinformatics

Abstract

The analysis of experimental data that have been observed at different points in time leads to new and unique problems in statistical modeling and inference. The obvious correlation introduced by the sampling of adjacent points in time can severely restrict the applicability of the many conventional statistical methods traditionally dependent on the assumption that these adjacent observations are independent andidentically distributed. The systematic approach by which one goes about answering the mathematical and statistical questions posed by these time correlations is commonly referred to as time series analysis (TSA).Time series modeling (TSM) plays a key role in a wide range of real-life problems that have a temporal component. Modern time series problems often pose significant challenges for the existing techniques both in terms of their complexity, structure and size. While traditional methods have focused on parametric models informed by domain expertise, modern machine learning (ML) methods provide a means to learn temporal dynamics in a purely data-driven manner. With the increasing data availability and computing power in recent times, machine learning has become a vital part of the next generation of time series models. Thus, there is both a great need and an exciting opportunity for the machine learning community to develop theory, models and algorithms specifically for the purpose of processing and analyzing time series data.The impact of time series modelling and analysis on scientific applications can be partially documented by analysing problems of various diverse fields in which important time series problems may arise. Modern time series problems are characterized by complexity. Also, since real-world systems often evolve under transient conditions, the signals/time series tend to exhibit various forms of non-stationarity. As far as mathematical models are concerned, they can be categorized in many different ways. They can be linear or non-linear, static or dynamic, continuous distinct in time, deterministic or contemplative. The proper model selection to accurately describe a system depends on the system under study, on whether the operation of the system is a-priory known or not, as well as on the purpose of the implementation. This dissertation presents developments in nonlinear and non-static time series models under a machine learning framework, comparing their performance in real-life application scenarios related to geoinformatics as well as environmental applications.In this dissertation is provided a comparative analysis that evaluates the performance of several deep learning (DL) architectures on a large number of time series datasets of different nature and for different applications. Two main fruitful research fields are discussed here which were strategically chosen in order to address current cross-disciplinary research priorities attracting the interest of geoinformatics communities. The first problem is related to ionospheric Total Electron Content (TEC) modeling which is an important issue in many real-time Global Navigation System Satellites (GNSS) applications. Reliable and fast knowledge about ionospheric variations becomes increasingly important. GNSS users of single-frequency receivers and satellite navigation systems need accurate corrections to remove signal degradation effects caused by the ionosphere. Ionospheric modeling using signal-processing techniques is the subject of discussion in the present contribution. The next problem under discussion is energy disaggregation which is an important issue for energy efficiency and energy consumption awareness. Reliable and fast knowledge about residential energy consumption at appliance level becomes increasingly important nowadays and it is an important mitigation measure to prevent energy wastage. Energy disaggregation or Non-intrusive load monitoring (NILM) is a single channel blind source separation problem where the task is to estimate the consumption of each electrical appliance given the total energy consumption. For both problems various deep learning models (DL) are proposed that cover various aspects of the problem under study, whereas experimental results indicate the proposed methods' superiority compared to the current state of the art.

Η ανάλυση χρονοσειρών στηρίζεται σε δεδομένα που δίνονται με χρονική διάταξη και περιλαμβάνει την προσπάθεια διερεύνησης μέσω διάφορων μεθόδων του μηχανισμού που παράγει τη χρονοσειρά και εκτίμησης των χαρακτηριστικών της. Σκοπός είναι η ανάπτυξη ενός προτεινόμενου υποδείγματος (μοντελοποίηση) για να την περιγράψει και στη συνέχεια να επιδιώξει την πρόβλεψη της εξέλιξης της, δηλαδή την πρόβλεψη των επόμενων τιμών της χρονοσειράς. Η μοντελοποίηση και η ανάλυση των χρονοσειρών (times series modelling and analysis) έχουν αποκτήσει αυξημένο ενδιαφέρον κατά τη διάρκεια των τελευταίων δεκαετιών σε εφαρμογές γεωδαισίας, γεωπληροφορικής και περιβάλλοντος.Τα μαθηματικά μοντέλα αποτελούν ένα πολύτιμο εργαλείο ερευνητικά για τη μοντελοποίηση και ανάλυση χρονοσειρών. Η ραγδαία εξέλιξη της τεχνολογίας τα τελευταία χρόνια, η οποία έχει προσφέρει τεράστια υπολογιστική δύναμη και ισχύ, συνεισφέρει στην ανάπτυξη σύνθετων μοντέλων, τα οποία είναι ικανά να εξηγήσουν περίπλοκους φυσιολογικούς μηχανισμούς. Επιπροσθέτως, εκτός από την αύξηση υπολογιστικής ισχύος, έχουν αυξηθεί και οι τρόποι απόκτησης δεδομένων, προσφέροντας έτσι περισσότερο χώρο για δοκιμή των μοντέλων, αλλά και την καλύτερη «εκπαίδευσή» τους. Οι πρόσφατες εξελίξεις στην τεχνολογία αισθητήρων (sensors) και η συνακόλουθη διαθεσιμότητα άφθονων πηγών δεδομένων με τη μορφή χρονοσειρών μπορούν να μεταμορφώσουν τον τρόπο παρακολούθησης και ελέγχου των πολύπλοκων συστημάτων στον πραγματικό κόσμο. Κατά συνέπεια τα σύγχρονα προβλήματα χρονοσειρών χαρακτηρίζονται από πολυπλοκότητα (complexity). Επίσης, δεδομένου ότι τα συστήματα του πραγματικού κόσμου συχνά εξελίσσονται υπό παροδικές συνθήκες, τα σήματα/χρονοσειρές (signals/time series) που λαμβάνονται, τείνουν να εμφανίζουν διάφορες μορφές μη στατικότητας (non-stationarity). Όσον αφορά στα μαθηματικά μοντέλα, μπορούν να κατηγοριοποιηθούν με πολλούς διαφορετικούς τρόπους. Μπορούν να είναι γραμμικά ή μη-γραμμικά, στατικά ή δυναμικά, συνεχή ή διακριτά στον χρόνο, ντετερμινιστικά ή στοχαστικά. Το μοντέλο που επιλέγεται για την περιγραφή ενός συστήματος, εξαρτάται από το ίδιο το σύστημα υπό μελέτην, από το αν η λειτουργία του συστήματος μας είναι γνωστή ή όχι, όπως και από τον σκοπό της εφαρμογής του μοντέλου. Η παρούσα διατριβή προτείνει σε μη γραμμικά και μη στατικά μοντέλα χρονοσειρών σε ένα πλαίσιο που βασίζεται στη μηχανική μάθηση κάνοντας σύγκριση των επιδόσεών τους σε ορισμένες πραγματικές περιβαλλοντικές εφαρμογές και εφαρμογές που σχετίζονται με τη γεωπληροφορική και τη γεωδαισία.Σε περιπτώσεις επιβλεπόμενης μηχανικής μάθησης (supervised learning), οι χρονοσειρές μετατρέπονται σε παραδείγματα εκπαίδευσης. Αυτό γίνεται με την έμμεση ενσωμάτωσή της μεταβλητής του χρόνου στα παραδείγματα μέσω επιπλέον χαρακτηριστικών. Για παράδειγμα μπορεί να προστεθεί σαν χαρακτηριστικό η τιμή της μεταβλητής προς πρόβλεψη της προηγούμενης χρονικής στιγμής. Η χρονική στιγμή αυτή μπορεί να είναι λεπτό, ώρα, ημέρα, και εξαρτάται αναλόγως της φύσης των παραδειγμάτων. Ακόμη, μπορούν να προστεθούν πεδία τα οποία να μοντελοποιούν την τάση και την εποχικότητα των δεδομένων. Μετά από αυτή την μετατροπή, εφαρμόζονται αλγόριθμοι Μηχανικής Μάθησης για την εκπαίδευση του μοντέλου. Τα περισσότερα από αυτά τα μοντέλα αξιοποιούν τα παραδείγματα ανεξάρτητα το ένα με το άλλο υπάρχουν όμως και μοντέλα που αξιοποιούν την αλληλοδιαδοχή αυτών, όπως τα Αναδρομικά Νευρωνικά Δίκτυα (Recurrent Neural Networks - RNN) και η επέκταση αυτών, τα Δίκτυα Μακράς Βραχυπρόθεσμης Μνήμης (Long Short-Term Memory Networks - LSTM). Η μεγάλη διαφορά των μοντέλων αυτών είναι πως μπορούν να εκμεταλλευτούν και άλλες πληροφορίες και να τις ενσωματώσουν στον μηχανισμό πρόβλεψής τους. Η προσέγγιση αυτή στην ανάλυση και πρόβλεψη χρονοσειρών συνήθως αποτελεί μια πιο δυνατή και ευέλικτη μέθοδο από τις κλασικές στατιστικές τεχνικές, όπως τα αυτοπαλινδρομούμενα μοντέλα κινητού μέσου όρου (Autoregressive Moving Average – ARMA) και τα αυτοπαλινδρομούμενα μοντέλα ενσωματωμένου κινητού μέσου όρου (Autoregressive Integrated Moving Average -ARIMA). Ωστόσο, είναι σημαντικό να αναφερθεί ότι ένα μοντέλο μηχανικής μάθησης που προσαρμόζεται επιτυχώς για δεδομένα χρονοσειρών πρέπει να διατηρεί τη χρονική δυναμική μεταβολή του φαινομένου, με την έννοια ότι οι νέες τιμές που προκύπτουν από το μοντέλο υπακούουν στη χρονική συσχέτιση (temporal correlation) μεταξύ των μεταβλητών με την πάροδο του χρόνου. Οι τεχνικές αυτές χρησιμοποιούνται στη μοντελοποίηση ακολουθιών (sequence modelling) και εχουν εφαρμοστεί στα πλαίσια της παρούσας έρευνας. Εκτός των αναδρομικών νευρωνικών δικτύων, έγινε προσπάθεια να αξιοποιηθούν και τα ευρέως γνωστά Συνελικτικά Νευρωνικά Δίκτυα (Convolutional Neural Networks-CNN) στην πρόβλεψη της ιονόσφαιρας. Αυτό πραγματοποιήθηκε προτείνοντας μονοδιάστατα δίκτυα CNN που παρουσιάζουν μεταβολές στη διάσταση του χρόνου. H ιδιότητες της αιτιότητας (causality) και της διαστολής (dilation) αποτέλεσαν σημαντικές παραμέτρους ώστε το κλασσικό μοντέλο CNN να αποκτήσει ιδιότητες αυτοπαλινδρόμησης (autoregressive). Επιπλέον, στα πλαίσια της διατριβής προτείνονται και υβριδικά μοντέλα μηχανικής μάθησης (hybrid) που συνδυάζουν ιδιότητες των συνελικτικών και των αναδρομικών νευρωνικών δικτύων.Επιπρόσθετα, έγινε εφαρμογή των Γεννητικών Aνταγωνιστικών Δικτύων (Generative Adversarial Networks – GAN). Πρόκειται για μια μέθοδο μηχανικής μάθησης, κατά την οποία ένα γεννητικό (generative) μοντέλο εκπαιδεύεται να παράγει παραδείγματα που «εξαπατούν» έναν ταξινομητή (discriminator), ο οποίος εκπαιδεύεται συγχρόνως να διαχωρίζει τα παραδείγματα που παράγει το παραγωγικό μοντέλο και τα πραγματικά παραδείγματα μιας κατανομής. Έτσι, το παραγωγικό μοντέλο μαθαίνει να παράγει ρεαλιστικά παραδείγματα που δεν μπορούν να διαχωριστούν από πραγματικά δεδομένα. Στους αλγορίθμους GAN, η χρονική συνιστώσα των δεδομένων αποτελεί μια μοναδική πρόκληση για την παραγωγική μοντελοποίηση, καθώς το μοντέλο πρέπει να συλλάβει την πολύπλοκη δυναμική των μεταβλητών με την πάροδο του χρόνου.Σε αυτή τη διατριβή παρέχεται μια συγκριτική ανάλυση που αξιολογεί την απόδοση πολλών αρχιτεκτονικών βαθιάς μηχανικής μάθησης (Deep Learning – DL) σε μεγάλο αριθμό συνόλου δεδομένων χρονοσειρών διαφορετικής φύσης και για διαφορετικές εφαρμογές. Δύο βασικοί ερευνητικοί τομείς εξετάζονται:Εφαρμογή στη γεωδαισία: Στη δορυφορική γεωδαισία, στο πρόβλημα εντοπισμού θέσης ένα σημαντικό σφάλματος αποτελεί το ιονοσφαιρικό σφάλμα. Σημειώνεται ότι η αξιόπιστη και γρήγορη γνώση σχετικά με τις ιονοσφαιρικές διαταραχές καθίσταται ολοένα και πιο σημαντική στον ακριβή εντοπισμό θέσης. Ο προσδιορισμός των ιονοσφαιρικών διαταραχών μέσω της μοντελοποίησης των τιμών της πυκνότητας των ηλεκτρονίων TEC (Total Electron Content) της ιονόσφαιρας, αποτελεί σημαντικό ζήτημα σε πολλές εφαρμογές για τη βελτίωση της θέσης με δέκτες GNSS σε εφαρμογές πραγματικού χρόνου (Real Time – RT). Οι χρήστες GNSS δεκτών μίας συχνότητας χρειάζονται ακριβείς διορθώσεις για να απομακρύνουν την υποβάθμιση του σήματος που προκαλείται από την ιονόσφαιρα. Η μοντελοποίηση των τιμών TEC της ιονόσφαιρας με τη χρήση τεχνικών επεξεργασίας σήματος και τεχνικών μηχανικής μάθησης αποτελεί αντικείμενο συζήτησης στην παρούσα διατριβή. Εφαρμογή στην ενέργεια και το περιβάλλον: Η αξιόπιστη και γρήγορη γνώση σχετικά με την οικιακή κατανάλωση ενέργειας σε επίπεδο οικιακών συσκευών γίνεται ολοένα και πιο σημαντική σήμερα και αποτελεί σημαντικό μέτρο μετριασμού για την πρόληψη της ενεργειακής σπατάλης. Ο ενεργειακός επιμερισμός (energy disaggregation) είναι ένα πρόβλημα διαχωρισμού τις συνολικής καταναλισκόμενης ενέργειας, στις επιμέρους συνιστώσες και τον προσδιορισμό της ενέργειας που καταναλώνει η εκάστοτε ηλεκτρική οικιακή συσκευή δεδομένης της συνολικής κατανάλωσης ενέργειας.Η υπό εξέταση διατριβή αναπτύσσεται σε 8 κεφάλαια:Στο Κεφάλαιο 1 γίνεται μία εισαγωγή στις τεχνικές μοντελοποίησης χρονοσειρών. Παρουσιάζονται τα προβλήματα που θα αντιμετωπιστούν, οι γενικότεροι περιορισμοί των υφιστάμενων μεθόδων στη βιβλιογραφία και τα κίνητρα για την ενασχόληση με το συγκεκριμένο αντικείμενο της διατριβής. Στη συνέχεια, σημειώνονται οι γενικοί και ειδικοί στόχοι της διατριβής και παραθέτονται οι πρωτότυπες συνεισφορές. Τέλος, δίνεται η δομή της διατριβής.Στο Κεφάλαιο 2 παρατίθεται το θεωρητικό υπόβαθρο για την ανάπτυξη τοπικών μοντέλων για τη χαρτογράφηση της ιονόσφαιρας και περιγράφεται η συνεισφορά των παρατηρήσεων GNSS στην εκτίμηση των παραμέτρων TEC της ιονόσφαιρας. Αρχικά, παρουσιάζεται η σχετική βιβλιογραφία. Συγκεκριμένα, ύστερα από εκτεταμένη έρευνα που πραγματοποιήθηκε, περιγράφονται οι πιο σημαντικές βιβλιογραφικές αναφορές που σχετίζονται με τις μεθόδους για τη μοντελοποίηση των τιμών TEC της ιονόσφαιρας. Επίσης, μοντελοποιείται μαθηματικά το υπό μελέτη πρόβλημα, η επίλυση του οποίου αποτελεί έναν από τους κύριους στόχους της παρούσης διατριβής. Στο Κεφάλαιο 3 παρουσιάζεται η προτεινόμενη μέθοδος για τη μοντελοποίηση των τιμών TEC της ιονόσφαιρας χρησιμοποιώντας μοντέλα βαθιάς μηχανικής μάθησης προσαρμοσμένα σε χρονοσειρές και παρατηρήσεις GNSS. Η μελέτη επικεντρώθηκε στη χρήση τεχνικών μάθησης με επίβλεψη για την πρόβλεψη της ιονοσφαιρικής υστέρησης από μετρήσεις GNSS και την παραγωγή μοντέλων ιονόσφαιρας τοπικού χαρακτήρα. Βασική δομή δικτύων που χρησιμοποιήθηκε για την ανάλυση είναι τα αναδρομικά νευρωνικά δίκτυα (Recurrent Neural Networks -RNN). Τα αναδρομικά νευρωνικά δίκτυα είναι δυναμικά συστήματα που μπορούν να μοντελοποιήσουν και να αναπαραστήσουν χρονικά μεταβαλλόμενα φαινόμενα. Συγκεκριμένα έγινε χρήση της δομής LSTM. Τα δίκτυα LSTM θεωρούνται κατάλληλα για τη μοντελοποίηση δεδομένων χρονοσειρών καθώς είναι δίκτυα με μνήμη και οι είσοδοι του παρελθόντος επηρεάζουν τις προβλέψεις του μέλλοντος. Ένα από τα χαρακτηριστικά των δικτύων LSTM, που τα έχει καταστήσει πολύ δημοφιλή στην κοινότητα της μηχανικής μάθησης, είναι ότι έχουν τη δυνατότητα να συνδυάζουν πληροφορίες από προηγούμενα δεδομένα εκμάθησης και να τις χρησιμοποιούν κατά την εκπαίδευση των τωρινών δειγμάτων. Η αναλύση πραγματοποιήθηκε σε ένα σύνολο σταθμών της IGS, και για την αξιολόγηση της προτεινόμενης μεθόδου LSTM για την πρόβλεψη τιμών VTEC της ιονόσφαιρας έγινε σύγκριση με τις παραδοσιακές μεθόδους Autoregressive (AR) και Autoregressive Moving Average (ARMA), ανά δορυφόρο. Το προτεινόμενο μοντέλο επιτυγχάνει μέσο σφάλμα μικρότερο από 1,5 TECU. Στο Κεφάλαιο 4 η αρχική αδυναμία κατάλληλης χρήσης των ευρέως γνωστών δικτύων CNN για προβλήματα χρονοσειρών άρθηκε με την εισαγωγή στο πρόβλημα μονοδιάστατων χρονικών δικτύων CNN και με την εισαγωγή των ιδιοτήτων της αιτιότητας (causality) και της διαστολής (dilation). Η προτεινόμενη μέθοδος βασίζεται στα μοντέλα ακολουθιών (sequence-to-sequence ή seq2seq). Σύμφωνα με την προτεινόμενη μέθοδο, το μοντέλο είναι κατάλληλο για την πρόβλεψη της ιονοσφαιρικής υστέρησης σε διαφορετικές θέσεις σταθμών GNSS, χρησιμοποιώντας ένα χρονικό μοντέλο 1D συνελικτικού νευρικού δικτύου (CNN). Το μοντέλο CNN μπορεί να αντιμετωπίσει βέλτιστα τη μη γραμμικότητα και να μοντελοποιήσει πολύπλοκα δεδομένα μέσω της δημιουργίας αναπαραστάσεων σε διάφορα ιεραρχικά επίπεδα. Για την πρόβλεψη των τιμών της παραμέτρου TEC της ιονόσφαιρας για κάθε ορατό δορυφόρο σε έναν δεδομένο σταθμό, εισάγονται μοντέλα ακολουθίας (seq2seq). Αυτά τα μοντέλα χρησιμοποιούνται συνήθως για την επίλυση δυναμικών προβλημάτων. Στα μοντέλα seq2seq, η είσοδος στο μοντέλο αποτελεί μια ακολουθία διαδοχικών τιμών (χρονοσειρά ορισμένου χρονικού παραθύρου) και η έξοδος έχει επίσης τη μορφή ακολουθίας. Η υιοθέτηση αυτής της δομής βοηθά στην πρόβλεψη των τιμών της ιονόσφαιρας για όλους τους δορυφόρους που προβάλλονται σε κάθε εποχή. Ως πειραματικά δεδομένα, έγινε χρήση παρατηρήσεων από το παγκόσμιο δορυφορικό σύστημα πλοήγησης (GNSS) από επιλεγμένους σταθμούς στην κεντρική Ευρώπη, του παγκόσμιου διεθνούς δικτύου GNSS (IGS). Τα δεδομένα που χρησιμοποιούνται είναι μέρος του έργου πειράματος πολλαπλών GNSS (MGEX), το οποίο παρέχει παρατηρήσεις από πολλαπλά δορυφορικά συστήματα πλοήγησης. Μετά την επεξεργασία με τεχνική ακριβούς εντοπισμού θέσης (PPP) όπως υλοποιήθηκε με λογισμικό GAMP, ελήφθησαν οι τιμές TEC που χρησιμοποιήθηκαν ως σημεία αναφοράς στο μοντέλο (ground truth). Στο Κεφάλαιο 5 η ανάλυση επικεντρώθηκε και αυτή τη φορά στη χρήση τεχνικών μάθησης με επίβλεψη για την πρόβλεψη της ιονοσφαιρικής υστέρησης από μετρήσεις GNSS και την παραγωγή μοντέλων ιονόσφαιρας τοπικού χαρακτήρα. Στο κεφάλαιο αυτό δόθηκε έμφαση στην αναγκαιότητα πρόβλεψης του χωρο-χρονικού φαινομένου της ιονοσφαιρικής μεταβλητότητας που σχετίζεται με την απαίτηση πολλών χρηστών να εντοπίσουν τη θέση τους με ακρίβεια αλλά με εξοπλισμό χαμηλού κόστους. Ο σκοπός της εργασίας είναι να προτείνει έναν ακριβή υπολογισμό TEC από δεδομένα GNSS, ξεπερνώντας τα προβλήματα που σχετίζονται με την ακανόνιστη συμπεριφορά της ιονόσφαιρας σε τοπικό επίπεδο. Με το προτεινόμενο μοντέλο TEC γίνεται εκτίμηση των ιονοσφαιρικών μεταβολών σε διαφορετικές γεωγραφικές τοποθεσίες (χωρικές), για διαφορετικές χρονικές περιόδους (χρονικές) και υπό διάφορες ηλιακές και γεωμαγνητικές συνθήκες. Στην παρούσα έρευνα, προτείνουμε μια προσέγγιση που βασίζεται στη μηχανική μάθηση για ιονοσφαιρική μοντελοποίηση. Αυτή η μέθοδος εκμεταλλεύεται τα πλεονεκτήματα των αναδρομικών επιπέδων για τη μοντελοποίηση των χρονοσειρών και των συνελικτικών επιπέδων για τη βελτίωση της ακρίβειας του μοντέλου στη χωρική διάσταση. Όσον αφορά στα αναδρομικά επίπεδα, πραγματοποιήθηκε σύγκριση μεταξύ των διαφόρων δομών των RNN μοντέλων, όπως των Long Short-Term Memory Networks (LSTM), των Bidirectional LSTM και των Gated Recurrent Units (GRU). Τα δίκτυα LSTM θεωρούνται κατάλληλα για τη μοντελοποίηση δεδομένων χρονοσειρών καθώς είναι δίκτυα με μνήμη και οι είσοδοι του παρελθόντος επηρεάζουν τις προβλέψεις του μέλλοντος. Επιπρόσθετα, η χρήση δικτύων BiLSTM στα οποία η έξοδος του δικτύου εξαρτάται και από μελλοντικές τιμές εξόδου, αυξάνει την ακρίβεια των αποτελεσμάτων. Με βάση την έρευνα και τα πειραματικά αποτελέσματα, η μέθοδος που εφαρμόζεται καλύτερα στα δεδομένα και επιτυγχάνει τα καλύτερα αποτελέσματα είναι η δομή GRU. Το μοντέλο GRU έχει κοινά χαρακτηριστικά με αυτά της δομής LSTM, με τη διαφορά ότι η δομή GRU είναι πιο εξελιγμένη και όχι τόσο πολύπλοκη όσο η LSTM. Αυτό έχει σαν αποτέλεσμα, το μοντέλο GRU να συγκλίνει γρηγορότερα, ενώ έπειτα από πειραματική διαδικασία αποδείχθηκε ότι επιτυγχάνει και τα καλύτερα αποτελέσματα. Η προτεινόμενη υβριδική μέθοδος CNN-GRU λαμβάνει υπόψη ηλιακές και γεωμαγνητικές παραμέτρους, ώστε να βελτιωθούν οι προβλέψεις TEC. Η ανάλυση πραγματοποιήθηκε σε ένα διάστημα τεσσάρων χρόνων (2014-2018), για σταθμούς της IGS σε διάφορα μήκη και πλάτη της Γης, ενώ πραγματοποιήθηκε αξιολόγηση του μοντέλου σε διαφορετικές εποχικές συνθήκες και συνθήκες όπου παρουσιάζονται ακραία ηλιακά και γεωμαγνητικά φαινόμενα. Η αξιολόγηση της προτεινόμενης επαναλαμβανόμενης μεθόδου για την πρόβλεψη των κατακόρυφων τιμών TEC (VTEC) συγκρίνεται με τις παραδοσιακές μεθόδους αυτοπαλινδρόμησης. Στο Κεφάλαιο 6 παρατίθεται το θεωρητικό πλαίσιο στη βάση του οποίου γίνεται μελέτη και ανάλυση του προβλήματος του ενεργειακού επιμερισμού. Ο ενεργειακός επιμερισμός, ή η μη παρεμβατική παρακολούθηση φορτίου (NILM), περιγράφει τη διαδικασία που στοχεύει στον προσδιορισμό του ποσοστού ενέργειας που καταναλώνει μια συσκευή ατομικά, στην συνολική ενέργεια που καταναλώνεται. Η ευαισθητοποίηση των ατόμων σχετικά με την προστασία και την αειφορία του περιβάλλοντος, είναι απαραίτητη προϋπόθεση για τον καθορισμό πολιτικών φιλικών προς το περιβάλλον, ή την εφαρμογή λύσεων για την κλιματική αλλαγή σε παγκόσμια κλίμακα. Υπάρχουν διάφοροι τρόποι με τους οποίους τα νοικοκυριά θα μπορούσαν να συμβάλουν στη βιώσιμη ζωή. Ένα από αυτά είναι η μείωση της κατανάλωσης ενέργειας. Για το σκοπό αυτό, απαιτείται αλλαγή της ενεργειακής συμπεριφοράς στο νοικοκυριό. Πρώτον, οι καταναλωτές πρέπει να γνωρίζουν την κατανάλωση ενέργειας. Ωστόσο, οι τελικοί καταναλωτές συχνά δεν διαθέτουν γνώσεις σχετικά με την πιθανή εξοικονόμηση ενέργειας, τα υφιστάμενα μέτρα πολιτικής και τις σχετικές τεχνολογίες. Οι περισσότεροι οικιακοί καταναλωτές γνωρίζουν συνήθως τις γενικές πληροφορίες που σχετίζονται με την κατανάλωσή τους μέσω μηνιαίων λογαριασμών ηλεκτρικής ενέργειας. Ωστόσο, οι πληροφορίες σχετικά με την κατανάλωση ενέργειας δεν μεταφράζονται σε καλές πρακτικές και προσαρμοσμένες συμβουλές για εξοικονόμηση ενέργειας. Στα επόμενα κεφάλαια προτείνονται μοντέλα και αλγόριθμοι για την επίλυση του προβλήματος του ενεργειακού επιμερισμού, με καθέναν από αυτούς να εντοπίζει και μια διαφορετική πλευρά του προβλήματος. Στο Κεφάλαιο 7 παρουσιάζεται η προτεινόμενη μέθοδος για την επίλυση του προβλήματος του ενεργειακού εντοπισμού, θεωρώντας το πρόβλημα ως ένα πρόβλημα χρονοσειρών στο οποίο ο αλγόριθμος καλείται να συσχετίσει και να αντιστοιχίσει μια-προς-μια τις τιμές μεταξύ μιας χρονοσειράς καθαρού σήματος της κατανάλωσης μιας συσκευής με το θορυβώδες σήμα της συνολικής κατανάλωσης. Το προτεινόμενο μοντέλο έχει ως βάση του τα δίκτυα LSTM διπλής κατεύθυνσης (bidirectional LSTM), εισάγοντας την ιδιότητα της μη-αιτιότητας (non-causality) και επιτυγχάνοντας έτσι μεγαλύτερη ακρίβεια στο μοντέλο. Στο μοντέλο εισάγονται δύο καινοτομίες που το καθιστούν καλύτερο σε σχέση με τα ήδη υπάρχοντα μοντέλα στη διεθνή βιβλιογραφία. Πρώτον, το γεγονός ότι οι υπερπαράμετροι του προτεινόμενου μοντέλου μηχανικής μάθησης έχουν επιλεχθεί ώστε η αρχιτεκτονική που δημιουργείται να παρουσιάζει το μικρότερο δυνατόν σφάλμα (βελτιστοποίηση του δικτύου). Οι περισσότεροι αλγόριθμοι μηχανικής μάθησης, έχουν πολλές ρυθμίσεις που πρέπει να συντονίσουν με στόχο τον έλεγχο της συμπεριφοράς του αλγορίθμου μάθησης. Αυτές οι ρυθμίσεις ονομάζονται υπερπαραμέτροι. Οι τιμές των υπερπαραμέτρων δεν προσαρμόζονται από τον ίδιο τον αλγόριθμο μάθησης (αν και μπορεί να σχεδιαστεί ένα μετα-μοντέλο όπου θα μαθαίνει τις καλύτερες υπερπαραμέτρους για έναν άλλο μοντέλο). Στο πλαίσιο της διατριβής εφαρμόστηκε ο αλγόριθμος Μπεϋζιανής βελτιστοποίησης (Bayesian optimization) για να ενθυλακωθεί ένας αλγόριθμος που περιλαμβάνει υπερπαραμέτρους και να αποδώσει έναν αλγόριθμο μάθησης με τις βέλτιστες υπερπαραμέτρους. Η Μπεϋζιανή Βελτιστοποίηση (Bayesian Optimization) είναι μια καθιερωμένη στρατηγική για την ολική βελτιστοποίηση των θορυβωδών, δαπανηρών black-box συναρτήσεων, δηλαδή συναρτήσεων των οποίων οι εσωτερικές εκφράσεις και μηχανισμοί δεν είναι γνωστοί. Δεύτερον, προτείνεται ένα αρθρωτό και αυτο-εκπαιδευόμενο μοντέλο με τη δυνατότητα να προσαρμόζει τη συμπεριφορά του κάθε φορά που εντοπίζεται μια σημαντική αλλαγή των συνθηκών (adaptability). Σύμφωνα με τον αλγόριθμο που προτείνεται, υπολογίζεται η απόδοση του μοντέλου σε διάφορες περιβαλλοντικές και καιρικές συνθήκες και καταστάσεις που επηρεάζουν τη λειτουργία συγκεκριμένων συσκευών, ελέγχοντας την ακρίβεια που επιτυγχάνει το μοντέλο στις διαφορετικές αυτές συνθήκες. Όταν ο αλγόριθμος εντοπίζει στατιστικά σημαντική διαφορά στην εκτίμηση του μοντέλου σε σχέση με την πραγματική τιμή, ενεργοποιείται η διαδικασία επανεκπαίδευσης του μοντέλου, μέσω κατάλληλης τροποποίησης των βαρών του δικτύου. Κατά συνέπεια, το προτεινόμενο μοντέλο διαθέτει προσαρμοστική ικανότητα.Στο Κεφάλαιο 8 παρουσιάζεται ένα μοντέλο ενεργειακού επιμερισμού βασισμένο στη βαθιά μάθηση. Το προτεινόμενο αποτελεί ένα μη-γραμμικό μοντέλο παλινδρόμησης πολλαπλών εισόδων/εξόδων βαθιάς μάθησης που βασίζεται στα συνελικτικά δίκτυα CNΝ και αξιοποιεί τητις ιδιότητες της μη-γραμμικής παλινδρόμησης για να μοντελοποιήσει αποτελεσματικά τις χρονικές αλληλεξαρτήσεις των σημάτων ισχύος μιας συσκευής σε σχέση με το συνολικό σήμα. Επιπλέον, η ενσωμάτωση πολλαπλών καναλιών, το καθένα για διαφορετικό σήμα (ενεργή, άεργη, φαινόμενη ισχύς και ρεύμα), ενισχύει την πληροφορία οδηγώντας σε ένα πιο ακριβές μοντέλο. Συγκεκριμένα, το μοντέλο διαρθρώνεται σε τρία βασικά επίπεδα: Επίπεδο 1: το μονοδιάστατο δίκτυο CNN μοντελοποιείται στη μορφή πολλά προς πολλά κατά την οποία ως είσοδος στο μοντέλο λαμβάνεται η τρέχουσα τιμή κατανάλωσης στη χρονοσειρά καθώς και οι προηγούμενες τιμές κατανάλωσης που εκτείνονται εντός ενός χρονικού παραθύρου (tapped delay line), δημιουργώντας έτσι ένα Tapped delay line CNN δίκτυο. Επίπεδο 2: το δίκτυο αυτό εμπλουτίζεται με επαναληπτικό χαρακτήρα καθώς λαμβάνει ως είσοδο εκτός του παραθύρου του συνολικού σήματος, μια πρώτη εκτίμηση της κατανάλωσης του σήματος της συσκευής (βάση της πρώτης επανάληψης). Επίπεδο 3: τελευταία φάση αποτελεί η ενσωμάτωση πολλαπλών καναλιών, το καθένα για διαφορετικό σήμα (ενεργή, άεργη, φαινόμενη ισχύς και ρεύμα), ενισχύοντας επιπρόσθετα το μοντέλο. Τα πειραματικά αποτελέσματα υποδηλώνουν υψηλότερη απόδοση και ταχύτερους χρόνους σύγκλισης σε σύγκριση με τις πιο σύγχρονες προσεγγίσεις.Στο Κεφάλαιο 9 προτείνεται ένα μοντέλο για ενεργειακό επιμερισμό που βασίζεται στα ανάστροφα παραγωγικά ανταγωνιστικά δικτυα. Το προτεινόμενο μοντέλο έχει ως βασικό πλεονέκτημα το ότι είναι ανθεκτικό στο θόρυβο και προσφέρει υψηλή ακρίβεια ακόμη και σε περιπτώσεις όπου τα επίπεδα θορύβου στο συνολικό σήμα είναι υψηλά. Το μοντέλο προτείνεται σε δύο εκδόσεις, την αρχική και τη βελτιωμένη έκδοση. Η αρχική έκδοση του μοντέλου, που ονομάζεται μοντέλο EnerGAN, προτείνει ένα παραγωγικό (generative) μοντέλο που έχει εκπαιδευτεί σύμφωνα με τη λογική της ανταγωνιστικής μάθησης (adversarial learning). Ένα γενετικό μοντέλο παρουσιάζει τα ακόλουθα κύρια πλεονεκτήματα σε σύγκριση με μεθόδους αντιμετώπισης του NILM ως πρόβλημα ταξινόμησης ή παλινδρόμησης: δεδομένου ότι δημιουργεί ολόκληρη τη κυματομορφή σήματος, είναι ικανό να κάνει πιο μακροπρόθεσμες εκτιμήσεις, αντί να προβλέπει μόνο την ενιαία τρέχουσα τιμή του ατόμου σήμα ισχύος. Επιπλέον, δεδομένου ότι το σήμα εισόδου των δικτύων GAN είναι εξ ορισμού θόρυβος, τα μοντέλα αυτά είναι εγγενώς πιο ισχυρά σε θορυβώδη σήματα εισόδου και λιγότερο ευαίσθητα σε ασυνέπειες ή κενά στο συνολικό σήμα εισόδου. H βελτιωμένη έκδοση του μοντέλου που αναφέρεται ως EnerGAN++, αποτελεί μια προέκταση του αρχικού δικτύου EnerGAN, που περιέχει ένα προηγμένο μοντέλο διαχωριστή (discriminator). Ο διαχωριστής αποτελείται από ενα συνδυασμό μεταξύ συνελικτικών δικτύων και δικτύων με την τεχνική GRU. Στην προτεινόμενη αρχιτεκτονική, γίνεται χρήση των πλεονεκτημάτων της γρήγορης εκπαίδευσης των συνελικτικών νευρωνικών δικτύων CNN με την ανάγκη να εφαρμοστούν τα μοντέλα αυτά σε προβλήματα χρονοσειρών, σε αντιπαλική εκπαίδευση. Εδώ, τονίζεται ότι αν και έχουν προταθεί εναλλακτικοί τρόποι εφαρμογής των δικτύων CNN για δεδομένα χρονοσειρών, σε εφαρμογές όπως ο ενεργειακός επιμερισμός, ωστόσο, καμία από τις παραπάνω αναφερόμενες μεθόδους που συνδυάζουν ιδιότητες των συνελικτικών επιπέδων με δυναμικά δίκτυα χρονικού χαρακτήρα δεν έχει χρησιμοποιηθεί στην αντιπαλική μάθηση για ενεργειακό επιμερισμό. Καταλήγοντας, το μοντέλο EnerGAN++ έχει καλή απόδοση, ειδικά σε περίπτωση που (α) θορυβώδη σήματα της αθροιστικής κατανάλωσης χρησιμοποιούνται ως ενεργοποιητές εισόδου και (β) παρουσιάζονται απότομες αλλαγές στα σήματα ενέργειας της συσκευής.Στο Κεφάλαιο 10 παρουσιάζονται η σύνοψη και η συμβολή της διδακτορικής διατριβής καθώς και τα συμπεράσματα που προέκυψαν, πλαισιωμένα από ιδέες για μελλοντική έρευνα στο πεδίο.