Trustworthy artificial intelligence in smart energy grids: applications on load forecasting and demand response

Abstract

Artificial intelligence (AI), among other technologies such as big data, internet of things (IoT), and cloud computing are increasingly being used in the energy sector and specifically electrical power and energy systems (EPES), gradually shifting the contemporary research and industry landscape towards the smart grid paradigm. In this context, machine learning (ML) and deep learning (DL) have been revolutionizing the power grid industry with innovative applications ranging from electricity demand forecasting, load balancing and stability control to electricity theft detection, security, data management, grid analytics, and demand side management. The current dissertation deep dives into several applications of ML and DL in the energy domain as well as the smart grid including short-term load forecasting (STLF), demand response (DR). STLF is vital for the effective and economic operation of EPES and energy markets. However, the non-linearity and non-stationarity of electricity demand as well as its dependency on various external factors renders STLF a demanding task that requires accuracy and efficient integration in production systems. On the other hand, DR is a tool for the demand side management of peak demand, and the balance of generation and consumption in the electrical grid. Specifically, the present study highlights three main contribution pillars within the field of contemporary buildings and smart grids. The first one initially includes the development of DeepTSF, an open-source machine learning operations (MLOps) software for time series forecasting, initially meant for energy-related time series forecasting, however also capable of generalizing to other domains. Secondly, it entails the development of FlexDR, an AI application providing flexibility forecasting and corresponding demand response recommendations within flexible energy communities. Note that both services promote trustworthy artificial intelligence (TAI) either through explainable artificial intelligence (XAI) features or enhanced human oversight and human-in-the-loop (HITL) approaches. The second pillar encompasses three case studies that present innovative AI methodologies, while also serving as demonstrators of DeepTSF and FlexDR. Said case studies involve: i) a comparative and explainable assessment of DL models for day-ahead load forecasting (STLF), ii) transfer learning for day-ahead load forecasting (STLF), iii) a complete framework for targeted demand response within flexible energy communities (DR). Ultimately, given the recent necessity for ethical development and application of AI systems in the energy sector among others, we wrap up the technological and methodological ML and DL developments of this dissertation with a proposed methodological framework for ethical and trustworthy AI. Said TAI framework is based on the EU "Ethics Guidelines for Trustworthy AI" and focuses on education, motivation, and the establishment of ethical principles for the development of AI systems in the power systems domain. The current study provides significant contributions to the open-source community of ML, DL, MLOps, data science, energy, and time series forecasting sectors, and can be of significant interest for transmission system operators, utilities, and prosumers at both European and international levels.

Η τεχνητή νοημοσύνη (ΤΝ), μαζί με άλλες τεχνολογίες όπως big data, IoT και cloud computing, χρησιμοποιούνται ολοένα και περισσότερο στον ενεργειακό τομέα και ειδικότερα στα ηλεκτρικά συστήματα ισχύος και ενέργειας (EPES), μετασχηματίζοντας σταδιακά το σύγχρονο ερευνητικό και βιομηχανικό τοπίο προς το παράδειγμα των έξυπνων δικτύων. Σε αυτό το πλαίσιο, το ML και το DL έχουν φέρει επανάσταση στη βιομηχανία των ηλεκτρικών δικτύων με καινοτόμες εφαρμογές που περιλαμβάνουν την πρόβλεψη ζήτησης ηλεκτρικής ενέργειας, την εξισορρόπηση φορτίου και τον έλεγχο σταθερότητας, την ανίχνευση κλοπής ηλεκτρικής ενέργειας, την ασφάλεια, τη διαχείριση δεδομένων, την ανάλυση δικτύου και τη διαχείριση απόκρισης ζήτησης. Η παρούσα διατριβή εξετάζει εις βάθος αρκετές εφαρμογές του ML και του DL στον ενεργειακό τομέα και στα έξυπνα δίκτυα, συμπεριλαμβανομένων του STLF και του DR. Το STLF είναι ζωτικής σημασίας για την αποτελεσματική και οικονομική λειτουργία των EPES και των ενεργειακών αγορών. Ωστόσο, η μη γραμμικότητα και η μη στασιμότητα της ζήτησης ηλεκτρικής ενέργειας, καθώς και η εξάρτησή της από διάφορους εξωτερικούς παράγοντες, καθιστούν το STLF μία απαιτητική εργασία που απαιτεί ακρίβεια και αποτελεσματική ενσωμάτωση σε παραγωγικά συστήματα. Από την άλλη πλευρά, το DR αποτελεί εργαλείο για τη διαχείριση της ζήτησης αιχμής και την εξισορρόπηση της παραγωγής και κατανάλωσης στο ηλεκτρικό δίκτυο.Ειδικότερα, η παρούσα μελέτη εστιάζει σε τρεις κύριους πυλώνες συνεισφοράς στον τομέα των σύγχρονων κτιρίων και των έξυπνων δικτύων. Ο πρώτος περιλαμβάνει αρχικά την ανάπτυξη του DeepTSF, λογισμικού MLOps ανοιχτού κώδικα για την πρόβλεψη χρονοσειρών, το οποίο αρχικά προορίζεται για την πρόβλεψη χρονοσειρών που σχετίζονται με την ενέργεια, αλλά μπορεί επίσης να γενικευτεί σε άλλους τομείς. Ο δεύτερος περιλαμβάνει την ανάπτυξη του FlexDR, εφαρμογής AI που παρέχει πρόγνωση ευελιξίας και αντίστοιχες συστάσεις απόκρισης ζήτησης εντός ευέλικτων ενεργειακών κοινοτήτων. Αξίζει να σημειωθεί ότι και οι δύο υπηρεσίες προωθούν την αξιόπιστη AI (TAI), είτε μέσω χαρακτηριστικών XAI, είτε μέσω βελτιωμένης ανθρώπινης επίβλεψης και προσεγγίσεων με HITL. Ο δεύτερος πυλώνας περιλαμβάνει τρεις μελέτες περίπτωσης που παρουσιάζουν καινοτόμες μεθοδολογίες AI, ενώ ταυτόχρονα λειτουργούν ως επίδειξη των DeepTSF και FlexDR. Οι μελέτες αυτές περιλαμβάνουν: i) μια συγκριτική και εξηγήσιμη αξιολόγηση των μοντέλων DL για την πρόβλεψη φορτίου επόμενης ημέρας (STLF), ii) τη μεταφορά μάθησης για την πρόβλεψη φορτίου επόμενης ημέρας (STLF), iii) ένα ολοκληρωμένο πλαίσιο για στοχευμένη απόκριση ζήτησης εντός ευέλικτων ενεργειακών κοινοτήτων (DR).Τέλος, δεδομένης της πρόσφατης ανάγκης για ανάπτυξη και εφαρμογή ηθικών συστημάτων AI στον ενεργειακό τομέα, ολοκληρώνουμε τις τεχνολογικές και μεθοδολογικές εξελίξεις του ML και του DL της παρούσας διατριβής με μια προτεινόμενη μεθοδολογία για ηθικό και αξιόπιστο AI. Το πλαίσιο αυτό βασίζεται στις "Κατευθυντήριες Γραμμές Ηθικής για Αξιόπιστη AI" της ΕΕ και εστιάζει στην εκπαίδευση, την ενίσχυση κινήτρων και τη θέσπιση ηθικών αρχών για την ανάπτυξη συστημάτων AI στον τομέα των συστημάτων ηλεκτρικής ενέργειας. Η παρούσα μελέτη παρέχει σημαντικές συνεισφορές στην κοινότητα ανοιχτού κώδικα για ML, DL, MLOps, επιστήμη δεδομένων, ενέργεια και πρόβλεψη χρονοσειρών, και μπορεί να είναι ιδιαίτερα χρήσιμη για διαχειριστές συστημάτων μεταφοράς, εταιρείες κοινής ωφέλειας και παραγωγούς-καταναλωτές σε ευρωπαϊκό και διεθνές επίπεδο.