Automated computational analysis and modeling for the operational improvement of air quality sensor networks in real time

Abstract

This dissertation advances the deployment and management of low-cost sensor networks(LCSNs) for air quality (AQ) monitoring through novel machine learning (ML)-based calibration techniques and operational frameworks. By combining empirical experiments and a comprehensive review of current methodologies, the research identifies and addresses critical factors impacting LCSN functionality, accuracy, and scalability. This work evaluated several multifaceted LCS apparatus, integrating temperature and humidity sensors alongside AQ measurements to mitigate environmental interferences, enhancing measurement precision. Key innovations include the development of the “distribution guided neural disaggregation” method, which improves temporal resolution through the separation of mixed-source AQ data, and “spatial online learning”, a real-time calibration approach that adapts to changing environmental patterns across diverse sites and the “global (network-wide) calibration” scheme for faster learning, adaptive insertion of nodes to the network, and increased calibration accuracy. It moreover, facilitates scalability, allowing calibration models to generalize across varied locations, reducing the need for frequent recalibration. A robust operational framework supports these innovations, emphasizing strategic sensor placement, and adaptive calibration. Using advanced frameworks such as “Genetic Algorithm Hybrid Stacking” (GAHS v2 and v3) for model integration, and “Spatio-Temporal Cross-Validation” (STCV), this research enables realistic model evaluation under dynamic spatiotemporal conditions. With a focus on model robustness, the study investigates techniques to handle unique AQ data patterns, including concept drift, spatiotemporal autocorrelation, and late-arriving reference data, enabling sustainable long-term LCSN operation. Incorporating graph neural network (GNN) imputation for missing data and GDL for multi-site forecasting, the research bridges ML methodologies with practical LCSN deployment. The outcomes present a foundational framework for urban-scale AQ management, establishing LCSNs as a scalable, cost-effective alternative to traditional monitoring networks. Key contributions include improved temporal resolution, adaptive calibration, and operational tools that enhance model longevity and accuracy across heterogeneous sensor networks.

Η παρούσα διατριβή προάγει την ανάπτυξη και τη διαχείριση των δικτύων αισθητήρων χαμηλού κόστους για την παρακολούθηση της ποιότητας του αέρα μέσω νέων τεχνικών βαθμονόμησης που βασίζονται στη μηχανική μάθηση. Συνδυάζοντας υπολογιστικά πειράματα και μια ολοκληρωμένη ανασκόπηση των τεχνικών και τεχνολογιών αιχμής, η έρευνα εντοπίζει και αντιμετωπίζει κρίσιμους παράγοντες που επηρεάζουν τη λειτουργικότητα, την ακρίβεια και την επεκτασιμότητα του δικτύου. Αξιοποιήθηκαν πολυαισθητήριες συσκευές, ενσωματώνοντας αισθητήρες θερμοκρασίας και υγρασίας παράλληλα με μετρήσεις ποιότητας αέρα, βελτιώνοντας την ακρίβεια μέτρησης. Οι βασικές καινοτομίες περιλαμβάνουν τη μέθοδο “στατιστικά καθοδηγούμενος νευρωνικός καταμερισμός”, η οποία βελτιώνει τη χρονική ανάλυση μέσω του διαχωρισμού δεδομένων ποιότητας αέρα μεικτής πηγής, τη μέθοδο της “χωρικά συνεχούς μάθησης”, μια προσέγγιση βαθμονόμησης σε πραγματικό χρόνο που προσαρμόζεται στα μεταβαλλόμενα περιβαλλοντικά μοτίβα σε διαφορετικά σημεία του χώρου και το “καθολικό σχήμα βαθμονόμησης” (σε όλο το δίκτυο) για ταχύτερη εκμάθηση, προσαρμοστική εισαγωγή κόμβων στο δίκτυο και αυξημένη ακρίβεια βαθμονόμησης. Επιπλέον, διευκολύνει την επεκτασιμότητα, επιτρέποντας τη γενίκευση των μοντέλων βαθμονόμησης σε πολλαπλές τοποθεσίες, μειώνοντας την ανάγκη για συχνή επαναβαθμονόμηση. Ένα ισχυρό επιχειρησιακό σύστημα εκτίμησης της ποιότητας του αέρα θα πρέπει να υποστηρίζεται από αυτές τις καινοτομίες, δίνοντας έμφαση στη στρατηγική τοποθέτηση αισθητήρων και στην προσαρμοστική βαθμονόμηση. Χρησιμοποιώντας προηγμένα υπολογιστικά συστήματα όπως το υβρική στοίβαξη γενετικού αλγορίθμου για την ενοποίηση μοντέλων και τη χωρο-χρονική διασταυρούμενη επικύρωση αυτή η έρευνα επιτρέπει τη ρεαλιστική αξιολόγηση του μοντέλου υπό δυναμικές χωροχρονικές συνθήκες. Με έμφαση στην ευρωστία του μοντέλου, η μελέτη διερευνά τεχνικές για το χειρισμό μοτίβων στα δεδομένα ποιότητας αέρα, συμπεριλαμβανομένης της αλλαγής της στατιστικής συμπεριφοράς των μεταβλητών, της χωροχρονικής αυτοσυσχέτισης και την καθυστέρηση στην λήψη δεδομένων αναφοράς, επιτρέποντας βιώσιμη μακροχρόνια λειτουργία δικτύων παρακολούθησης της ποιότητας του αέρα. Ενσωματώνοντας τον καταλογισμό με νευρωνικά δίκτυα γράφων για την ανακατασκευή των ελλειπουσών τιμών και την πρόγνωση της συγκέντρωσης των ρύπων σε πολλαπλές τοποθεσίες ταυτόχρονα, η έρευνα γεφυρώνει τις μεθοδολογίες μηχανικής μάθησης με την πρακτική ανάπτυξη δικτύων παρακολούθησης της ποιότητας του αέρα. Τα αποτελέσματα παρουσιάζουν ένα θεμελιώδες πλαίσιο για τη διαχείριση της ποιότητας του αέρα σε αστικά περιβάλλοντα, καθιερώνοντας τα δίκτυα χαμηλού κόστους ως μια επεκτάσιμη, οικονομικά αποδοτική εναλλακτική λύση στα παραδοσιακά δίκτυα παρακολούθησης. Οι βασικές συνεισφορές περιλαμβάνουν βελτίωση της χρονικής ανάλυσης, προσαρμοστική βαθμονόμηση και επιχειρησιακά εργαλεία που ενισχύουν τη μακροζωία και την ακρίβεια των μοντέλων βαθμονόμησης σε ετερογενή, ως προς τις τεχνολογίες μέτρησης, δίκτυα αισθητήρων.