Efficient big data management techniques in the context of large-scale IoT systems

Abstract

In the world of the Internet of Things (IoT), interconnected systems, sensors, and devices continuously generate data, creating challenges in the efficient collection, processing, and secure storage of this information. This dissertation focuses on developing innovative solutions that meet the unique demands of big data in IoT systems, enhancing performance, security, and scalability. In this dissertation, algorithms were developed for query optimization in big data systems, significantly improving the efficiency of data retrieval processes by reducing processing time and resource consumption. The caching strategies presented are based on deep reinforcement learning (DRL) and Markov Chain Monte Carlo (MCMC), ensuring data freshness while optimizing energy consumption, which is vital for the dynamic nature of IoT data. The feasibility of federated learning on resource-constrained IoT devices was also demonstrated, maintaining data privacy while enabling distributed learning across multiple devices. Extensive experiments with Raspberry Pi setups highlighted the advantages and disadvantages of local processing and communication overheads. High-dimensional data categorization in IoT systems is a significant part of the research, with efficient techniques that improve data analysis and decision-making processes. Methods were also proposed for managing big data in decentralized mobile edge networks, enhancing scalability and reducing the load on central processors, which is crucial for the efficiency of real-time IoT applications. The integration of TinyML and LoRa technologies in large-scale IoT systems showed significant improvements in energy efficiency and data processing speed, benefiting particularly sustainable and efficient agricultural practices. Additionally, the SparkReact interface was developed for Apache Spark's MLlib, simplifying the use of machine learning libraries for big data analytics and making advanced analysis tools more accessible. This interface also provides flexibility and customization options, allowing users to tailor models to their specific needs. Overall, this dissertation systematically explores various innovative techniques and strategies to improve the efficiency and effectiveness of big data management in IoT systems. By addressing the unique challenges posed by large-scale IoT deployments, such as data freshness, energy constraints, and high-dimensional data categorization, the research provides significant contributions to the field. The findings and innovations presented are expected to have a lasting impact on both academic research and practical applications in the IoT domain.

Στον κόσμο του Διαδικτύου των Πραγμάτων (IoT), τα διασυνδεδεμένα συστήματα, οι αισθητήρες και οι συσκευές παράγουν συνεχώς δεδομένα, δημιουργώντας προκλήσεις στην αποδοτική συλλογή, επεξεργασία και ασφαλή αποθήκευση αυτών των πληροφοριών. Αυτή η διατριβή εστιάζει στην ανάπτυξη καινοτόμων λύσεων που ανταποκρίνονται στις μοναδικές απαιτήσεις των μεγάλων δεδομένων στο πλαίσιο των συστημάτων (IoT), ενισχύοντας την απόδοση, την ασφάλεια και την κλιμακωσιμότητα. Σε αυτή διατριβή, αναπτύχθηκαν αλγόριθμοι για τη βελτιστοποίηση ερωτημάτων σε συστήματα μεγάλων δεδομένων, βελτιώνοντας σημαντικά την αποδοτικότητα των διαδικασιών ανάκτησης δεδομένων μέσω της μείωσης του χρόνου επεξεργασίας και της κατανάλωσης πόρων. Οι στρατηγικές προσωρινής αποθήκευσης που παρουσιάζονται βασίζονται σε βαθιά ενισχυτική μάθηση (DRL) και σε Μαρκοβιανή αλυσίδα Μόντε Κάρλο (MCMC), εξασφαλίζοντας τη φρεσκάδα των δεδομένων ενώ βελτιστοποιούν την κατανάλωση ενέργειας, κάτι που είναι ζωτικής σημασίας για τη δυναμική φύση των δεδομένων (IoT). Αποδείχθηκε επίσης η δυνατότητα ομοσπονδιακής μάθησης σε συσκευές (IoT) με περιορισμένους πόρους, διατηρώντας την ιδιωτικότητα των δεδομένων ενώ επιτρέπει τη διανεμημένη μάθηση σε πολλαπλές συσκευές. Οι εκτενείς πειραματισμοί με εγκαταστάσεις Raspberry Pi ανέδειξαν τα πλεονεκτήματα και τα μειονεκτήματα μεταξύ τοπικής επεξεργασίας και επιβαρύνσεων επικοινωνίας. Η κατηγοριοποίηση δεδομένων υψηλής διαστατικότητας σε συστήματα (IoT) αποτελεί σημαντικό μέρος της έρευνας, με αποδοτικές τεχνικές που βελτιώνουν τις διαδικασίες ανάλυσης και λήψης αποφάσεων. Προτάθηκαν επίσης μέθοδοι για τη διαχείριση μεγάλων δεδομένων σε αποκεντρωμένα κινητά δίκτυα άκρης, βελτιώνοντας την κλίμακα και μειώνοντας το φορτίο στους κεντρικούς επεξεργαστές, κρίσιμες για την αποδοτικότητα των εφαρμογών (IoT) σε πραγματικό χρόνο. Η ενσωμάτωση τεχνολογιών TinyML και LoRa σε συστήματα (IoT) μεγάλης κλίμακας έδειξε σημαντικές βελτιώσεις στην ενεργειακή αποδοτικότητα και την ταχύτητα επεξεργασίας δεδομένων, ωφελώντας ιδιαίτερα τις βιώσιμες και αποδοτικές γεωργικές πρακτικές. Επιπλέον, αναπτύχθηκε η διεπαφή SparkReact για την MLlib του Apache Spark, απλοποιώντας τη χρήση βιβλιοθηκών μηχανικής μάθησης για την ανάλυση μεγάλων δεδομένων και καθιστώντας τα εργαλεία προχωρημένης ανάλυσης πιο προσιτά. Η διεπαφή αυτή παρέχει επίσης ευελιξία και δυνατότητες προσαρμογής, επιτρέποντας στους χρήστες να προσαρμόζουν τα μοντέλα σύμφωνα με τις συγκεκριμένες ανάγκες τους. Συνολικά, η διατριβή εξετάζει συστηματικά διάφορες καινοτόμες τεχνικές και στρατηγικές για τη βελτίωση της αποδοτικότητας και της αποτελεσματικότητας της διαχείρισης μεγάλων δεδομένων σε συστήματα IoT. Αντιμετωπίζοντας τις μοναδικές προκλήσεις που θέτουν οι αναπτύξεις IoT μεγάλης κλίμακας, όπως η φρεσκάδα των δεδομένων, οι ενεργειακοί περιορισμοί και η κατηγοριοποίηση δεδομένων υψηλής διαστατικότητας, η έρευνα παρέχει σημαντικές συμβολές στον τομέα. Τα ευρήματα και οι καινοτομίες που παρουσιάζονται αναμένεται να έχουν διαρκή επίδραση τόσο στην ακαδημαϊκή έρευνα όσο και στις πρακτικές εφαρμογές στον τομέα του IoT.