Multimodal machine learning methods for pattern analysis in smart cities and transportation

Abstract

In the context of modern, densely populated urban environments, the effective management of transportation and the structure of Intelligent Transportation Systems (ITSs) are paramount. The public transportation sector is currently undergoing a significant expansion and transformation with the objective of enhancing accessibility, accommodating larger passenger volumes without compromising travel quality, and embracing environmentally conscious and sustainable practices. Technological advancements, particularly in Artificial Intelligence (AI), Big Data Analytics (BDA), and Advanced Sensors (AS), have played a pivotal role in achieving these goals and contributing to the development, enhancement, and expansion of Intelligent Transportation Systems. This thesis addresses two critical challenges within the realm of smart cities, specifically focusing on the identification of transportation modes utilized by citizens at any given moment and the estimation and prediction of transportation flow within diverse transportation systems. In the context of the first challenge, two distinct approaches have been developed for Transportation Mode Detection. Firstly, a deep learning approach for the identification of eight transportation media is proposed, utilizing multimodal sensor data collected from user smartphones. This approach is based on a Long Short-Term Memory (LSTM) network and Bayesian optimization of model’s parameters. Through extensive experimental evaluation, the proposed approach demonstrates remarkably high recognition rates compared to a variety of machine learning approaches, including state-of-the-art methods. The thesis also delves into issues related to feature correlation and the impact of dimensionality reduction. The second approach involves a transformer-based model for transportation mode detection named TMD-BERT. This model processes the entire sequence of data, comprehends the importance of each part of the input sequence, and assigns weights accordingly using attention mechanisms to grasp global dependencies in the sequence. Experimental evaluations showcase the model's exceptional performance compared to state-of-the-art methods, highlighting its high prediction accuracy. In addressing the challenge of transportation flow estimation, a Spatial-Temporal Graph Convolutional Recurrent Network is proposed. This network learns from both the spatial stations network data and time-series of historical mobility changes to predict urban metro and bike sharing flow at a future time. The model combines Graph Convolutional Networks (GCN) and Long Short-Term Memory (LSTM) Networks to enhance estimation accuracy. Extensive experiments conducted on real-world datasets from the Hangzhou metro system and the NY City bike sharing system validate the effectiveness of the proposed model, showcasing its ability to identify dynamic spatial correlations between stations and make accurate long-term forecasts.

Στο πλαίσιο των σύγχρονων, πυκνοκατοικημένων αστικών περιβαλλόντων, η αποτελεσματική διαχείριση των μεταφορών και η δομή των Ευφυών Συστημάτων Μεταφορών (ITS) είναι πρωταρχικής σημασίας. Ο τομέας των δημόσιων μεταφορών υφίσταται επί του παρόντος σημαντική επέκταση και μεταμόρφωση με στόχο τη βελτίωση της προσβασιμότητας, την υποδοχή μεγαλύτερου όγκου επιβατών χωρίς να διακυβεύεται η ποιότητα του ταξιδιού και η υιοθέτηση περιβαλλοντικά συνειδητών και βιώσιμων πρακτικών. Οι τεχνολογικές εξελίξεις, ιδιαίτερα στην Τεχνητή Νοημοσύνη (AI), στην Ανάλυση μεγάλου όγκου δεδομένων (Big Data Analytics) και στους Εξελιγμένους αισθητήρες (Advanced Sensors), έχουν παίξει καθοριστικό ρόλο στην επίτευξη αυτών των στόχων και συμβάλλουν στην ανάπτυξη, βελτίωση και επέκταση των Ευφυών Συστημάτων Μεταφορών. Αυτή η διατριβή πραγματεύεται δύο κρίσιμες προκλήσεις στη σφαίρα των έξυπνων πόλεων, εστιάζοντας συγκεκριμένα στον προσδιορισμό των τρόπων μεταφοράς που χρησιμοποιούνται από τους πολίτες σε κάθε δεδομένη στιγμή και στην εκτίμηση και πρόβλεψη της ροής μεταφορών μέσα σε διάφορα συστήματα μεταφορών. Στο πλαίσιο της πρώτης πρόκλησης, έχουν αναπτυχθεί δύο διακριτές προσεγγίσεις για τον εντοπισμό του τρόπου μεταφοράς. Πρώτον, προτείνεται μια προσέγγιση βαθιάς μάθησης για την αναγνώριση οκτώ μέσων μεταφοράς, χρησιμοποιώντας δεδομένα πολυτροπικών αισθητήρων που συλλέγονται από smartphone χρηστών. Αυτή η προσέγγιση βασίζεται σε ένα δίκτυο Long-Short-Term Memory (LSTM) και σε Bayesian βελτιστοποίηση των παραμέτρων του μοντέλου. Μέσω εκτεταμένης πειραματικής αξιολόγησης, η προτεινόμενη προσέγγιση επιδεικνύει εξαιρετικά υψηλά ποσοστά αναγνώρισης σε σύγκριση με μια ποικιλία προσεγγίσεων μηχανικής μάθησης, συμπεριλαμβανομένων μεθόδων τεχνολογίας αιχμής. Η διατριβή εμβαθύνει επίσης σε ζητήματα που σχετίζονται με τη συσχέτιση χαρακτηριστικών και τον αντίκτυπο της μείωσης των διαστάσεων των δεδομένων. Η δεύτερη προσέγγιση περιλαμβάνει ένα μοντέλο που βασίζεται σε μετασχηματιστή (Transformers) για την ανίχνευση του τρόπου μεταφοράς, που ονομάζεται TMD-BERT. Αυτό το μοντέλο επεξεργάζεται ολόκληρη την ακολουθία δεδομένων, κατανοεί τη σημασία κάθε μέρους της ακολουθίας εισόδου και εκχωρεί ανάλογα βάρη χρησιμοποιώντας μηχανισμούς προσοχής (Attention mechanisms) για να κατανοήσει τις καθολικές εξαρτήσεις στην ακολουθία. Οι πειραματικές αξιολογήσεις αναδεικνύουν την εξαιρετική απόδοση του μοντέλου σε σύγκριση με τις τεχνολογίες αιχμής, τονίζοντας την υψηλή ακρίβεια πρόβλεψής του. Για την αντιμετώπιση της πρόκλησης της εκτίμησης της ροής μεταφοράς, προτείνεται ένα Συνελικτικό Επαναλαμβανόμενο Δίκτυο Χωρο-Χρονικού Γραφήματος (Spatial-Temporal Graph Convolutional Recurrent Network). Αυτό το δίκτυο μαθαίνει τόσο από δεδομένα δικτύου χωρικών σταθμών όσο και από χρονοσειρές ιστορικών αλλαγών κινητικότητας για την πρόβλεψη της ροής κοινής χρήσης μετρό και ποδηλάτων στο μέλλον. Το μοντέλο συνδυάζει συνελικτικά δίκτυα γραφήματος (GCN) και δίκτυα μακροπρόθεσμης βραχυπρόθεσμης μνήμης (LSTM) για τη βελτίωση της ακρίβειας εκτίμησης. Εκτεταμένα πειράματα που πραγματοποιήθηκαν σε σύνολα δεδομένων πραγματικού κόσμου από το σύστημα του μετρό Hangzhou και το σύστημα κοινής χρήσης ποδηλάτων της Νέας Υόρκης επικυρώνουν την αποτελεσματικότητα του προτεινόμενου μοντέλου, επιδεικνύοντας την ικανότητά του να εντοπίζει δυναμικούς χωρικούς συσχετισμούς μεταξύ σταθμών και να κάνει ακριβείς μακροπρόθεσμες προβλέψεις.