Scalable indexing and query processing of big spatio-temporal data

Abstract

Our era is characterised as the “Big Data Era” where the volume of generated data grows exponentially. Much of the generated data capture the information of events and phenomena that unfold in both space and time. This kind of data is also known as spatio-temporal data, found in several domains such as urban planning, transportation logistics, epidemiology and environmental monitoring. Analysing such data in massive scale, can unveil patterns and trends from which valuable knowledge can be extracted. Even though traditional data management approaches have been studied extensively, it is still challenging to support efficient operations in highly scalable environments. The use of new data management systems and algorithms in distributed environments is necessitated to meet the requirements of big data volumes. Towards this direction, this dissertation focuses on the data management subject areas of i) storage ii) indexing iii) querying and iv) processing of big spatio-temporal data. The proposed methods and algorithms improve the application of widely-used stores and frameworks in the big data ecosystem for spatio-temporal data, which they do not inherently support. The solutions can scale out efficiently, making them suitable for data-intensive cases.

Η εποχή μας χαρακτηρίζεται ως η «Εποχή των Μεγάλων Δεδομένων» όπου ο όγκος των παραγόμενων δεδομένων αυξάνεται εκθετικά. Πολλά από τα παραγόμενα δεδομένα καταγράφουν πληροφορίες γεγονότων και φαινομένων που εκτυλίσσονται τόσο στο χώρο όσο και στο χρόνο. Αυτού του είδους τα δεδομένα είναι επίσης γνωστά ως χωροχρονικά δεδομένα, τα οποία συναντώνται σε διάφορους τομείς όπως ο πολεοδομικός σχεδιασμός, η υλικοτεχνική υποστήριξη μεταφορών, η επιδημιολογία και η παρακολούθηση του περιβάλλοντος. Η ανάλυση αυτών των δεδομένων σε μεγάλη κλίμακα, μπορεί να αποκαλύψει μοτίβα και τάσεις από τις οποίες μπορεί να εξαχθεί πολύτιμη γνώση. Παρόλο που οι παραδοσιακές προσεγγίσεις διαχείρισης δεδομένων έχουν μελετηθεί εκτενώς, εξακολουθεί να αποτελεί πρόκληση η υποστήριξη αποτελεσματικών λειτουργιών σε περιβάλλοντα υψηλής κλιμακωσιμότητας. Η χρήση νέων συστημάτων διαχείρισης δεδομένων και αλγορίθμων σε κατανεμημένα περιβάλλοντα είναι απαραίτητη για την κάλυψη των απαιτήσεων μεγάλων όγκων δεδομένων. Προς αυτή την κατεύθυνση, η παρούσα διατριβή εστιάζει στους θεματικούς τομείς διαχείρισης δεδομένων όπως: i) της αποθήκευσης, ii) της ευρετηρίασης, iii) των επερωτήσεων και iv) της επεξεργασίας μεγάλων χωροχρονικών δεδομένων. Οι προτεινόμενες μέθοδοι και αλγόριθμοι βελτιώνουν την εφαρμογή ευρέως χρησιμοποιούμενων τρόπων αποθήκευσης και πλαισίων του οικοσυστήματος των μεγάλων δεδομένων για χωροχρονικά δεδομένα, τα οποία δεν υποστηρίζουν εγγενώς. Οι προτεινόμενες λύσεις μπορούν να κλιμακωθούν αποτελεσματικά, καθιστώντας τις κατάλληλες για περιπτώσεις δεδομένων υψηλής εντάσεως.