Prediction methods for time series

Abstract

Real-life time series dynamically evolve through time, exhibiting chaotic patterns. They are governed both by non-linear dynamics and uncertainty. Capturing accurately their evolution through time based only on historical data is a very challenging task. This Ph.D. thesis deals with efficient dynamic online models applied for stock price, flight price, hotel rating, and COVID-19 cases prediction. In the former 3 cases, a time-evolving structure was constructed by employing dyads, i.e., pairs of latent state vectors, which model the time series evolution. Firstly, a dynamic dyadic particle filter was proposed for financial time series prediction (i.e., stock and flight prices), that is based on sequential importance resampling. This filter incorporates the tracking abilities of Kalman filtering. The variance of the observation noise has been treated as a random variable obeying a heavy-tailed distribution to model the uncertainty governing the price time series. However, financial time series exhibit erratic behavior since they are governed both by diffusion and jumps. To address this problem, a jump-diffusion particle filter was proposed for financial time series prediction. A particle coefficient was introduced which encodes these phenomena. The diffusion process has been assumed to be a geometric Brownian motion. The negative log-likelihood of the posterior distributions has been approximated by a Taylor expansion around the previously observed drift parameter. Novel approximation of the first and second-order derivatives of the negative log-likelihood of the posterior distribution with respect to the previously observed drift parameter have been derived. Sudden price jumps have been modeled using a reversible jump Markov chain Monte Carlo framework. Furthermore, an online dynamic weighted ordered probit model integrated with a collaborative Kalman filtering scheme was proposed for online hotel rating prediction. A dynamically evolving optimal standard deviation, modeling the hotel reputation evolution, has been learnt by the model through the application of a Newton-Raphson type update. An accept-reject sampling scheme has been introduced to compute the expected value of an auxiliary truncated normal random variable utilized to predict hotel ratings based on past ratings, which filled in a short sliding window. This process confronted efficiently both data sparsity and scalability problems. Last, a hybrid model comprised by an autoregressive filter, a graph convolutional neural network, and a long-short term memory neural network was proposed for accurate prediction of COVID-19 cases in U.S. Linearities and non-linearities governing the time series of cases have been capture effectively by the hybrid model. A graph convolutional neural network has exploited a novel adjacency matrix which relies on Granger causality tests applied to historical COVID-19 cases for each State in U.S., capturing efficiently latent information about the spread of the virus, while revealing which State actually affects the other ones. Consequently, the overall prediction performance of the hybrid model was strongly enhanced.

Στην πραγματική ζωή, οι χρονοσειρές εξελίσσονται δυναμικά στο χρόνο, παρουσιάζοντας χαοτικά μοτίβα. Διέπονται τόσο από μη γραμμική δυναμική όσο και αβεβαιότητα. Η ακριβής σύλληψη της εξέλιξής τους στο χρόνο με βάση μόνο τα ιστορικά δεδομένα αποτελεί ένα πολύ δύσκολο έργο. Η παρούσα διδακτορική διατριβή μελετά αποτελεσματικά δυναμικά μοντέλα τα οποία εφαρμόζονται επιτυχώς για πρόβλεψη τιμών μετοχών, τιμών αεροπορικών εισιτηρίων, αξιολογήσεων ξενοδοχείων και κρουσμάτων COVID-19, σε πραγματικό χρόνο. Στις 3 πρώτες περιπτώσεις, κατασκευάζεται μια χρονεξελισσόμενη δομή χρησιμοποιώντας δυάδες, δηλαδή ζεύγη λανθανόντων διανυσμάτων. Αρχικά, προτάθηκε ένα δυναμικό δυαδικό σωματιδιακό φίλτρο για πρόβλεψη χρηματοοικονομικών χρονοσειρών (π.χ. τιμές μετοχών και αεροπορικών εισιτηρίων), το οποίο στηρίζεται στην τεχνική αναδειγματοληψίας ακολουθιακής σημαντικότητας (sequential importance resampling). Ενσωματώνει τις δυνατότητες στενής παρακολούθησης των χρονοσειρών του φίλτρου Kalman. Η μεταβλητότητα του θορύβου παρατήρησης αντιμετωπίζεται ως μια τυχαία μεταβλητή η οποία ακολουθεί κατανομή μακριών ουρών ώστε να επιτευχθεί η μοντελοποίηση της αβεβαιότητας που διέπει τις χρονοσειρές των τιμών. Ωστόσο, οι χρηματοοικονομικές χρονοσειρές παρουσιάζουν ασταθή συμπεριφορά καθώς διέπονται από φαινόμενα διάχυσης και ασυνεχειών τα οποία συνήθως καλούνται άλματα. Για την αντιμετώπιση αυτού του προβλήματος προτάθηκε ένα δυαδικό φίλτρο αλμάτων-διάχυσης για την πρόβλεψη χρηματοοικονομικών χρονοσειρών. Ένας συντελεστής σωματιδίων κωδικοποιεί αποτελεσματικά τα εν λόγω φαινόμενα. Η διαδικασία διάχυσης θεωρείται ότι είναι μια γεωμετρική κίνηση Brown. Η αρνητική λογαριθμημένη πιθανοφάνεια της εκ των υστέρων κατανομής προσεγγίζεται από μία επέκταση Taylor γύρω από την προηγουμένως παρατηρηθείσα παράμετρο ολίσθησης. Προτείνονται νέες προσεγγίσεις των παραγώγων πρώτης και δεύτερης τάξης της αρνητικής λογαριθμημένης πιθανοφάνειας σε σχέση με την παρατηρηθείσα παράμετρο ολίσθησης. Τα ξαφνικά άλματα των τιμών μοντελοποιούνται μέσω μιας Μαρκοβιανής αλυσίδας Monte Carlo αντιστρέψιμων (a reversible jump Markov chain Monte Carlo).Επιπλέον, προτάθηκε ένα δυναμικό δυαδικό μοντέλο σταθμισμένων διατεταγμένων υποδειγμάτων το οποίο ενσωματώνεται σε ένα συνεργατικό φίλτρο Kalman για την πρόβλεψη αξιολογήσεων ξενοδοχείων σε πραγματικό χρόνο. Μαθαίνεται μια βέλτιστη, δυναμικά χρονοεξελισσόμενη τυπική απόκλιση η οποία μοντελοποιεί την εξέλιξη της δημοτικότητας ενός ξενοδοχείου στο χρόνο από το προτεινόμενο μοντέλο εφαρμόζοντας μία ανανέωση τύπου Newton-Raphson. Εισάγεται ένα σχήμα δειγματοληψίας αποδοχής-απόρριψης για τον υπολογισμό της αναμενόμενης τιμής μιας βοηθητικής τυχαίας μεταβλητής, η οποία ακολουθεί αποκομμένης κανονική κατανομή και αξιοποιείται στην πρόβλεψη αξιολόγησης ξενοδοχείων βάσει των ιστορικών αξιολογήσεων. Οι ιστορικές αξιολογήσεις βρίσκονται ενός παραθύρου που ολισθαίνει επί της χρονοσειράς των αξιολογήσεων. Η εν λόγω διαδικασία αντιμετωπίζει αποτελεσματικά το πρόβλημα της φειδούς των δεδομένων και το πρόβλημα επεκτασιμότητας του μοντέλου. Τέλος, προτάθηκε ένα υβριδικό μοντέλο που αποτελείται από ένα φίλτρο αυτοπαλινδρόμησης, ένα συνελικτικό νευρωνικό δίκτυο γραφημάτων και ένα νευρωνικό δίκτυο μακράς και βραχείας μνήμης για την πρόβλεψη κρουσμάτων COVID-19 στις Ηνωμένες Πολιτείες Αμερικής. Η προτεινόμενη προσέγγιση μοντελοποιεί τις γραμμικότητες και τις μη-γραμμικότητες που διέπουν τις χρονοσειρές των κρουσμάτων. Το συνελικτικό νευρωνικό δίκτυο γραφημάτων εκμεταλλεύεται έναν πρωτότυπο πίνακα γειτνίασης, ο οποίος στηρίζεται σε στατιστικούς ελέγχους αιτιότητας (causality tests) κατά Granger που εφαρμόστηκαν σε ιστορικά κρούσματα COVID-19 της εκάστοτε Πολιτείας. Το προτεινόμενο μοντέλο συλλαμβάνει αποτελεσματικά τη λανθάνουσα πληροφορία της διασποράς του ιού, αποκαλύπτοντας ποια Πολιτεία πραγματικά επηρεάζει τις άλλες. Έτσι, η συνολική απόδοση πρόβλεψης του υβριδικού μοντέλου βελτιώνεται σημαντικώς.