Advances in the bayesian analysis of statistical models with intractable normalising constants

Abstract

Bayesian statistics have had a profound impact on statistical learning, offering an approach to applying probability to statistical problems. The Bayesian inferential approach allows the researcher to update their beliefs about random events in light of observing new data about those events and to produce new posterior beliefs. Typically, the posterior probability distributions that are associated with the updated beliefs are intractable analytically and this has hindered inference of the posterior distribution. The discovery of Markov chain Monte Carlo (MCMC) algorithms (Metropolis et al., 1953; Hastings, 1970) provided a simulation-based approach to overcoming the intractability inherent in almost all posterior distributions. Despite being a general tool that has been used to routinely simulate observations from the posterior distribution, the implementation of MCMC faces computational difficulties in modern statistical problems: many popular statistical models for complex phenomena are intractable, as the likelihood function cannot easily be evaluated. This yields posterior distributions which are termed doubly-intractable. This thesis sought to develop novel statistical methods in this context, focusing on the problems of parameter inference and model selection. In the first part of the thesis we introduce a noisy MCMC algorithm which is no longer invariant for the target posterior distribution, for Bayesian model comparison and multimodel inference of doubly-intractable distributions. We provide convergence guarantees for the algorithm and illustrate the merits of this method with examples from social network analysis. In the second part, this thesis concentrates on the tractable pseudolikelihood approximation to the true likelihood, for social network analysis. Despite their tractability, pseudolikelihoods should be treated with caution because they can lead to an unreasonable inference. Here, our contributions are two-fold: (i) we present a viable approach to adjust the posterior distribution resulting from using the pseudolikelihood in an efficient manner, while providing the theoretical framework for this approach; (ii) we specify a method to adjust the pseudolikelihood itself in order to obtain a reasonable approximation to the true likelihood, which allows for implementation of widely used computational methods for statistical evidence estimation and pursuit of Bayesian model selection of doubly-intractable distributions.

Οι μπεϋζιανές στατιστικές είχαν βαθύ αντίκτυπο στη στατιστική μάθηση, προσφέροντας μια προσέγγιση για την εφαρμογή πιθανοτήτων σε στατιστικά προβλήματα. Η μπεϋζιανή επαγωγική προσέγγιση επιτρέπει στον ερευνητή να επικαιροποιήσει τις πεποιθήσεις του σχετικά με τυχαία γεγονότα υπό το φως της παρατήρησης νέων δεδομένων σχετικά με αυτά τα γεγονότα και να παράγει νέες μεταγενέστερες πεποιθήσεις. Τυπικά, οι posterior κατανομές πιθανοτήτων που σχετίζονται με τις επικαιροποιημένες πεποιθήσεις είναι δυσεπίλυτες αναλυτικά και αυτό έχει εμποδίσει την εξαγωγή συμπερασμάτων για την posterior κατανομή. Η ανακάλυψη αλγορίθμων Markov chain Monte Carlo (MCMC) (Metropolis et al., 1953; Hastings, 1970) παρείχε μια προσέγγιση βασισμένη στην προσομοίωση για να ξεπεραστεί η δυσκολία υπολογισμού που είναι εγγενής σε όλες σχεδόν τις posterior κατανομές. Παρά το γεγονός ότι είναι ένα γενικό εργαλείο που έχει χρησιμοποιηθεί για τη συνήθη προσομοίωση παρατηρήσεων από την posterior κατανομή, η εφαρμογή του MCMC αντιμετωπίζει υπολογιστικές δυσκολίες σε σύγχρονα στατιστικά προβλήματα: πολλά δημοφιλή στατιστικά μοντέλα για πολύπλοκα φαινόμενα είναι δυσεπίλυτα, καθώς η συνάρτηση πιθανότητας δεν μπορεί εύκολα να αξιολογηθεί. Αυτό δίνει posterior κατανομές οι οποίες χαρακτηρίζονται διπλά δυσεπίλυτες. Η παρούσα διπλωματική εργασία επεδίωξε την ανάπτυξη νέων στατιστικών μεθόδων σε αυτό το πλαίσιο, εστιάζοντας στα προβλήματα της εξαγωγής παραμέτρων και της επιλογής μοντέλων. Στο πρώτο μέρος της διατριβής εισάγουμε έναν θορυβώδη αλγόριθμο MCMC ο οποίος πλεόν στοχεύει σε μια προσέγγιση της πραγματικής posterior κατανομής-στόχο, για σύγκριση μπεϋζιανών μοντέλων και για εξαγωγή συμπερασμάτων σε πολλαπλά μοντέλα διπλά δυσεπίλυτων κατανομών. Παρέχουμε εγγυήσεις σύγκλισης για τον αλγόριθμο και απεικόνιση των πλεονεκτημάτων αυτής της μεθόδου με παραδείγματα από την κοινωνική ανάλυση δικτύων. Στο δεύτερο μέρος, αυτή η διατριβή επικεντρώνεται στην επιλύσιμη ψευδοπιθανότητα ως προσέγγιση στην πραγματική πιθανότητα, για ανάλυση κοινωνικών δικτύων. Παρά την επιλυσιμότητά τους, οι ψευδοπιθανότητες πρέπει να αντιμετωπίζονται με προσοχή, διότι μπορούν να οδηγήσουν σε παράλογα συμπεράσματα για τις παραμέτρους του μοντέλου. Εδώ, οι συνεισφορές μας είναι διττές: (i) παρουσιάζουμε μια βιώσιμηπροσέγγιση για την προσαρμογή της posterior κατανομής που προκύπτει από τη χρήση της ψευδοπιθανότητας με αποτελεσματικό τρόπο, παρέχοντας παράλληλα το θεωρητικό πλαίσιο αυτής της προσέγγισης, ii) καθορίζουμε μια μέθοδο για την προσαρμογή της ίδιας της ψευδοπιθανότητας προκειμένου να ληφθεί μια λογική προσέγγιση στην πραγματική πιθανότητα, η οποία επιτρέπει την ευρεία εφαρμογή υπολογιστικών μεθόδων για την εκτίμηση στατιστικών στοιχείων και την επιδίωξη της μπεϋζιανής επιλογής μοντέλου διπλά δυσεπίλυτων κατανομών.