Δυναμικά μεταγενέστερες πρότερες κατανομές σε προβλήματα συρρίκνωσης

Abstract

In this PhD thesis, we focus on the problem of Bayesian variable selection in high-dimensional linear regression models. In cases where the sample size n is smaller than the number of explanatory variables p, the use of shrinkage priors is a well-defined methodology with eminent theoretical and empirical properties. With the use of imaginary samples and shrinkage priors as baseline priors under the Power-Expected-Posterior (PEP) prior methodology, we construct compatible shrinkage priors with appealing interpretation. Furthermore, we examine the idea of augmenting the imaginary design matrix to make its columns orthogonal, in order to create independent PEP shrinkage priors based on predefined, non-subjective initial priors. Under this methodology, we employ appropriate prior distributions on the power hyperparameters of the PEP prior methodology, leading to mixtures of independent prior distributions suitable for variable selection problems when n << p. This second approach offers algorithmic flexibility and low computational cost. We investigate the theoretical properties of the proposed methodologies as well as their performance on both simulated and real-world datasets.

Στη διδακτορική αυτή διατριβή, εστιάζουμε στο πρόβλημα της Μπεϋζιανής επιλογής επεξηγηματικών μεταβλητών σε μοντέλα γραμμικής παλινδρόμησης μεγάλων διαστάσεων. Στις περιπτώσεις όπου το μέγεθος του δείγματος n είναι μικρότερο από το πλήθος των επεξηγηματικών μεταβλητών p, η χρήση πρότερων κατανομών συρρίκνωσης, είναι μια καλώς ορισμένη μεθοδολογία, που διαθέτει αξιοσημείωτες θεωρητικές και εμπειρικές ιδιότητες. Με χρήση διδακτικών (φανταστικών) δεδομένων και αρχικών πρότερων συρρίκνωσης, υπό τη μεθοδολογία των Δυναμικά-Μεταγενέστερων-Αναμενόμενων εκ των προτέρων κατανομών (Power-Expected-Posterior (PEP) priors), δημιουργούμε συμβατές πρότερες συρρίκνωσης με ελκυστική ερμηνεία. Επιπλέον, εξετάζουμε την ιδέα της επαύξησης του φανταστικού πίνακα σχεδιασμού, ώστε να τον κάνουμε να έχει ορθογώνιες στήλες και με αυτό τον τρόπο να καταλήξουμε σε ανεξάρτητες ΡΕΡ πρότερες συρρίκνωσης, βασισμένες σε προκαθορισμένες, μη υποκειμενικές, αρχικές πρότερες. Υπό αυτή τη μεθοδολογία, χρησιμοποιούμε κατάλληλες πρότερες κατανομές στις υπερπαραμέτρους δύναμης της μεθοδολογίας των PEP πρότερων, ώστε να καταλήξουμε σε μίξεις ανεξάρτητων πρότερων κατανομών, οι οποίες είναι κατάλληλες για το πρόβλημα επιλογής επεξηγηματικών μεταβλητών όταν το n << p. Η δεύτερη αυτή προσέγγιση μας παρέχει αλγοριθμική ευελιξία και μικρό υπολογιστικό κόστος. Εξετάζουμε τις θεωρητικές ιδιότητες των προτεινόμενων μεθοδολογιών καθώς και την απόδοσή τους σε προσομοιωμένα και πραγματικά δεδομένα.