Exploring methodological challenges in network meta-analysis models and developing methodology for outlier detection

Abstract

Systematic reviews and meta-analyses have been established as an integral part of comparativeeffectiveness research. The increasing number of different educational and psychological interventions in the educational system has led to the need for comparative effectiveness research with the aim to identify the best intervention. Network meta-analysis synthesizes both direct and indirect evidence, gives more powerful results and provides estimates with increased precision compared to pairwise estimates. NMA has become a popular statistical tool in evidence synthesis. Based on a database of published NMA from the onset until 14 April 2015, the time trend indicates the increasing number of published NMAs and the tendency for the use of appropriate methods. Moreover, the overview of the characteristics of published NMAs is a useful resource of information for methodologists that aim to update the current knowledge on appraising NMA methods. This collection of 456 published NMAs indicates that many NMAs provide important methodological limitations, but the comprehensive use of appropriate methodologies and completeness of reporting (such as the description of the statistical methods used) improved over the years. For example, anincreasing number of NMAs used appropriate methods to test the plausibility of the consistency assumption and in recent years around 90% of articles clearly reported whether a random-effects of the fixed-effect model was used. A common problem in the synthesis of studies is the existence of outlying or/and influential studies. Outlying and influential studies may bias the results but little work has been done for outlying identification in NMA. For this reason, this Thesis focuses on developing several methodologies for the identification of outliers and influential studies in network metaanalysis. Heterogeneity and inconsistency can be seen as differences in the potential effectmodifiers within and across the pairwise comparisons in a network of interventions. It is common that a potential source of heterogeneity and inconsistency is provided due to the existence of extreme study effects. Extreme study effects may be an outlier or influential study. A study that is far away from the rest of the data and does not explain by the assumed model defined as an outlier and a study that influences the model parameters (network estimates and heterogeneity estimator) defined as influential. Several methods for outlier and influential identification have been developed in a pairwise meta-analysis considering addition or deletion of studies, based on the likelihood or by taking alternative distributions for heterogeneity. In this dissertation, several simple measures for outlier and influential studies detection are provided. Measures considering the deletion of a study for outlier and influential studies detection are extended in NMA. A forward search algorithm, considered the addition of studies, has recently been developed in meta-regression. This algorithm starts with a subset of studies that considered outlying-free and it gradually adds studies until all studies entered. Sharp changes in monitoring measures during the search are considered potential outlying and/or influential studies. In this Thesis, the methodology with the forward search algorithm for outlying identification has been developed in the NMA model. Additionally, a novel model with shifting the variance taking into account outlying studies from meta-analysis to networkmeta-analysis model is extended. The advantage of the random shift variance model is that it offers the ability of down-weighting studies and therefore can be used as a sensitivity analysis. The several outlier and influential measures and two proposed methods in NMA for outlying identification, forward search algorithm and shift random NMA model, applied in real and in simulated datasets. Results of measures and methods indicate the potential source of outlying and influential cases in datasets. The methods are promising tools for the identification of outlying and influential cases and sources of heterogeneity and/or inconsistency. For the implementation of the several detection measures and methods a flexible and user-friendly software, an R package, called NMAoutlier, was developed with a description and details to provide guidance on how to use the R package through real datasets.

Οι συστηματικές ανασκοπήσεις και μετα-αναλύσεις έχουν καθιερωθεί ως αναπόσπαστο κομμάτι της έρευνας για τη σχετική αποτελεσματικότητα μεταξύ παρεμβάσεων. Σήμερα, η λήψη αποφάσεων και η ιεράρχηση μεταξύ ανταγωνιστικών παρεμβάσεων σε πολλούς τομείς, βασίζονται στην ανάπτυξη του μετα-ανάλυσης δικτύων (ΜΑΔ). Ο ολοένα αυξανόμενος αριθμός διαφορετικών εκπαιδευτικών και ψυχολογικών παρεμβάσεων στο εκπαιδευτικό σύστημα οδηγεί στην ανάγκη σύγκρισης τους με στόχο την εύρεση της καταλληλότερης παρέμβασης. Η μετα-ανάλυση δικτύων συνθέτει τόσο άμεσες όσο και έμμεσες πληροφορίες έτσι ώστε να παρέχει πιο ισχυρά αποτελέσματα και εκτιμήσεις με αυξημένη ακρίβεια σε σχέση με τις εκτιμήσεις ανά ζεύγη. Η ΜΑΔ έχει γίνει ένα δημοφιλές στατιστικό εργαλείο στη σύνθεση στοιχείων. Βάσει μιας συλλογής δεδομένων με δημοσιευμένες ΜΑΔ από την αρχή έως τις 14 Απριλίου 2015, η τάση δείχνει τον αυξανόμενο αριθμό δημοσιευμένων της ΜΑΔ και της εφαρμογής ολοένα και καταλληλότερων μεθοδολογιών. Επιπλέον, η επισκόπηση των χαρακτηριστικών των δημοσιευμένων ΜΑΔ είναι μια χρήσιμη πηγή πληροφόρησης γιαερευνητές που στοχεύουν να αναβαθμίσουν την υπάρχουσα γνώση σχετικά με την αξιολόγηση των μεθόδων ΜΑΔ. Αυτή η συλλογή από 456 δημοσιευμένων ΜΑΔ υποδεικνύει ότι πολλές ΜΑΔ παρέχουν σημαντικούς μεθοδολογικούς περιορισμούς, αλλά η εκτεταμένη χρήση των κατάλληλων μεθοδολογιών και της πληρότητας των εκθέσεων (όπως η περιγραφή των χρησιμοποιούμενων στατιστικών μεθόδων) έχει βελτιωθεί με την πάροδο των ετών. Για παράδειγμα, ένας αυξανόμενος αριθμός ΜΑΔ χρησιμοποίησε κατάλληλες μεθόδους για να ελέγξει την αξιοπιστία της υπόθεσης της συνέπειας και τα τελευταία χρόνια γύρω στο 90% των άρθρων ανέφερε σαφώς αν χρησιμοποιήθηκε το μοντέλο τυχαίων ή σταθερών επιδράσεων. Παρόλο που η βιβλιογραφική μελέτη έδειξε βελτιωμένη στατιστική μεθοδολογία, εξακολουθούν να υπάρχουν μεθοδολογικές πτυχές στα μοντέλα μετα-αναλύσεων δικτύων που χρειάζονται ακόμα περαιτέρω ανάπτυξη. Ένα κοινό πρόβλημα στη σύνθεση των μελετών είναι η ύπαρξη ακραίων και / ή επηρεάζουσων μελετών. Παρόλο που οι ακραίες και οι επηρεάζουσες μελέτες ενδέχεται να οδηγήσουν σε μεροληπτικά αποτελέσματα, ελάχιστη ερευνητική δουλειά έχει πραγματοποιηθεί για τη διερεύνηση τέτοιων μελετών στη ΜΑΔ. Για το λόγο αυτό, η παρούσα διδακτορική διατριβή επικεντρώνεται στην ανάπτυξη μεθοδολογίας για τη διερεύνηση ακραίων και επηρεάζουσων μελετών. Η ετερογένεια και η ασυνέπεια μπορούν να θεωρηθούν ως διαφορές στους τροποποιητές του αποτελέσματος σε ένα δίκτυο παρεμβάσεων. Μια πιθανή πηγή ετερογένειας και ασυνέπειας αποτελεί η ύπαρξη ακραίων ήεπηρεάζουσων μελετών. Ως ακραία ορίζεται η μελέτη που απέχει πολύ από τα υπόλοιπα δεδομένα και δεν προβλέπεται ικανοποιητικά από το μοντέλο που έχουμε υποθέσει, ενώ ως επηρεάζουσα η μελέτη που επηρεάζει τις παραμέτρους του μοντέλου, δηλαδή τις εκτιμήσεις του δικτύου και την ετερογένεια. Αρκετές μεθοδολογίες για την εύρεση ακραίων και επηρεάζουσων μελετών έχουν αναπτυχθεί στη μετα-ανάλυση δύο παρεμβάσεων, μεθοδολογίες που θεωρούν την είσοδο ή έξοδο μελετών, μεθοδολογίες που στηρίζονται στη συνάρτηση πιθανοφάνειας ή μεθοδολογίες που βασίζονται στη λήψη εναλλακτικών κατανομών για ετερογένεια. Στη παρούσα διδακτορική διατριβή παρουσιάζονται πολλά απλά μέτρα εύρεσης ακραίων και επηρεάζουσων μελετών. Μέτρα θεωρώντας τη διαγραφή μελέτης για την εύρεση ακραίων και επηρεάζουσων μελετών επεκτάθηκαν στο μοντέλο ΜΑΔ. Ο προς τα εμπρός αλγόριθμος αναζήτησης αναπτύχθηκε πρόσφατα στη μετα-παλινδρόμηση. Οαλγόριθμος βασίζεται στη σταδιακή προσθήκη των μελετών, ξεκινά με ένα υποσύνολο μελετών που θεωρείται απαλλαγμένο από ακραίες μελέτες και προσθέτει σταδιακά τις μελέτες μέχρι να εισέλθουν όλες οι μελέτες. Οι έντονες αλλαγές των μέτρων παρακολούθησης κατά τη διάρκεια της αναζήτησης αποτελεί ένδειξη για πιθανές ακραίες ή / και επηρεάζουσες μελέτες. Στην διδακτορική διατριβή, η μεθοδολογία με τον προς τα εμπρός αλγόριθμο αναζήτησης για τη διερεύνηση ακραίων ή/και επηρεάζουσων μελετών αναπτύχθηκε στο μοντέλο ΜΑΔ από το μοντέλο της μετα-παλινδρόμησης. Επιπλέον, επέκτεινα ένα νέο μοντέλο τυχαίων επιδράσεων με τη μετατόπιση της διακύμανσης, λαμβάνοντας υπόψη τις ακραίες μελέτες από το μοντέλο της απλής μετα-ανάλυσης δύο παρεμβάσεων στο μοντέλο της ΜΑΔ. Το πλεονέκτημα του μοντέλου τυχαίων επιδράσεων με τη μετατόπιση της διακύμανσης είναι ότι προσφέρει την ικανότητα μείωσης του βάρους των ακραίων μελετών και συνεπώς μπορεί να χρησιμοποιηθεί ως ανάλυση ευαισθησίας. Τα διάφορα μέτρα και οι δύο προτεινόμενες μεθοδολογίες στη ΜΑΔ για διερεύνηση των ακραίων και επηρεάζουσων μελετών, με τον προς τα εμπρός αλγόριθμο αναζήτησης και το μοντέλο τυχαίων επιδράσεων με μετατόπιση της διακύμανσης, εφαρμόστηκαν σε δημοσιευμένα δίκτυα μετα-αναλύσεων και σε προσομοιωμένα δεδομένα. Τα αποτελέσματα από τι εφαρμογές υποδεικνύουν την εύρεση ακραίων και επηρεάζουσων μελετών στα δεδομένα. Οι προτεινόμενες μεθοδολογίες αποτελούν καλά υποσχόμενα εργαλεία για τον εντοπισμό ακραίων και επηρεάζουσων μελετών και την εύρεση πηγών δημιουργίας υψηλής ετερογένειας και / ή ασυνέπειας. Για την υλοποίηση των διάφορων μέτρων εύρεσης ακραίωνκαι επηρεάζουσων μελετών αλλά και των δύο προτεινόμενων μεθοδολογιών σε ένα ευέλικτο και φιλικό προς το χρήστη λογισμικό, αναπτύχθηκε το στατιστικό πακέτο NMAoutlier στην R που περιγράφεται στη παρούσα διδακτορική διατριβή παρέχοντας λεπτομέρειες και οδηγίες για τον τρόπο χρήσης του πακέτου μέσω της εφαρμογής του σε πραγματικά δεδομένα.