Η μη-απόκριση στις δειγματοληπτικές έρευνες μεγάλης-κλίμακας

Abstract

There is a never ending need for better quality and comparable international social sample survey data. The risk of non-response bias affecting research estimates is real as response rates decline over time. The most common ways to approach non-response in literature are the comparison of the characteristics of different types of respondents, call-backs as a practice to increase responses and response rates. However, the study of non-response presupposes the collection of relevant data and there are only a few surveys that they are doing so as is the European Social Survey (ESS). Τo assess the importance of non-response in large-scale sample survey data, the originality of this dissertation lies in the investigation for the first time in the literature of the existence (or not) of differences in the demographic "profile" of respondents, refusals, and reluctant respondents. The socio-political "profile" of respondents and reluctant respondents is also examined. The method of call-backs is evaluated, a rate for measuring refusals conversion (Converted Refusals Rate-CRR) is proposed, and the contribution of call-backs to this rate is assessed. Finally, the response rate applied by ESS is evaluated according to Kish's definitions. The analysis is based on the first eight rounds (2002-2016) of the ESS for the following 11 countries: Belgium, Germany, Switzerland, United Kingdom, Spain, Norway, the Netherlands, Poland, Slovenia, Sweden, Finland. The findings showed that there were statistically significant differences for gender and age between respondents, refusals, and reluctant respondents in all countries for at least one round. The reluctant respondents differ significantly from the respondents and are mainly women, older on average, having completed fewer years of compulsory education, higher feeling of religiousness, lower family income, varying degrees of urbanization of their permanent residence, less social and political trust, less interest in politics, are not actively offering to volunteer at the same degree, but they abstain less from their voting rights. The analysis showed that four or five visits is adopted as a minimum number of call-backs in most countries. The CRR values range from 8.72% to 25.73%, while the contribution of call-backs to refusals after two call-backs does not exceed 1% in most countries. Finally, the comparison of the official ESS response rate index to that based on Kish’s definitions resulted in statistically significant differences for all 11 countries, with Germany, Spain, Poland and Slovenia having the largest systematic deviations (1.01- 7.91%). In spite of ESS’s efforts to address non-response, which is an example of a reliable large-scale sampling survey with strict comparability protocols, evidence of bias is found in the data. This indicates that the problem of non-response will continue to be of concern in the international literature. This methodological study aims to contribute to the continually growing field of large-scale sample surveys by discussing issues of further ensuring the quality of international comparable data collection. The findings are useful to the scientific community as they confirm the magnitude of the non-response problem in modern social research and the practices adopted in the field to address it adequately. Moreover, the new scientific tool that is proposed may be used by scientists in any sample survey collecting data for refusals.

Η ανάγκη για διαρκώς καλύτερης ποιότητας συγκρίσιμα διεθνή δειγματοληπτικά κοινωνικά δεδομένα είναι χωρίς τέλος. Όσο οι δείκτες απόκρισης μειώνονται διαχρονικά, ο κίνδυνος η μεροληψία της μη-απόκρισης να επηρεάζει τις εκτιμήσεις της εκάστοτε έρευνας είναι υπαρκτός. Οι συνηθέστεροι τρόποι προσέγγισης στη βιβλιογραφία της μη-απόκρισης είναι: η σύγκριση των χαρακτηριστικών διαφορετικών τύπων ερωτώμενων, οι επαναληπτικές επισκέψεις ως πρακτική αύξησης της απόκρισης και οι δείκτες απόκρισης. Όμως, η μελέτη της μη-απόκρισης προϋποθέτει τη συλλογή σχετικών δεδομένων κάτι που λίγες έρευνες πραγματοποιούν με μια από αυτές να είναι η Ευρωπαϊκή Κοινωνική Έρευνα (European Social Survey, εφεξής ESS).Προκειμένου να αποτιμηθεί η σημασία του ζητήματος της μη-απόκρισης στα δεδομένα δειγματοληπτικών ερευνών μεγάλης-κλίμακας, η πρωτοτυπία της παρούσας διατριβής έγκειται στο ότι διερευνάται, για πρώτη φορά στη βιβλιογραφία, η ύπαρξη (ή μη) διαφορών στο δημογραφικό «προφίλ» αποκρινόμενων, αρνούμενων και απρόθυμων αποκρινόμενων. Επιπλέον, μελετάται και το κοινωνικοπολιτικό «προφίλ» των αποκρινόμενων και απρόθυμων αποκρινόμενων. Αποτιμάται η μέθοδος των επαναληπτικών επισκέψεων, προτείνεται ένας δείκτης μέτρησης της μεταστροφής της άρνησης (Converted Refusals Rate, εφεξής CRR) και διερευνάται η συμβολή των επαναληπτικών επισκέψεων στον εν λόγω δείκτη. Τέλος, ο δείκτης απόκρισης που εφαρμόζεται από την ESS αξιολογείται βάσει των ορισμών του Kish. Η ανάλυση βασίστηκε στα δεδομένα των οκτώ πρώτων γύρων (2002-2016) διεξαγωγής της ESS για τις εξής 11 χώρες: Βέλγιο, Γερμανία, Ελβετία, Ηνωμένο Βασίλειο, Ισπανία, Νορβηγία, Ολλανδία, Πολωνία, Σλοβενία, Σουηδία, Φινλανδία. Σύμφωνα με τα αποτελέσματα, διαπιστώθηκαν στατιστικά σημαντικές διαφορές για το φύλο και την ηλικία μεταξύ αποκρινόμενων, αρνούμενων και απρόθυμων αποκρινόμενων σε όλες τις χώρες για τουλάχιστον έναν γύρο. Οι απρόθυμοι αποκρινόμενοι διαφέρουν στατιστικά σημαντικά από τους αποκρινόμενους και είναι κυρίως γυναίκες, μεγαλύτερης κατά μέσο όρο ηλικίας, με λιγότερα συμπληρωμένα έτη τυπικής εκπαίδευσης, υψηλότερο αίσθημα θρησκευτικής πίστης, μικρότερο μέσο οικογενειακό εισόδημα, διαφορετικού βαθμού αστικότητας της μόνιμης κατοικίας τους, με μικρότερη κοινωνική και πολιτική εμπιστοσύνη, λιγότερο ενδιαφέρον για την πολιτική, οι οποίες δεν προσφέρουν στον ίδιο βαθμό ενεργή εθελοντική εργασία αλλά απέχουν σε μικρότερο ποσοστό από την άσκηση των εκλογικών τους δικαιωμάτων. Όσον αφορά τον αριθμό των επαναληπτικών επισκέψεων, οι περισσότερες χώρες υιοθετούν τις 4 ή 5 ως ελάχιστο αριθμό επισκέψεων. Οι τιμές του δείκτη CRR κυμαίνονται από 8,72% έως 25,73% ενώ η συμβολή των επαναληπτικών επισκέψεων στους αρνούμενους μετά τις δύο επαναληπτικές επισκέψεις δεν ξεπερνά στην πλειονότητα των χωρών το 1%. Τέλος, η σύγκριση του επίσημου δείκτη απόκρισης της ESS με τον κατασκευασμένο δείκτη σύμφωνα με τον Kish ανέδειξε την ύπαρξη στατιστικά σημαντικών διαφορών για το σύνολο των 11 χωρών με τις Γερμανία, Ισπανία, Πολωνία, Σλοβενία να έχουν συστηματικά τις μεγαλύτερες αποκλίσεις (1,01- 7,91%). Παρά τις όποιες προσπάθειες γίνονται για την αντιμετώπιση του ζητήματος της μη-απόκρισης από την ESS που αποτελεί παράδειγμα αξιόπιστης δειγματοληπτικής έρευνας μεγάλης κλίμακας με αυστηρά πρωτόκολλα συγκρισιμότητας, στα δεδομένα της διαπιστώνονται ενδείξεις για την ύπαρξη μεροληψίας. Γεγονός που υποδεικνύει πως το πρόβλημα της μη-απόκρισης θα συνεχίσει να απασχολεί τη διεθνή βιβλιογραφία. Αυτή η μεθοδολογική μελέτη ευελπιστεί να συμβάλει στο διαρκώς αναπτυσσόμενο πεδίο των δειγματοληπτικών ερευνών μεγάλης-κλίμακας συζητώντας ζητήματα περαιτέρω διασφάλισης της ποιότητας συλλογής διεθνών συγκρίσιμων δεδομένων. Τα αποτελέσματά της μπορεί να αποδειχθούν χρήσιμα στην επιστημονική κοινότητα καθώς επιβεβαιώνουν τη σημασία του προβλήματος της μη-απόκρισης στην σύγχρονη κοινωνική έρευνα και των πρακτικών που υιοθετούνται στο πεδίο να την αντιμετωπίσουν επαρκώς. Ενώ επιπλέον το νέο επιστημονικό εργαλείο που προτείνεται μπορεί να χρησιμοποιηθεί και από άλλους επιστήμονες σε οποιαδήποτε δειγματοληπτική έρευνα που καταγράφει τις αρνήσεις της.