Ανάπτυξη μεθοδολογικού πλαισίου για την αξιολόγηση της διδακτικής αποτελεσματικότητας στην τριτοβάθμια εκπαίδευση: συνδυασμός παραμετρικών / μη παραμετρικών τεχνικών και διαγραμμάτων ελέγχου σε φοιτητικές αξιολογήσεις

Abstract

In the academic context, ensuring high-quality education requires, among other things, the development and utilization of coherent assessment frameworks. Statistical Quality Control (SQC) tools, such as control charts (CCs), are particularly important in this regard, as they enable the monitoring and evaluation of the quality of the educational process, the identification of areas for improvement, and evidence-based decision-making aimed at the continuous enhancement of the performance of all participants involved in the educational process. This doctoral dissertation addresses the development of an innovative framework based on SQC techniques, with the ultimate goal of systematically improving the educational experience of students in higher education institutions. The research approach focuses on the use of control charts as a central tool for real-time monitoring of the teaching performance and effectiveness of academic and research staff, allowing for the longitudinal capture and analysis of data derived from student evaluations. To achieve the research objectives, simulations of the student evaluation process were conducted, many of which were based on actual evaluation data. Particular emphasis was placed on a representative, yet significant, survey question concerning the overall performance of an instructor. Through the simulation of mean and median control charts (simple, exponentially weighted, cumulative, and moving average), computational models were developed, and the corresponding values of specific statistical performance criteria of the control charts, such as the average run length, the median, and the standard deviation of the run length distribution, were determined. Subsequently, the study focused on the comparative analysis of the performance of the aforementioned control charts. This approach allowed for conclusions regarding their behavior and effectiveness under different simulated evaluation scenarios. Specifically, two illustrative scenarios were examined: In the first scenario, the simulation was performed using evaluation data exhibiting negative skewness, with the majority of scores concentrated at higher values and lower scores appearing infrequently. Such distributions reflect common real-world cases in which students evaluate academic staff positively. In the second scenario, the simulation was based on a symmetric distribution of evaluations. The choice of this distribution was dictated by the need to examine the effect of skewness on the results and to avoid potential bias due to the different sensitivities of the two types of control charts—i.e., mean-based and median-based charts—to the characteristics of the distribution. To demonstrate the practical application of the proposed model and methodology, a real case study was presented in an actual educational environment, including the corresponding values and parameters for the evaluation of the control charts’ performance. This application highlighted the practical significance of the study’s theoretical findings, demonstrating the usefulness of control charts in assessing teaching effectiveness in higher education institutions. The dissertation concludes with the application of non-parametric statistical methods to the evaluation of academic staff performance, with particular emphasis on the Kruskal–Wallis test and Dunn’s post-hoc test. The primary objective of this research approach was to demonstrate the utility of these methods both for detecting statistically significant differences between evaluations—and, by extension, the performance—of academic staff members, and for conducting multiple pairwise comparisons to identify those individuals who differed in specific dimensions of teaching effectiveness, such as teaching quality, clarity of presentation, academic guidance, communication with students, and overall satisfaction of students’ educational needs. The application of these methods to real evaluation data from eight academic staff members at a Greek higher education institution illustrated their practical utility, highlighting their contribution to the process of assessing teaching effectiveness.

Στον ακαδημαϊκό χώρο, η διασφάλιση υψηλής ποιότητας εκπαίδευσης απαιτεί, μεταξύ άλλων, τη δημιουργία και αξιοποίηση συνεκτικών πλαισίων αξιολόγησης. Τα εργαλεία στατιστικού ελέγχου ποιότητας (Σ.Ε.Π.), όπως τα διαγράμματα ελέγχου (δ.ε.), είναι ιδιαίτερα σημαντικά προς την κατεύθυνση αυτή, δεδομένου ότι επιτρέπουν την παρακολούθηση και αξιολόγηση της ποιότητας της εκπαιδευτικής διαδικασίας, τον εντοπισμό περιοχών βελτίωσης και την τεκμηριωμένη λήψη αποφάσεων για τη συνεχή βελτίωση της απόδοσης όλων των εμπλεκόμενων στην εκπαιδευτική διαδικασία. Η παρούσα διδακτορική διατριβή πραγματεύεται την ανάπτυξη ενός καινοτόμου πλαισίου, βασισμένου σε τεχνικές Σ.Ε.Π., με απώτερο σκοπό τη συστηματική βελτίωση της εκπαιδευτικής εμπειρίας των φοιτητών/τριών στα ιδρύματα τριτοβάθμιας εκπαίδευσης. Η ερευνητική προσέγγιση εστιάζει στην αξιοποίηση των δ.ε. ως κεντρικού εργαλείου για την παρακολούθηση σε πραγματικό χρόνο της διδακτικής απόδοσης και αποτελεσματικότητας των μελών του διδακτικού και ερευνητικού προσωπικού (Δ.Ε.Π.), επιτρέποντας τη διαχρονική αποτύπωση και ανάλυση των δεδομένων που πηγάζουν από τις αξιολογήσεις των φοιτητών/τριών. Για την επίτευξη του ερευνητικού στόχου, υλοποιήθηκαν προσομοιώσεις της διαδικασίας αξιολόγησης των φοιτητών/τριών, πολλά από τα στοιχεία της οποίας βασίστηκαν σε δεδομένα πραγματικών αξιολογήσεων. Δόθηκε δε ιδιαίτερη έμφαση σε μια ενδεικτική, αλλά σημαντική ερώτηση του ερωτηματολογίου αξιολόγησης σχετικά με τη συνολική απόδοση ενός/μιας διδάσκοντα/ουσας. Μέσω της προσομοίωσης της λειτουργίας δ.ε. μέσης τιμής και μεσαίας τιμής (διάμεσος-median)- απλό, εκθετικής εξομάλυνσης, αθροιστικό και κινούμενου μέσου όρου - αναπτύχθηκαν υπολογιστικά μοντέλα και προσδιορίστηκαν οι αντίστοιχες τιμές κάποιων στατιστικών κριτηρίων απόδοσης δ.ε., όπως το μέσο μήκος ροής, η μεσαία τιμή και η τυπική απόκλιση της κατανομής του μήκους ροής. Στη συνέχεια, η έρευνα επικεντρώθηκε στη συγκριτική ανάλυση της απόδοσης των προαναφερθέντων δ.ε. Η προσέγγιση αυτή επέτρεψε την εξαγωγή συμπερασμάτων για τη συμπεριφορά και αποτελεσματικότητά τους, υπό διαφορετικά σενάρια προσομοίωσης της διαδικασίας αξιολόγησης. Συγκεκριμένα, εξετάστηκαν δύο ενδεικτικά σενάρια: Στο πρώτο σενάριο, η προσομοίωση πραγματοποιήθηκε με δεδομένα αξιολογήσεων που παρουσίαζαν αρνητική ασυμμετρία, με την πλειονότητα των τιμών να συγκεντρώνεται σε υψηλότερες βαθμολογίες και τις χαμηλές βαθμολογίες να εμφανίζονται σπάνια. Τέτοιου τύπου κατανομές αντανακλούν συχνές πραγματικές περιπτώσεις,, στις οποίες οι φοιτητές/τριες αξιολογούν θετικά τα μέλη Δ.Ε.Π.. Στο δεύτερο σενάριο, η προσομοίωση βασίστηκε σε συμμετρική κατανομή αξιολογήσεων. Η επιλογή αυτής της κατανομής υπαγορεύθηκε από την ανάγκη να ελεγχθεί η επίδραση της ασυμμετρίας στα αποτελέσματα και να αποφευχθούν τυχόν στρεβλώσεις λόγω της διαφορετικής ευαισθησίας των δύο τύπων δ.ε. — δηλαδή των δ.ε. για τη μέση τιμή και των δ.ε. για τη μεσαία τιμή — στα χαρακτηριστικά της κατανομής. Προκειμένου να αναδειχθεί η πρακτική εφαρμογή του προτεινόμενου μοντέλου και της μεθοδολογίας μας, παρουσιάστηκε μια πραγματική περίπτωση εφαρμογής τους σε ένα πραγματικό εκπαιδευτικό περιβάλλον, στην οποία παρατέθηκαν οι αντίστοιχες τιμές και παράμετροι για την αξιολόγηση της απόδοσης των δ.ε. Η εφαρμογή αυτή ενίσχυσε την πρακτική σημασία των θεωρητικών ευρημάτων της μελέτης, αποδεικνύοντας τη χρησιμότητα των δ.ε. στην αξιολόγηση της αποτελεσματικότητας της διδασκαλίας στα ιδρύματα τριτοβάθμιας εκπαίδευσης. Η διατριβή ολοκληρώθηκε με την εφαρμογή μη παραμετρικών στατιστικών μεθόδων στην αξιολόγηση της διδακτικής απόδοσης των ακαδημαϊκών μελών, με ιδιαίτερη έμφαση στη χρήση του ελέγχου Kruskal-Wallis και του ελέγχου Dunn. Κύριος στόχος της ερευνητικής προσέγγισης ήταν η ανάδειξη της χρησιμότητας των εν λόγω μεθόδων τόσο για την ανίχνευση στατιστικά σημαντικών διαφορών μεταξύ των αξιολογήσεων - και κατ΄επέκταση των αποδόσεων - των μελών Δ.Ε.Π., όσο και για τη διενέργεια πολλαπλών συγκρίσεων κατά ζεύγη, με σκοπό τον εντοπισμό εκείνων των μελών που διαφοροποιούνταν ως προς επιμέρους διαστάσεις της διδακτικής τους αποτελεσματικότητας, όπως η ποιότητα διδασκαλίας, η σαφήνεια της παρουσίασης, η ακαδημαϊκή καθοδήγηση, η επικοινωνία με τους/τις φοιτητές/τριες και η συνολική ικανοποίηση των ακαδημαϊκών τους αναγκών. Η εφαρμογή των συγκεκριμένων μεθόδων σε πραγματικά δεδομένα αξιολόγησης της διδακτικής απόδοσης οκτώ μελών Δ.Ε.Π. κάποιου ελληνικού ιδρύματος τριτοβάθμιας εκπαίδευσης, κατέδειξε την πρακτική τους χρησιμότητα, αναδεικνύοντας τη συμβολή τους στη διαδικασία αξιολόγησης της αποτελεσματικότητας της διδασκαλίας.