Intrinsic interpretable machine learning frameworks for image classification

Abstract

In general, the goal of the interpretability and explainability domain in machine learning aims to provide an explanation for the predictions performed by intelligent machine models used in practical application domains. Interpretability/explainability in the machine learning field has recently become a significant problem because many real-world applications need justification and explanation for the decisions made by their ML models, even though it is essential to be able to comprehend their decision/prediction mechanism in order to trust them, particularly in critical situations. An area where explainability is extremely important is in medical applications like cancer prognosis, which is a crucial "life or death" decision dilemma. In these situations, a machine learning decision system's performance must take both accuracy and interpretation into account when assessing its effectiveness. Additionally, the European Union General Data Protection Regulation (GDPR) states that creating explainable models has become a need in real-world applications. A "right to explanation" obligation was established by the GDPR in 2018 for any automated judgments made by models using artificial intelligence. This new legislation encourages the development of algorithmic frameworks that must guarantee an explanation for each prediction made by a machine learning framework. The GDPR has legally required this demand. White box or interpretable models are those prediction modes whose decision processes are comprehensible, whereas explainable models are able to provide human-understandable justification for their decisions. These characteristics are crucial for establishing confidence in a model's predictions, especially when those predictions deal with vital issues like health, rights, security, and educational concerns. Convolutional Neural Networks (CNNs) have flourished in the machine learning and computer vision fields of image classification due to their success as highly effective image feature extractors. A CNN model is regarded as a "black box" model because the features it generates cannot be understood because they are calculated using an incredibly complex feature extraction function and have no practical human meaning. Every prediction model whose decision function is non-transparent, difficult to explain, or otherwise incapable of being understood is regarded as a black box model. The main focus of this PhD thesis is the developing of novel machine learning frameworks for image classification tasks that are trustworthy, comprehensible, and explainable. In particular, we introduced and developed new innovative Data Mining and Feature Extraction Techniques in order to build Intrinsic Interpretable/Explainable Machine Learning models for Image Recognition Applications. Our experimental results revealed the efficiency of the proposed methods.

Γενικά, ο στόχος του πεδίου της ερμηνευσιμότητας και εξηγησιμότητας στη μάθηση μηχανής στοχεύει στην παροχή εξήγησης για τις προβλέψεις που πραγματοποιούνται από έξυπνα μοντέλα μηχανής που χρησιμοποιούνται σε πρακτικά πεδία εφαρμογών. Η ερμηνευσιμότητα/εξηγησιμότητα στο πεδίο της μηχανικής μάθησης έχει γίνει πρόσφατα σημαντικό πρόβλημα, διότι πολλές εφαρμογές του πραγματικού κόσμου χρειάζονται δικαιολογία και εξήγηση για τις αποφάσεις που παίρνουν τα μοντέλα τους ΜΜ, παρότι είναι απαραίτητο να είναι δυνατή η κατανόηση του μηχανισμού λήψης αποφάσεων/προβλέψεων τους για να τους εμπιστευτούν, ιδιαίτερα σε κρίσιμες καταστάσεις. Ένα πεδίο όπου η εξηγησιμότητα είναι ιδιαίτερα σημαντική είναι στις ιατρικές εφαρμογές όπως η πρόγνωση καρκίνου, η οποία είναι μια κρίσιμη δίλημμα απόφασης για "ζωή ή θάνατο". Σε αυτές τις καταστάσεις, η απόδοση ενός συστήματος λήψης αποφάσεων μηχανικής μάθησης πρέπει να λαμβάνει υπόψη την ακρίβεια και την ερμηνευσιμότητα κατά την αξιολόγηση της αποτελεσματικότητάς του.Επιπλέον, ο Κανονισμός Προστασίας Δεδομένων της Ευρωπαϊκής Ένωσης (GDPR) δηλώνει ότι η δημιουργία εξηγήσιμων μοντέλων έχει γίνει ανάγκη σε εφαρμογές του πραγματικού κόσμου. Η υποχρέωση "δικαίωμα σε εξήγηση" καθιερώθηκε από το GDPR το 2018 για κάθε αυτοματοποιημένη κρίση που γίνεται από μοντέλα που χρησιμοποιούν τεχνητή νοημοσύνη. Αυτή η νέα νομοθεσία προωθεί την ανάπτυξη αλγοριθμικών πλαισίων που πρέπει να εγγυώνται μια εξήγηση για κάθε πρόβλεψη που κάνει ένα πλαίσιο μηχανικής μάθησης. Το GDPR έχει νομικά απαιτήσει αυτήν τη ζήτηση. Τα λευκά ή ερμηνεύσιμα μοντέλα είναι εκείνα τα μοντέλα πρόβλεψης οι αποφάσεις τους είναι κατανοητές, ενώ τα εξηγήσιμα μοντέλα μπορούν να παρέχουν ανθρωποκεντρική δικαιολόγηση για τις αποφάσεις τους. Αυτά τα χαρακτηριστικά είναι κρίσιμα για τη δημιουργία εμπιστοσύνης στις προβλέψεις ενός μοντέλου, ιδιαίτερα όταν αυτές οι προβλέψεις ασχολούνται με ζητήματα ζωής, δικαιωμάτων, ασφάλειας και εκπαιδευτικών ζητημάτων. Οι Συνελικτικοί Νευρωνικοί Δίκτυα (CNNs) έχουν ανθήσει στα πεδία της μηχανικής μάθησης και της όρασης υπολογιστών για την κατηγοριοποίηση εικόνων χάρη στην επιτυχία τους ως υψηλά αποτελεσματικοί εξόρυκτες χαρακτηριστικών εικόνων. Ένα μοντέλο CNN θεωρείται μοντέλο "μαύρου κουτιού" διότι τα χαρακτηριστικά που δημιουργεί δεν μπορούν να κατανοηθούν, καθώς υπολογίζονται χρησιμοποιώντας μια εξαιρετικά περίπλοκη λειτουργία εξόρυξης χαρακτηριστικών και δεν έχουν κανένα πρακτικό ανθρώπινο νόημα. Κάθε μοντέλο πρόβλεψης του οποίου η συνάρτηση λήψης αποφάσεων είναι μη διαφανής, δυσκολεύει να εξηγηθεί, ή δεν μπορεί να κατανοηθεί αλλιώς, θεωρείται μοντέλο μαύρου κουτιού.Το κύριο επίκεντρο αυτής της διδακτορικής διατριβής είναι η ανάπτυξη νέων πλαισίων μηχανικής μάθησης για εργασίες κατηγοριοποίησης εικόνων που είναι αξιόπιστα, κατανοητά και εξηγήσιμα. Συγκεκριμένα, παρουσιάζουμε και αναπτύσσουμε νέες καινοτόμες τεχνικές Εξόρυξης Δεδομένων και Εξόρυξης Χαρακτηριστικών για την κατασκευή εσωτερικά ερμηνεύσιμων/εξηγήσιμων μοντέλων Μηχανικής Μάθησης για Εφαρμογές Αναγνώρισης Εικόνων. Τα πειραματικά μας αποτελέσματα αποκάλυψαν την αποτελεσματικότητα των προτεινόμενων μεθόδων.