Knowledge graph based evaluation and explanation of machine learning systems

Abstract

Artificial intelligence (AI) has progressed explosively in recent years. Driven by the advent of deep learning, AI is being used in a variety of applications, across multiple scientific fields, in industry as well as in the arts. Despite spectacular results, various ethical issues have arisen that prevent the utilization of deep learning in applications that critically affect people’s lives, such as applications in medicine. The main source of ethical issues is the opacity of deep learning, as the models generally do not provide explanations for the decisions they make, and their use presupposes users’ trust. This lack of transparency also gives rise to additional problems hindering the development of AI systems, such as for example the difficulty of detecting, and consequently fixing bugs, and mistakes in deep learning based systems. These issues have led to the emergence of the eXplainable AI (XAI) field of research, which is the overarching context of this dissertation. This field of research has produced a wide range of approaches, with different algorithms that produce different types of explanations, in different theoretical contexts and concerning different types of data. In this dissertation we explored systems and technologies of formal knowledge representation as a tool to explain the operation of opaque deep learning systems. Specifically, we developed a theoretical framework and algorithms for explaining such systems based on semantic descriptions of data, expressed using specific terminology which is described in underlying ontological knowledge. The proposed framework is domain and model agnostic, and was applied on image classification, symbolic music generation and classification, and audio classification systems. It was compared with existing explainability and evaluation methods, and emerged as a promising approach that can provide high level information to users that other approaches cannot, thanks to the grounding of the explanations on structured represented knowledge. Our novel idea to utilize knowledge graphs for explainability in this way opens new paths to researching hybrid AI systems that utilize both low level sub-symbolic information, such as deep learning systems, in addition to high level symbolic information, that is structured, and more understandable to humans, as are knowledge graphs.

Η τεχνητή νοημοσύνη υπέστη εκρηκτική εξέλιξη τα τελευταία χρόνια. Με κινητήριο δύναμη την τεχνολογία της βαθιάς μάθησης, η τεχνητή νοημοσύνη βρίσκει εφαρμογή σε πληθώρα επιστημονικών πεδίων, στη βιομηχανία, καθως και στις τέχνες. Παρά τα θεαματικά αποτελέσματα, έχουν προκύψει διάφορα ηθικά ζητήματα που εμποδίζουν την αξιοποίηση της βαθιάς μάθησης σε εφαρμογές που επηρεάζουν κρίσιμα τη ζωή των ανθρώπων, όπως είναι οι εφαρμογές στην ιατρική. Κύρια πηγή των ηθικών ζητημάτων αποτελεί η αδιαφάνεια της βαθιάς μάθησης, καθώς τα μοντέλα αδυνατούν να δώσουν επεξηγήσεις για τις αποφάσεις που λαμβάνουν, και η εφαρμογή τους προϋποθέτει την εμπιστοσύνη των χρηστών. Αυτή η έλλειψη εξηγισιμότητας γεννά περεταίρω προβλήματα πέραν των ηθικών, όπως είναι για παράδειγμα η δυσκολία εντοπισμού και διόρθωσης σφαλμάτων σε τέτοια συστήματα. Τα ζητήματα αυτά έχουν οδηγήσει στο πεδίο έρευνας της ερμηνεύσιμης τεχνητής νοημοσύνης, στο οποίο εντάσσεται η παρούσα διατριβή. Το πεδίο αυτό έχει μεγάλο εύρος, με πλήθος διαφορετικών αλγορίθμων που παράγουν διαφορετικού τύπου επεξηγήσεις, σε διαφορετικά θεωρητικά πλαίσια και διαφορετικούς τύπους δεδομένων. Σε αυτή τη διατριβή διερευνήσαμε τα συστήματα και τις τεχνολογίες τυπικής αναπαράστασης γνώσης ως εργαλείο για την επεξήγηση, καθώς και για την αξιολόγηση της λειτουργίας αδιαφανών συστημάτων βαθιάς μάθησης. Συγκεκριμένα, αναπτύχθηκε το κατάλληλο θεωρητικό πλαίσιο και αλγόριθμοι για την επεξήγηση τέτοιων συστημάτων με βάση σημασιολογικές περιγραφές δεδομένων, χρησιμοποιώντας συγκεκριμένη ορολογία που περιγράφεται σε υποκείμενη οντολογική γνώση. Το θεωρητικό πλαίσιο, ως ανεξάρτητο του τύπου δεδομένων, και του υποκείμενου μοντέλου, εφαρμόστηκε στα πεδία της εικόνας, των συμβολικών αναπαραστάσεων μουσικής, και του ήχου. Συγκρίθηκε με υπαρχουσες μεθόδους επεξήγησης και αξιολόγησης αδιαφανών συστημάτων, και αναδείχθηκε ως προσέγγιση που δύναται να προσφέρει στο χρήστη πληροφορία που άλλες μέθοδοι αδυνατούν, χάρη στην θεμελίωση των προτεινόμενων εξηγήσεων σε τυπικά αναπαραστημένη γνώση. Η καινοφανής ιδέα μας να χρησιμοποιήσουμε γράφους γνώσης με τον συγκεκριμένο τρόπο, ανοίγει νέα ερευνητικά μονοπάτια προς την υβριδοποίηση των συστημάτων τεχνητής νοημοσύνης, αξιοποιώντας πληροφορία χαμηλού επιπέδου, όπου διαπρέπει η αδιαφανείς βαθιά μάθηση, καθώς και συμβολική πληροφορία υψηλού επιπέδου, η οποία είναι οργανωμένη, δομημένη, και πιο κατανοητή στον άνθρωπο.