Σύστημα επεξεργασίας, ανάλυσης και ταξινόμησης εικόνων οπτικής μικροσκοπίας από δείγματα βιοψίας παχέος εντέρου με τεχνικές αναγνώρισης προτύπων για διαγνωστικές και εκπαιδευτικές εφαρμογές

Abstract

This doctoral dissertation is in the field of Medical Informatics and is more specifically focused on Machine Learning and Image Processing and Analysis. The purpose of this dissertation is the design and implementation of a system for processing, analyzing and classifying optical microscopy images of colon biopsy specimens with pattern recognition techniques for diagnostic and educational applications. The specific decision support system can be embedded in an information system for diagnostic and educational applications. To achieve the purpose of the dissertation, three sub-studies were conducted. A bibliographic research was conducted on the methodologies and the modern medical and pedagogical applications of such systems. On the experimental part of the dissertation, the available data set, on which the study was based, consists of 67 biopsy specimens from different patients. Digital microscopy images were taken at various magnifications (50x, 200x & 400x). The classes in which the sample images were assigned are based on their degree of differentiation, from Low degree (grade I) to High degree of differentiation (grade II and grade III). In the first study, developed in the Matlab environment, after feature extraction and reduction by using statistical methods, texture and color features which could successfully distinguish between the two categories were identified. The efficiency of the classification between Low and High Grade was proved to be high according to the value of the ROC curve. For the second study, an hDL-system was designed to separate Low from High Grade images, using a pre-trained convolutional neural network in order to produce the DL-features with SVM as classifier. In addition, the separation accuracy of the hDL-system was compared with the corresponding supervised machine learning system (sMLsystem). Both systems were implemented in the Matlab environment. The Bootstrap method was used as the evaluation method for both learning systems. The system was designed using the CUDA platform for parallel programming on our Nvidia graphics card microprocessors. The third comparative study, on the one hand, focused on possible differences in the texture and color of the epithelial tissue of patients who had survived five years after initial diagnosis and those of patients who did not survive; on the other hand, explored Machine Learning methods for predicting five-year survival in CRC patients. In conclusion, the supervised Machine Learning system revealed useful information regarding the classification of images based on the grade, as well as the classification between the five-year survival of the patients with high accuracy. The design of the hybrid DL system attained higher accuracies, as compared to the SML system, and proved to be robust and consistent discriminating low-grade from high-grade colorectal cancer (CRC) lesions and assessing the 5-year survival of patients with CRC.

Η συγκεκριμένη διδακτορική διατριβή εντάσσεται στo πεδίo της Ιατρικής Πληροφορικής και ειδικότερα της Μηχανικής Μάθησης και της Επεξεργασίας και Ανάλυσης εικόνων. Σκοπός της είναι ο σχεδιασμός και η εφαρμογή κατάλληλων αλγορίθμων για την ανάπτυξη ενός συστήματος επεξεργασίας, ανάλυσης και ταξινόμησης εικόνων οπτικής μικροσκοπίας από δείγματα βιοψίας παχέος εντέρου με τεχνικές αναγνώρισης προτύπων για διαγνωστικές και εκπαιδευτικές εφαρμογές. Το συγκεκριμένο σύστημα υποστήριξης απoφάσεων μπορεί να ενσωματωθεί και να αποτελέσει μέρος ενός μεγαλύτερου πληροφοριακού συστήματος για διαγνωστικές και εκπαιδευτικές εφαρμογές. Για την επίτευξη αυτού του σκοπού υλοποιήθηκαν τρεις επιμέρους μελέτες. Αρχικά, μελετήθηκε το θεωρητικό πλαίσιο και πραγματοποιήθηκε βιβλιογραφική έρευνα των μεθοδολογιών αλλά και των σύγχρονων ιατρικών και παιδαγωγικών εφαρμογών τέτοιων πληροφοριακών συστημάτων στην εκπαίδευση των φοιτητών των ιατρικών σχολών, αλλά και στην επιμόρφωση των επαγγελματιών υγείας. Για το Πειραματικό μέρος της διατριβής, μελετήθηκαν εξήντα επτά (67) πλακίδια βιοψίας από ασθενείς με καρκίνο του παχέος εντέρου (CRC). Από το βιολογικό υλικό, ελήφθησαν εικόνες ψηφιακής μικροσκοπίας σε διάφορες μεγεθύνσεις (50x, 200x & 400x). Στην πρώτη μελέτη, η ταξινόμηση των εικόνων έγινε με βάση το βαθμό διαφοροποίσης-grade, όπου ταξινομήθηκαν σε υψηλού (grade I) και χαμηλού βαθμού διαφοροποίησης (grade II and grade III). Για την ανάπτυξη του προγράμματος και τη συγγραφή του κώδικα, χρησιμοποιήθηκε το προγραμματιστικό περιβάλλον του Matlab. Ο διαχωρισμός μεταξύ των δύο κατηγοριών με βάση τα χαρακτηριστικά που επέλεξε το σύστημα Μηχανικής Μάθησης ήταν αποτελεσματικός, όπως αποτυπώθηκε από την τιμή της ROC καμπύλης. Στη δεύτερη μελέτη, σχεδιάστηκε ένα Υβριδικό σύστημα Βαθείας Μάθησης (hDL-system), δίνοντας ως είσοδο σε ένα προ-εκπαιδευμένο Συνελικτικό Νευρωνικό Δίκτυο (Convolutional Neural Network) τις επιλεγμένες περιοχές ενδιαφέροντος (ROIs) κάθε εικόνας, προκειμένου να εξαχθούν χαρακτηριστικά Βαθείας Μάθησης (Deep Learning) και να ταξινομηθούν με βάση αυτά οι εικόνες. Επιπλέον, έγινε σύγκριση της ακρίβειας διαχωρισμού του hDL-συστήματος με το αντίστοιχο σύστημα επιβλεπόμενης μηχανικής μάθησης (Supervised Machine Learning System -sMLsystem). Και τα δύο συστήματα υλοποιήθηκαν στο προγραμματιστικό περιβάλλον του Matlab. Ως μέθοδος αξιολόγησης της απόδοσης και των δύο συστημάτων μάθησης εφαρμόστηκε η μέθοδος bootstrap. Ο σχεδιασμός του συστήματος έγινε με χρήση της πλατφόρμας CUDA για τον παράλληλο προγραμματισμό σε μικροεπεξεργαστές μιας Nvidia κάρτας γραφικών. Στην τρίτη μελέτη, διερευνήθηκαν συγκριτικά (α) οι ενδεχόμενες διαφορές στην υφή και το χρώμα του επιθηλιακού ιστού των ασθενών που είχαν επιβιώσει πέντε έτη μετά την αρχική διάγνωση και εκείνων που δεν επιβίωσαν, και (β) η πρόβλεψη της πενταετούς επιβίωσης σε ασθενείς με CRC μέσω μεθόδων Μηχανικής Μάθησης. Συμπερασματικά, το σύστημα Μηχανικής Μάθησης υπό επίβλεψη αποκάλυψε χρήσιμες πληροφορίες για τον διαχωρισμό των εικόνων με βάση το grade, αλλά και με βάση την πενταετή επιβίωση, σημειώνοντας υψηλά ποσοστά ακρίβειας. Αντίστοιχα το υβριδικό Deep Learning σύστημα πέτυχε ακόμη μεγαλύτερη ακρίβεια με τη χρήση χαρακτηριστικών DL τόσο στη μελέτη για τον διαχωρισμό με βάση το grade, όσο και στη μελέτη για την επιβίωση.