Artificial intelligence in bone marrow imaging: development of novel machine learning strategies for the diagnosis and classification of benign bone marrow pathology with the use of magnetic resonance imaging (MRI)

Abstract

Bone marrow edema (BME) is a non-specific finding that can accompany a wide variety of conditions affecting the bone marrow including acute trauma, acute bone marrow edema syndromes (transient osteoporosis, regional migratory osteoporosis), chronic regional pain syndrome, avascular necrosis, infection, inflammatory arthritis, osteoarthritis at advanced stages of the disease, tendinopathies, and primary and metastatic malignancies. The imaging modality of choice for the depiction of bone marrow edema is magnetic resonance imaging (MRI) with fluid-sensitive sequences. The appearance of BME on MRI can complicate the diagnosis of diseases affecting the bone marrow, creating diagnostic dilemmas that challenge general radiologists or even specialized musculoskeletal radiologists. The most important diagnostic challenges faced in everyday radiological practice are (a) the differentiation between transient osteoporosis of the hip and avascular necrosis, (b) the differentiation between subchondral insufficiency fractures of the knee and advanced osteoarthritis presenting with BME and (c) the accurate staging of avascular necrosis. Accurate diagnosis in these cases is of utmost importance since it can change the treatment from conservative (for transient osteoporosis) to surgical (for avascular necrosis) or can determine the choice between joint preserving surgery (early stages of avascular necrosis) and total hip arthroplasty (late stages of avascular necrosis. The aim of this PhD was to leverage the power of novel image analysis methods such as radiomics and deep learning to tackle the aforementioned diagnostic dilemmas. Radiomics includes the extraction of high-dimensional data from regions of interest that can be used for the detailed characterization of lesions. Artificial intelligence (traditional machine learning or deep learning) methods can be used to either analyse radiomics data or to independently perform image recognition tasks for diagnostic purposes attempting the automation of disease detection. For the purposes of this PhD, radiomics data have been utilized for the analysis of proximal femurs with either avascular necrosis or transient osteoporosis of the hip, used to train machine learning models to distinguish between the two conditions. These models achieved excellent performance in distinguishing between the two conditions, performing equally to musculoskeletal radiologists and better than a general radiologist. In addition, in order to further automate the diagnosis between these two conditions, and to avoid bias related to the manual steps for radiomics data preparation, deep learning was used to distinguish between the two using whole images. Three convolutional neural networks (CNNs) were trained with a transfer learning methodology and finetuned with our data, in order to diagnose between transient osteoporosis and avascular necrosis. The consensus decision between the three CNNs was found to be highly accurate, performing better than two experts. Subsequently, a CNN ensemble was used to differentiate between subchondral insufficiency fractures and advanced osteoarthritis of the knee. The consensus decision of the network ensemble was compared to the diagnosis of expert radiologists. This CNN ensemble was found to be highly accurate in the differentiation between the two conditions performing better than one of the two experts. Finally, CNNs were used to distinguish between early (ARCO 1-2) and late stages of avascular necrosis (ARCO 3-4). The consensus decision of three CNNs was found to reach high performance in this diagnostic task. To further validate the model, a dataset from another country was used to assess model performance on unknown data and this validation performance was compared to the diagnosis of expert readers. Despite the performance drop in the external dataset, the CNN ensemble was still highly accurate in recognizing late AVN achieving a performance similar to the two experts. In conclusion, the work presented herein demonstrated the potential of radiomics and deep learning to assist diagnostic decisions in some of the most complicated tasks related to the presence of BME on MRI.

Το οίδημα του οστικού μυελού αποτελεί ένα μη-ειδικό εύρημα το οποίο συνοδεύει μια σειρά παθήσεων που επηρεάζουν το μυελό των οστών όπως το τραύμα, τα οξέα σύνδρομα οιδήματος του οστικού μυελού (παροδική οστεοπόρωση και περιοχική μεταναστευτική οστεοπόρωση), το σύνδρομο χρόνιου περιοχικού πόνου, η ανάγγεια νέκρωση (οστεονέκρωση) της μηριαίας κεφαλής, λοιμώξεις, φλεγμονώδεις αρθροπάθειες, προχωρημένη οστεοαρθρίτιδα, τενοντοπάθειες, πρωτοπαθείς κακοήθειες και μεταστάσεις. Η απεικονιστική μέθοδος εκλογής για την απεικόνιση του οιδήματος στον οστικό μυελό είναι η Μαγνητική Τομογραφία με ακολουθίες ευαίσθητες στα υγρά. Η απεικόνιση του οστεομυελικού οιδήματος σε μαγνητική τομογραφία μπορεί να περιπλέξει τη διαφορική διάγνωση παθήσεων που επηρεάζουν τον οστικό μυελό, δημιουργώντας διαγνωστικά διλήμματα που προβληματίζουν όχι μόνο γενικούς ακτινολόγους αλλά και ακτινολόγους με εξειδίκευση στο μυοσκελετικό σύστημα. Τέτοια διλήμματα στην καθημερινή διαγνωστική πράξη αποτελούν (α) η διαφορική διάγνωση παροδικής οστεοπόρωσης του ισχίου από οστεονέκρωση της μηριαίας κεφαλής, (β) η διάκριση μεταξύ κατάγματος ανεπάρκειας του γόνατος και προχωρημένης οστεοαρθρίτιδας η οποία συνοδεύεται από οστεομυελικό οίδημα και (γ) η ακριβής σταδιοποίηση της ανάγγειας νέκρωσης της μηριαίας κεφαλής. Η ακριβής διάγνωση στις προαναφερθείσες περιπτώσεις είναι εξαιρετικής σημασίας καθώς μπορεί να καθοδηγήσει την απόφαση για χειρουργική θεραπεία (νέκρωση κεφαλής, προχωρημένη οστεοαρθρίτιδα) σε σχέση με συντηρητική θεραπεία (παροδική οστεοπόρωση, κάταγμα ανεπάρκειας γόνατος). Επίσης ακριβής σταδιοποίηση της ανάγγειας νέκρωσης της μηριαίας κεφαλής καθορίζει την απόφαση για ολική αρθροπλαστική του ισχίου σε προχωρημένα στάδια της νόσου. Ο στόχος της παρούσας διατριβής είναι η χρήση σύγχρονων μεθόδων ραδιωμικής ανάλυσης και τεχνητής νοημοσύνης για την επίλυση των προαναφερθέντων διαγνωστικών διλημμάτων. Η ραδιωμική ανάλυση αποτελεί μέθοδο με την οποία εξάγονται λεπτομερή δεδομένα από ιατρικές εικόνες τα οποία χρησιμοποιούνται στη συνέχεια για τον ακριβή χαρακτηρισμό περιοχών ενδιαφέροντος. Η τεχνητή νοημοσύνη μπορεί να προσφέρει μεθόδους για την ανάλυση δεδομένων ραδιωμικής καθώς και για την ανάλυση ολόκληρης εικόνας με μοντέλα βαθιάς μάθησης (deep learning). Για τους σκοπούς της παρούσας διατριβής δεδομένα ραδιωμικής εξήχθησαν από εικόνες μαγνητικής τομογραφίας εγγύς μηριαίων με παροδική οστεοπόρωση ή οστεονέκρωση της μηριαίας κεφαλής. Τα δεδομένα αυτά χρησιμοποιήθηκαν για την εκπαίδευση μοντέλων μηχανικής μάθησης για τη διάκριση μεταξύ των δυο παθήσεων. Τα μοντέλα αυτά πέτυχαν άριστη διάκριση μεταξύ των δύο παθήσεων, ενώ έδωσαν διαγνώσεις με ακρίβεια όμοια με ακτινολόγους που έχουν λάβει εξειδικευμένη εκπαίδευση στο μυοσκελετικό σύστημα. Η μέθοδος αυτή φάνηκε να έχει καλύτερα αποτελέσματα σε σχέση με γενικό ακτινολόγο. Στη συνέχεια, σε μια προσπάθεια πλήρους αυτοματοποίησης της διαγνωστικής διαδικασίας και αποφυγής λαθών που σχετίζονται με τη χρονοβόρα διαδικασία εξαγωγής δεδομένων ραδιωμικής, χρησιμοποιήθηκαν τρία μοντέλα βαθιάς μάθησης που εκπαιδεύτηκαν να αναγνωρίζουν εικόνες παροδικής οστεοπόρωσης και οστεονέκρωσης. Τα μοντέλα αυτά έλαβαν συναινετική απόφαση για τη σωστή διάγνωση σε κάθε εικόνα, αποδίδοντας καλύτερα από ακτινολόγους μυοσκελετικού. Ομοίως μοντέλα βαθιάς μάθησης εκπαιδεύτηκαν να διακρίνουν μεταξύ υποχόνδρινων καταγμάτων ανεπάρκειας του γόνατος και προχωρημένης οστεοαρθρίτιδας. Ο συνδυασμός των μοντέλων αυτών απέδωσε καλύτερα ή το ίδιο σε σχέση με ειδικούς ακτινολόγους. Τέλος, βαθιά μάθηση χρησιμοποιήθηκε για τη διάκριση μεταξύ πρώιμης (ARCO 1-2) και προχωρημένης (ARCO 3-4) οστεονέκρωσης της μηριαίας κεφαλής. Η συναινετική απόφαση τριών μοντέλων βαθιάς μάθησης απέδωσε εξαιρετικά στη διάγνωση μεταξύ των δυο καταστάσεων. Προκειμένου μάλιστα να επιβεβαιωθεί η απόδοση των μοντέλων έγινε αξιολόγησή τους με τη χρήση εικόνων από κέντρο του εξωτερικού και στη συνέχεια πραγματοποιήθηκε σύγκριση με τη διάγνωση από δυο εξειδικευμένους ακτινολόγους μυοσκελετικού. Παρά τη μικρή μείωση στην απόδοση των μοντέλων όταν δοκιμάστηκαν σε εξωτερικά δεδομένα, φάνηκε να διατηρούν υψηλή συνολική απόδοση η οποία κρίθηκε όμοια με την απόδοση των δυο εξειδικευμένων ακτινολόγων. Συμπερασματικά, τα αποτελέσματα που παρουσιάζονται στην παρούσα διδακτορική διατριβή επιβεβαιώνουν ότι η ραδιωμική ανάλυση και μέθοδοι τεχνητής νοημοσύνης όπως η βαθιά μάθηση μπορούν να αποδώσουν εξαιρετικά στη λήψη συγκεκριμένων διαγνωστικών αποφάσεων οι οποίες σχετίζονται με την παρουσία οστεομυελικού οιδήματος και οι οποίες προκαλούν διλήμματα στην καθ’ ημέρα διαγνωστική πράξη των γενικών και εξειδικευμένων ακτινολόγων.