Information retrieval and machine learning for conducting systematic reviews

Abstract

Innovative research studies provide alternative methods to minimise the time and cost associated with all SR (Systematic Review) stages which have critical importance on Evidence-Based Medicine. The time to complete a SR is typically between 2 and 6 months and the cost is estimated in tens of thousands of pounds. This thesis makes an effort to address a key challenge faced in SRs which eventually will lead to important reductions in the amount of process time and production cost. Specifically, this thesis supplements a tested proposal to enhance the SR initial retrieval stage of screening and ranking medical documents so that all the relevant abstracts of healthcare articles are found as soon as possible before the non-relevant with minimum computational effort. A new DL (Deep Learning) and IR (Information Retrieval) method is proposed and evaluated against a highly effective and custom IR method on CLEF systematic reviews. The proposed strategy promotes the usage of an optimised probabilistic retrieval model along with different DL models. My hypothesis is that using DL an evolutionary branch of Machine Learning will result in higher IR accuracy than depending solely on prediction scores from conventional IR models. If this objective is attained, it could lead conceivably to the reduction of human effort and time to assess public health SRs. For this purpose, my research starts with an empirical collection of research knowledge and data (CLEF collections) in the examined field. Furthermore, this thesis contains a description of my experimentation with different document indexing, ranking, query processing and development methods to analyse the proposed approach by modifying and extending existing open-source toolkits but also combining these to construct my proposed IR pipeline. The conclusions drawn from the results indicated that including a greater amount of fields to an indexer for medical articles is a decisive positive contributor for the retrieval effectiveness of an IR system. Also, incorporating post-processing query expansion techniques based on thesaurus query formulation enrichment boosts further the IR performance of the proposed IR system. However, the size of a processed query by itself is not solely sufficient to expect improved performance on CLEF topics. Finally, I find that the proposed DL IR strategy works. I compare it to the recently successful BM25+RM3 (IR) model and conclude that the suggested method accomplishes advanced retrieval performance in the initial ranking of the articles with CLEF datasets for the CLEF eHealth Technologically Assisted Reviews in Empirical Medicine Task.

Οι καινοτόμες ερευνητικές μελέτες παρέχουν εναλλακτικές μεθόδους για την ελαχιστοποίηση του χρόνου και του κόστους που σχετίζεται με όλα τα στάδια μιας ΣΑ (Συστηματικής Ανασκόπησης) που έχουν κρίσιμη σημασία για την Ιατρική Βασισμένη σε Στοιχεία. Ο χρόνος για την ολοκλήρωση μιας ΣΑ είναι συνήθως μεταξύ 2 και 6 μηνών και το κόστος υπολογίζεται σε δεκάδες χιλιάδες λίρες. Αυτή η διατριβή κάνει μια προσπάθεια να αντιμετωπίσει μια βασική πρόκληση που αντιμετωπίζουν οι ΣΑ, η οποία τελικά θα οδηγήσει σε σημαντικές μειώσεις στον χρόνο διεργασίας και στο κόστος παραγωγής. Συγκεκριμένα, η παρούσα διατριβή συμπληρώνει μια δοκιμασμένη πρόταση βελτίωσης του αρχικού σταδίου ανάκτησης ΣΑ και της κατάταξης ιατρικών εγγράφων, έτσι ώστε όλες οι σχετικές περιλήψεις των άρθρων υγειονομικής περίθαλψης να βρίσκονται το συντομότερο δυνατό πριν από τα μη σχετικά έγγραφα με την ελάχιστη υπολογιστική προσπάθεια. Μια νέα μέθοδος ΒΜ (Βαθιάς Μάθησης) και ΑΠ (Ανάκτησης Πληροφοριών) προτείνεται και αξιολογείται έναντι μιας εξαιρετικά αποτελεσματικής και προσαρμοσμένης μεθόδου ΑΠ στις συστηματικές ανασκοπήσεις CLEF. Η προτεινόμενη στρατηγική προωθεί τη χρήση ενός βελτιστοποιημένου πιθανολογικού μοντέλου ανάκτησης μαζί με διαφορετικά μοντέλα ΒΜ. Η υπόθεσή μου είναι ότι η χρήση του ΒΜ ενός εξελικτικού κλάδου της Μηχανικής Μάθησης θα έχει ως αποτέλεσμα υψηλότερη ακρίβεια ανάκτησης συγκριτικά με την ανάκτηση που εξαρτάται αποκλειστικά από τις βαθμολογίες πρόβλεψης από συμβατικά μοντέλα ΑΠ. Εάν επιτευχθεί αυτός ο στόχος, θα μπορούσε να οδηγήσει σε μείωση της ανθρώπινης προσπάθειας και του χρόνου για την αξιολόγηση των ΣΑ της δημόσιας υγείας. Για το σκοπό αυτό, η έρευνά μου ξεκινά με μια εμπειρική συλλογή ερευνητικής γνώσης και δεδομένα (συλλογές CLEF) στο εξεταζόμενο πεδίο. Επιπλέον, αυτή η διατριβή περιέχει μια περιγραφή του πειραματισμού μου με διαφορετικές μεθόδους ευρετηρίασης, κατάταξης, επεξεργασίας ερωτημάτων και ανάπτυξης εγγράφων για την ανάλυση της προτεινόμενης προσέγγισης τροποποιώντας και επεκτείνοντας υπάρχουσες εργαλειοθήκες ανοιχτού κώδικα αλλά και συνδυάζοντάς τα για να κατασκευάσω την προτεινόμενη γραμμή ΑΠ. Τα συμπεράσματα που προέκυψαν από τα αποτελέσματα έδειξαν ότι η συμπερίληψη μεγαλύτερης ποσότητας πεδίων σε ένα ευρετήριο για ιατρικά είδη συμβάλλει καθοριστικά θετικά στην αποτελεσματικότητα της ανάκτησης ενός συστήματος ΑΠ. Επίσης, η ενσωμάτωση τεχνικών επέκτασης ερωτήματος μετά την επεξεργασία που βασίζονται στον εμπλουτισμό της διατύπωσης ερωτήματος με την χρήση της μεθόδου θησαυρού (Thesaurus) ενισχύει περαιτέρω την απόδοση ανάκτησης πληροφοριών του προτεινόμενου συστήματος ΑΠ. Ωστόσο, το μέγεθος ενός επεξεργασμένου ερωτήματος από μόνο του δεν επαρκεί μόνο για να περιμένουμε βελτιωμένη απόδοση σε θέματα CLEF. Τέλος, διαπιστώνω ότι η προτεινόμενη στρατηγική ΒΜ ΑΠ λειτουργεί. Το συγκρίνω με το πρόσφατα επιτυχημένο μοντέλο BM25+RM3 (ΑΠ) και καταλήγω στο συμπέρασμα ότι η προτεινόμενη μέθοδος επιτυγχάνει προηγμένες επιδόσεις ανάκτησης στην αρχική κατάταξη των άρθρων με σύνολα δεδομένων CLEF για τις Τεχνολογικά Υποβοηθημένες Κριτικές των CLEF eHealth άρθρων στην Εργασία Εμπειρικής Ιατρικής.