A pain assessment framework based on multimodal data and deep machine learning methods

Abstract

Pain is a manifold condition that affects a large portion of the population. Accurate and reliable pain evaluation is essential for creating effective pain management strategies and protocols. In cases where patients cannot communicate their pain, clinicians rely on observing behavioral cues and monitoring vital signs. However, this approach is subjective and deficient in terms of continuous monitoring. Moreover, even in circumstances where patients are able to communicate, numerous challenges persist. Factors such as gender and age significantly influence how pain is perceived and expressed. Individuals with psychological disorders like depression and anxiety exhibit altered pain-related behaviors, further complicating the assessment. Human biases and beliefs, including racial and cultural differences, also shape pain judgment and interpretation. Additionally, social dynamics and personal relationships between the observer and the person experiencing pain can heavily distort the assessment, further intensifying the challenges of accurate pain evaluation. Automatic pain assessment can alleviate these challenges by providing continuous monitoring through computational systems that utilize designed algorithms to recognize pain indicators from input modalities, including videos and biosignals. In recent years, researchers have increasingly adopted deep learning algorithms to capture and encode the multidimensional aspects of pain into meaningful data attributes. This thesis initially aims to study the pain assessment process from a clinical-theoretical perspective while exploring and examining existing automatic approaches. Building on this foundation, the primary objective of this Ph.D. project is to develop innovative computational methods for automatic pain assessment that achieve high performance and are applicable in real clinical settings. A primary goal is to thoroughly investigate and assess significant factors, including demographic elements that impact pain perception, as recognized in pain research, through a computational standpoint. Within the limits of the available data in this research area, our goal was to design, develop, propose, and offer automatic pain assessment pipelines for unimodal and multimodal configurations that are applicable to the specific requirements of different scenarios. The studies published in this Ph.D. thesis showcased the effectiveness of the proposed methods, achieving state-of-the-art results. Additionally, they paved the way for exploring new approaches in artificial intelligence, foundation models, and generative artificial intelligence.

Ο πόνος είναι μια πολυεπίπεδη κατάσταση που επηρεάζει μεγάλο μέρος του πληθυσμού. Η ακριβής και αξιόπιστη αξιολόγηση του πόνου είναι ουσιώδης για τη δημιουργία αποτελεσματικών στρατηγικών και πρωτοκόλλων διαχείρισης του πόνου. Σε περιπτώσεις που οι ασθενείς δεν μπορούν να επικοινωνήσουν τον πόνο τους, οι κλινικοί βασίζονται στην παρατήρηση συμπεριφορικών ενδείξεων και στην παρακολούθηση ζωτικών σημείων. Ωστόσο, αυτή η προσέγγιση είναι υποκειμενική και ελλιπής όσον αφορά τη συνεχή παρακολούθηση. Επιπλέον, ακόμη και σε περιπτώσεις όπου οι ασθενείς μπορούν να επικοινωνήσουν, υπάρχουν πολλές προκλήσεις. Παράγοντες όπως το φύλο και η ηλικία επηρεάζουν σημαντικά τον τρόπο που ο πόνος αντιλαμβάνεται και εκφράζεται. Άτομα με ψυχολογικές διαταραχές όπως η κατάθλιψη και η αγχώδης διαταραχή εκδηλώνουν τροποποιημένες συμπεριφορές σχετικές με τον πόνο, δυσχεραίνοντας περαιτέρω την αξιολόγηση. Οι ανθρώπινες προκαταλήψεις και πεποιθήσεις, περιλαμβανομένων των φυλετικών και πολιτισμικών διαφορών, επίσης διαμορφώνουν την κρίση και την ερμηνεία του πόνου. Επιπλέον, οι κοινωνικές δυναμικές και οι προσωπικές σχέσεις μεταξύ του παρατηρητή και του ατόμου που βιώνει τον πόνο μπορούν να διαστρεβλώσουν σημαντικά την αξιολόγηση, εντείνοντας περαιτέρω τις προκλήσεις της ακριβούς αξιολόγησης του πόνου. Η αυτόματη αξιολόγηση του πόνου μπορεί να αμβλύνει αυτές τις προκλήσεις παρέχοντας συνεχή παρακολούθηση μέσω υπολογιστικών συστημάτων που χρησιμοποιούν ειδικά σχεδιασμένους αλγόριθμους για να αναγνωρίσουν ενδείξεις πόνου από διαφόρους τύπους δεδομένων, συμπεριλαμβανομένων των βίντεο και των βιοσημάτων. Τα τελευταία χρόνια, οι ερευνητές έχουν υιοθετήσει ολοένα και περισσότερο αλγόριθμους βαθιάς μάθησης για να αποτυπώσουν και να κωδικοποιήσουν τις πολυδιάστατες πτυχές του πόνου σε χρήσιμα δεδομενικά χαρακτηριστικά. Η παρούσα διδακτορική διατριβή αρχικά στοχεύει να μελετήσει τη διαδικασία αξιολόγησης του πόνου από μια κλινικο-θεωρητική προοπτική ενώ διερευνά και εξετάζει τις υπάρχουσες αυτόματες προσεγγίσεις. Στηριζόμενη σε αυτή τη βάση, ο κύριος στόχος αυτού του διδακτορικού έργου είναι να αναπτύξει καινοτόμες υπολογιστικές μεθόδους για αυτόματη αξιολόγηση του πόνου που επιτυγχάνουν υψηλή απόδοση και είναι εφαρμόσιμες σε πραγματικά κλινικά περιβάλλοντα. Ένας πρωταρχικός στόχος είναι να διερευνήσει και να αξιολογήσει σε βάθος σημαντικούς παράγοντες, συμπεριλαμβανομένων των δημογραφικών στοιχείων που επηρεάζουν την αντίληψη του πόνου, όπως αναγνωρίζονται στην έρευνα πόνου, από μια υπολογιστική σκοπιά. Εντός των ορίων των διαθέσιμων δεδομένων σε αυτό τον τομέα έρευνας, ο στόχος μας ήταν να σχεδιάσουμε, να αναπτύξουμε, να προτείνουμε και να προσφέρουμε αυτόματες αλυσίδες επεξεργασίας αξιολόγησης του πόνου για μονομορφικές και πολυμορφικές διαμορφώσεις που είναι εφαρμόσιμες στις συγκεκριμένες απαιτήσεις διαφορετικών σεναρίων. Οι μελέτες που δημοσιεύτηκαν σε αυτή τη διδακτορική διατριβή παρουσίασαν την αποδοτικότητα των προτεινόμενων μεθόδων, επιτυγχάνοντας πρωτοπόρα επιτεύγματα. Επιπλέον, καινοτόμησαν στην εξερεύνηση νέων προσεγγίσεων στην τεχνητή νοημοσύνη, τα μοντέλα θεμελίωσης και την γενετική τεχνητή νοημοσύνη.