Combining bayesian and deep learning methods in computer vision problems

Abstract

Neural networks dominate computer vision tasks, yet their predictions often lack reliability. Bayesian Deep Learning (BDL) offers a solution by treating model parameters as random variables. This approach leads to well-calibrated predictions and handles distribution shifts better than deterministic methods. However, computational limitations prevents its widespread applicability. This thesis focuses on developing efficient BDL methods for high-dimensional parameter spaces, which are applied on various computer vision tasks, including image classification, segmentation, and object detection. Specifically we propose lightweight Bayesian modules for robust and probabilistic object detection via efficient stochastic feature fusion. Additionally, we introduce a novel hypernetwork-based method for incorporating Bayesian inference to large vision models. Finally we experimented with a structured posterior distribution, which efficiently captures correlations between weights, leading to improved calibration and uncertainty quantification. This research paves the way for the development of more interpretable and reliable machine learning models.

Τα νευρωνικά δίκτυα έχουν αναδειχθεί σε κυρίαρχη επιλογή για την μηχανική μάθηση τα τελευταία χρόνια, κυριαρχώντας σε πλήθος επιστημονικών πεδίων. Παρά την αδιαμφισβήτητη επιτυχία και τα εξαιρετικά αποτελέσματά τους, τα κλασικά νευρωνικά δίκτυα παρουσιάζουν και ορισμένα μειονεκτήματα. Ένα από τα πιο σημαντικά είναι η πολύ μεγαλή βεβαιότητα στις προβλέψεις τους (ειδικά τις λανθασμένες), φαινόμενο που γίνεται πιο έντονο όταν το μοντέλο καλείται να προβλέψει δεδομένα που διαφέρουν από τα δεδομένα εκπαίδευσης. Τα Μπεϋζιανά νευρωνικά δίκτυα έρχονται να προσφέρουν μια λύση σε αυτά τα προβλήματα, καθώς συνδυάζουν την αποτελεσματικότητα της βαθιάς μάθησης με τα πλεονεκτήματα της πιθανοτικής προσέγγισης που βασίζεται στην Μπεϋζιανή ανάλυση. Κατά την εκπαίδευση Μπεϋζιανών νευρωνικών δικτύων, η εστίαση τίθεται στην εκτίμηση της εκ των υστέρων κατανομής των παραμέτρων, δεδομένου του συνόλου εκπαίδευσης. Παρά τα πλεονεκτήματά τους, τα Μπεϋζιανά νευρωνικά δίκτυα φέρουν και μειονεκτήματα. Ένα από τα πιο σημαντικά είναι η αυξημένη υπολογιστική ισχύς που απαιτούν σε σύγκριση με τα κλασικά νευρωνικά δίκτυα. Καθώς ο αριθμός των παραμέτρων στα νευρωνικά δίκτυα αυξάνεται με την πάροδο του χρόνου, το ενδιαφέρον στρέφεται σε πιθανοτικές μεθόδους και τεχνικές που συνδυάζουν αποδοτικότητα με χαμηλή κατανάλωση υπολογιστικών πόρων. Στόχος λοιπόν είναι η αποδοτική πιθανοτική μοντελοποίηση παραμέτρων που οδηγεί σε εύρωστες προβλέψεις και αξιόπιστες τιμές αβεβαιότητας στα αποτελέσματα. Η παρούσα διδακτορική διατριβή εστιάζει στην ανάπτυξη αποδοτικών Μπεϋζιανών μοντέλων και τεχνικών με εφαρμογή σε προβλήματα υπολογιστικής όρασης, όπως η κατηγοριοποίηση εικόνων, η ανίχνευση αντικειμένων και σημασιολογική κατάτμηση. Ειδικότερα, η διατριβή εστιάζει στο πρόβλημα της αξιόπιστης και πιθανοτικής ανίχνευσης αντικειμένων σε εικόνες. Προτείνεται μια νέα Μπεϋζιανή τεχνική για την εξαγωγή χαρακτηριστικών, με στόχο τη δημιουργία ευρύτερων περιγραφών εικόνων που μπορούν να αξιοποιηθούν για βελτιωμένα αποτελέσματα. Στη συνέχεια, η διατριβή εστιάζει στην εφαρμογή της Μπεϋζιανής ανάλυσης σε νευρωνικά δίκτυα με παραμετρους υψηλής διαστασης, προτείνοντας τεχνικές που υπερβαίνουν αυτό το πρόβλημα ορίζοντας έναν εναλλακτικό χαμηλής διαστασης χώρο στον οποίο εφαρμόζεται η πιθανολογική ανάλυση. Η διατριβή ολοκληρώνεται με την πρόταση μιας νέας μεθόδου για την αποτελεσματική μοντελοποίηση των συσχετίσεων μεταξύ των βαρών ενός νευρωνικού δικτύου. Η προτεινόμενη μέθοδος παρουσιάζει σημαντικά μειωμένο υπολογιστικό κόστος σε σύγκριση με εναλλακτικές προσεγγίσεις. Η διατριβή αυτή υποστηρίζει ότι οι Μπεϋζιανές μέθοδοι αποτελούν όχι μόνο μια αξιόπιστη εναλλακτική λύση εκπαίδευσης για σύγχρονα νευρωνικά δίκτυα με πολλές παραμέτρους, αλλά και μια αποδοτική λύση, η οποία μπορεί να έχει χαμηλό υπολογιστικό κόστος.