Βέλτιστες μονότονες πολιτικές σε προβλήματα ελέγχου στοχαστικών διαδικασιών

Abstract

Στην παρούσα διατριβή μελετώνται διάφορα προβλήματα βέλτιστου ελέγχου στοχαστικών διαδικασιών τα οποία μπορούν να περιγραφούν με κατάλληλα Μαρκοβιανά ή ημι-Μαρκοβιανά μοντέλα αποφάσεων. Τα προβλήματα σχετίζονται με το βέλτιστο έλεγχο μιας διδιάστατης επιδημικής διαδικασίας, με τη βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής, με τη βέλτιστη επισκευή ή αντικατάσταση ενός μηχανήματος και με το βέλτιστο έλεγχο ενός πληθυσμού παρασίτων. Ο κύριος στόχος είναι η εύρεση της πολιτικής η οποία, για κάθε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί τη μέση τιμή μιας προκαθορισμένης συνάρτησης του μελλοντικού κόστους. Σε μερικά προβλήματα αποδεικνύουμε ότι η βέλτιστη πολιτική είναι μονότονη, δηλαδή θέτει σε λειτουργία το μηχανισμό ελέγχου της διαδικασίας αν και μόνο αν η κατάσταση της διαδικασίας (π.χ. αριθμός φορέων μιας ασθένειας, βαθμός επιδείνωσης ή ηλικία ενός μηχανήματος, πληθυσμιακό μέγεθος παρασίτων) είναι ίση ή υπερβαίνει μία κρίσιμη τιμή. Σε κάποιες περιπτώσεις είναι δυνατόν να βρεθεί η βέλτιστη κρίσιμη τιμή. Σε άλλα προβλήματα κατασκευάζουμε κατάλληλους αλγορίθμους οι οποίοι αποσκοπούν στην εύρεση της βέλτιστης πολιτικής. Σε ορισμένες περιπτώσεις αποδεικνύουμε ότι ο αλγόριθμος συγκλίνει στη βέλτιστη πολιτική ενώ σε άλλες περιπτώσεις υπάρχουν ισχυρές αριθμητικές ενδείξεις ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι βέλτιστη.