Μη γραμμικές μέθοδοι σε πολυκριτηριακά προβλήματα βελτιστοποίησης υδατικών πόρων, με έμφαση στη βαθμονόμηση υδρολογικών μοντέλων

Abstract

This thesis entitled “Non-linear methods in multiobjective water resource optimization problems, with emphasis on the calibration of hydrological models”, attempts a comprehensive overview of multicriteria optimization, which covers both the computational part (review and development of algorithms) and the application of related approaches in water resources science and technology. Regarding the latter, emphasis is given to one of the most challenging problems, namely the estimation of parameters of complex hydrological model, through using multiple fitting criteria. Various aspects of the problem are studied, from the model configuration (schematization, parameterization) to the strategy of selecting the best-compromise parameter set. First we investigate the simple structure of the optimization problem, concerning non-convex scalar functions. We focus on global search techniques, for which we formulate a framework of algorithmic specifications (robustness, fairness, generality, effectiveness, efficiency, guaranteed convergence, convenience). On the above basis, we evaluate the existing methods, some of them inspired by relevant natural (e.g. simulated annealing) and biological processes (e.g. genetic algorithms). The manipulation of the problem differs radically when multiple criteria are to be taken into account, which are either contradictory or non-commensurable. The background of this approach is the concept of dominance, implying the existence of multiple alternatives that are optimal, from a mathematical point-of-view, thus formulating the so-called Pareto front in the evaluation space. As moving across the front, it is impossible to ameliorate one criterion without deteriorating at least one other. Within the dissertation, we investigate, in detail, the history of multicriteria optimization methods. Actual advances are carried out as variations of genetic algorithms, aiming to produce a pre-specified number of non-inferior solutions that describe representatively the Pareto front. A major contribution is the development of evolutionary annealing-simplex schemes, the structure of which was adapted to the peculiarities of non-linear optimization, scalar and vector. The former is handled through a combined strategy, adopting an evolving scheme, i.e. an initial population of random points that converge to an opportune extreme of the objective function. The generating procedures are based on a generalization of the well-known downhill simplex pattern, the vertices of which are randomly picked from the actual population at each generation. Moreover, the vertex to be replaced is selected according to a modified objective function, where a random variable is added to its original value, which is proportional to the current "temperature” (the term derives from simulated annealing, implying a controller of randomness through the selection procedure). To produce new points, apart from the typical geometrical transformations, we enhanced the simplex movements and incorporated stochastic terms, to ensure more flexibility in rough response surfaces. The above strategy is kept, with some modifications, within the optimization of vector functions, which are manipulated via the multiobjective evolutionary annealing-simplex algorithm (MEAS). The main difference involves the evaluation phase, implemented on the basis of a complex measure that comprises four terms: • an integer rank measure that evaluates the relative performance of each point, on the basis of the number of dominating and dominated individuals; • a rank measure that allows to compare indifferent solutions, accounting for the average number of criteria by which one point predominates another (this term has sense for problems of three or more criteria); • a penalty term depending on the density of population in the vicinity of each individual, namely the percentage of population sharing the same niche; • a feasibility term, to penalize solutions that are located out of the desirable criteria bounds. Aggregating the above measures, an artificial response surface is created, which has exceptionally large variety of values and is reformed during each generation. Through appropriate parameters we ensure automatic control of the annealing cooling schedule, thus allowing enough but not extravagant randomness within evolution. The performance of the MEAS method is evaluated against a number of representative problems and compared to two typical delegates from the second (non-dominated sorting genetic algorithm, NSGA) and third (strength Pareto evolutionary algorithm, SPEA) generation of multiobjective evolutionary algorithms. The first group of tests refers to 11 two-criterion functions, taken from the literature, that differ regarding the number of control variables and the geometry of the Pareto front. In all problems, the MEAS method proved very effective, regarding both the accuracy and the speed of approximating the front. The tests are followed by an application from stochastic hydrology, i.e. decomposition of covariance matrices within the estimation of parameters of multivariable models, where we wish to simultaneously minimize two metrics: (a) departures between the simulated and sample covariances, and (b) maximum skewness of white noise variables. The application involves the parameters of a periodic, first-order autocorrelation scheme with 8 variables, corresponding to runoff and rainfall variables in the reservoirs of Athens. We inspect a particular feature of the method, the incorporation of feasibility constraints in the evaluation space, which ensures a better insight in the problem, involving extremely large trade-offs. Multicriteria optimization is suitable for applications regarding the design and analysis of complex systems, such as water resource ones. In the dissertation we examine, synoptically, three categories of technological problems (reservoir management, aquifer pollution control, design and rehabilitation of water supply networks), while we thoroughly review a specific category of applications, referring to the estimation of hydrological model parameters via calibration. The classic automatic calibration procedure aims to fit the simulated responses to a sample of field observations, assuming an overall performance criterion that corresponds to the objective function of a global optimization problem. We confirm that this approach fails to ensure adequate predictive capacity of the model, due to a number of uncertainties that interact in a chaotic manner. Some of them are inherent (e.g. data errors), whereas other may be controlled and constrained within the model formulation (e.g. parameterization). Uncertainty is associated with the equifinality concept, which in practice denotes that models of different structures or different parameter values can generate equivalently acceptable responses. Finally, we propose a framework for handling hydrological models, involving: • a set of principles that ensure consistent schematization and parameterization; • guidances for taking advantage of non-systematic measurements and the hydrological experience, within a multicriteria approach, aiming to an interpretation of complex models parameters, which have, necessarily, large number of degrees of freedom; • hybrid calibration strategies, combining human experience and automatic optimization tools, in order to generate realistic (regarding their physical background) parameters, ensuring satisfactory predictive capacity. The above principles are applied to the Boeoticos Kephissos hydrosystem, characterized by significant peculiarities regarding both the natural regime and the management of water resources. The representation of hydrological and anthropogenic processes is employed through the HYDROGEIOS model, modules of which were developed in the framework of the thesis. We explain the philosophy of schematization and parameterization, the generation of input data, geographical and hydrological, and the formulation of criteria. The latter refer to typical statistical and empirical measures, which ensure better control of the measured responses (reproduction of flow intermittencies) as well as reliable representation of responses that are not controlled via measurements (groundwater regime). The model is fitted during 1984-1994, on the basis of monthly discharge samples in the basin outlet and sporadic flow measurements downstream of six major karst springs. The calibration problem involves 100 parameters and 40 criteria, and is handled through a two-phase procedure. Initially, we formulate a global performance measure and adopt a hybrid, semi-automatic strategy, by grouping parameters and gradually optimizing them. After exhaustive attempt, we locate a solution that ensures satisfactory performance during the calibration and validation period, regarding all hydrographs, and reasonable parameter values. Following, we solve, via the MEAS method, six multicriteria problems, assuming the most important parameters. Each problem involves different number of criteria (two to seven), introducing or not feasibility constraints. Within the analysis we investigate the trade-offs between criteria and the uncertainty range of parameters, and we attempt to explain the irregular geometries of Pareto fronts. At last, we establish a non-inferior solution, which ensures better performance during the validation period (1990-1994), if compared to the one achieved via hybrid calibration. Moreover, the model predictive capacity is checked for an extended horizon (1907-2003) that is more than 15 times the calibration period. Despite the obscurities due to the approximate estimation of input data for such a horizon, the model performance is considered very satisfactory. Having as criterion the operational requirements of the case study, we assumed as best-compromise the parameter set derived from the multicriteria analyses, which confirms the practical value of the proposed approach, seeking for opportune solutions in particularly complex calibration problems.

Επιχειρείται μια ολοκληρωμένη προσέγγιση του αντικειμένου της πολυκριτηριακής βελτιστοποίησης, τόσο ως προς το μαθηματικό-υπολογιστικό του σκέλος (επισκόπηση και ανάπτυξη αλγορίθμων) όσο και το πρακτικό σκέλος, που αφορά στην εφαρμογή τέτοιων προσεγγίσεων στην επιστήμη και τεχνολογία υδατικών πόρων. Ως προς το τελευταίο, η έμφαση δίνεται σε ένα από τα πλέον απαιτητικά προβλήματα, ήτοι στην εκτίμηση των παραμέτρων σύνθετων υδρολογικών μοντέλων, με χρήση πολλαπλών κριτηρίων προσαρμογής. Το πρόβλημα εξετάζεται ως προς διάφορες πτυχές του, από τη διαμόρφωση του μοντέλου (σχηματοποίηση, παραμετροποίηση) μέχρι τη διαδικασία βαθμονόμησης και την στρατηγική επιλογής της καλύτερα συμβιβαστικής λύσης. Η διερεύνηση ξεκινά από την απλή δομή του προβλήματος βελτιστοποίησης, που αφορά σε μη κυρτές βαθμωτές συναρτήσεις. Το ενδιαφέρον εστιάζεται στις τεχνικές ολικής αναζήτησης, για τις οποίες διατυπώνεται ένα πλαίσιο αλγοριθμικών απαιτήσεων (ευρωστία, αμεροληψία, γενικότητα, αποτελεσματικότητα, αποδοτικότητα, εγγυημένη σύγκλιση, ευκολία στη χρήση). Με βάση αυτό, αξιολογούνται οι υφιστάμενες μέθοδοι, αρκετές από τις οποίες εμπνέονται από συναφείς φυσικές (π.χ. προσομοιωμένη ανόπτηση) και βιολογικές διεργασίες (π.χ. γενετικοί αλγόριθμοι). Ο χειρισμός του προβλήματος διαφοροποιείται ριζικά εφόσον λαμβάνονται υπόψη περισσότερα του ενός κριτήρια, που είναι μεταξύ τους ανταγωνιστικά ή δεν αποτιμώνται σε κοινή μονάδα μέτρησης. Το υπόβαθρο μιας τέτοιας προσέγγισης είναι η έννοια της κυριαρχίας, που συνεπάγεται την ύπαρξη πολλαπλών εναλλακτικών λύσεων που είναι από μαθηματική οπτική βέλτιστες, διαμορφώνοντας το λεγόμενο μέτωπο Pareto στο πεδίο αποτίμησης. Μετακινούμενοι στην επιφάνεια του μετώπου, δεν είναι δυνατή η βελτίωση ενός κριτηρίου χωρίς την επιδείνωση ενός τουλάχιστον άλλου. Στα πλαίσια της εργασίας εξετάζεται με λεπτομέρεια το ιστορικό των μεθόδων πολυκριτηριακής βελτιστοποίησης. Οι πλέον σύγχρονες προσεγγίσεις υλοποιούνται ως παραλλαγές των εξελικτικών αλγορίθμων, αποσκοπώντας στην παραγωγή ενός προκαθορισμένου πλήθους μη κατωτέρων λύσεων, που περιγράφουν όσον το δυνατό πιο αντιπροσωπευτικά το μέτωπο Pareto. Κύρια συμβολή είναι η ανάπτυξη εξελικτικών σχημάτων ανόπτησης-απλόκου (annealing-simplex), η δομή των οποίων προσαρμόστηκε στις ιδιαιτερότητες της μη γραμμικής βελτιστοποίησης, βαθμωτής ή διανυσματικής. Η πρώτη περίπτωση αντιμετωπίζεται μέσω μιας συνδυαστικής στρατηγικής, όπου υιοθετείται ένα εξελικτικό σχήμα, ήτοι ένας αρχικός πληθυσμός τυχαίων σημείων, που συγκλίνουν σε ένα πρόσφορο ακρότατο της συνάρτησης. Οι παραγωγικές διαδικασίες έχουν ως υπόβαθρο μια γενίκευση του γνωστού σχήματος κατερχόμενου απλόκου, οι κορυφές του οποίου επιλέγονται τυχαία από τον υφιστάμενο πληθυσμό σε κάθε γενιά. Η προς αντικατάσταση κορυφή επιλέγεται στη βάση μιας τροποποιημένης στοχικής συνάρτησης, όπου στην πραγματική τιμή της προστίθεται μια τυχαία μεταβλητή, που είναι ανάλογη της τρέχουσας «θερμοκρασίας» (ο όρος προέρχεται από την προσομοιωμένη ανόπτηση, υποδηλώνοντας ένα ρυθμιστή της τυχαιότητας των διαδικασιών επιλογής). Για τη γέννηση νέων σημείων, πέρα από τους τυπικούς γεωμετρικούς μετασχηματισμούς, εμπλουτίζονται οι κινήσεις του απλόκου και ενσωματώνονται στοχαστικοί όροι, που εξασφαλίζουν ευελιξία στις τραχείες επιφάνειας απόκρισης. Η παραπάνω στρατηγική αναζήτησης διατηρείται, με ορισμένες τροποποιήσεις, στη βελτιστοποίηση διανυσματικών συναρτήσεων, ο χειρισμός των οποίων γίνεται μέσω του πολυκριτηριακού εξελικτικού αλγορίθμου ανόπτησης-απλόκου (multiobjective evolutionary annealing-simplex, MEAS). Η διαφορά έγκειται, κυρίως, στη διαδικασία αποτίμησης, με την οποία διαμορφώνεται ένα σύνθετο μέτρο που περιλαμβάνει τέσσερις όρους: • έναν ακέραιο βαθμό τάξης, που αποτιμά τη σχετική επίδοση κάθε σημείου με βάση τον αριθμό των ατόμων επί των οποίων κυριαρχεί και τον αριθμό των ατόμων ως προς τα οποία κυριαρχείται • έναν βαθμό τάξης που επιτρέπει τη σύγκριση ενός σημείου σε σχέση με αδιάφορες, ως προς αυτό, λύσεις, με βάση τον μέσο αριθμό κριτηρίων ως προς τα οποία υπερτερεί (ο όρος αυτός έχει νόημα σε προβλήματα τριών ή περισσότερων κριτηρίων) • έναν όρο ποινής, που εξαρτάται από την πυκνότητα του πληθυσμού στη γειτονιά κάθε σημείου, δηλαδή το ποσοστό των λύσεων που ανήκουν σε κοινούς θύλακες • έναν όρο εφικτότητας, με τον οποίο εισάγεται ποινή στην περίπτωση που κάποια λύση βρίσκεται εκτός του επιθυμητού εύρους διακύμανσης των τιμών των κριτηρίων. Με συνάθροιση των παραπάνω προκύπτει μια τεχνητή επιφάνεια απόκρισης, με εξαιρετικά μεγάλη ποικιλία τιμών, η οποία αναδιαμορφώνεται σε κάθε γενιά. Με εισαγωγή κατάλληλων παραμέτρων, εξασφαλίζεται αυτόματη προσαρμογή του χρονοδιαγράμματος ανόπτησης, ώστε να διατηρείται ικανή αλλά όχι υπερβολική τυχαιότητα κατά την εξελικτική διαδικασία. Η επίδοση της μεθόδου MEAS αξιολογείται ως προς ένα πλήθος αντιπροσωπευτικών προβλημάτων και συγκρίνεται ως προς δύο τυπικές εκπροσώπους της δεύτερης (non-dominated sorting genetic algorithm, NSGA) και τρίτης (strength Pareto evolutionary algorithm, SPEA) γενιάς πολυκριτηριακών εξελικτικών αλγορίθμων. Το πρώτο στάδιο ελέγχων έχει ως βάση 11 βιβλιογραφικές συναρτήσεις δύο κριτηρίων, που διαφοροποιούνται ως προς τον αριθμό των μεταβλητών ελέγχου και τη γεωμετρία του μετώπου Pareto. Σε όλα τα προβλήματα, η μέθοδος MEAS αποδεικνύεται εξαιρετικά αποτελεσματική, τόσο ως προς την ακρίβεια όσο και ως προς την ταχύτητα προσέγγισης του μετώπου. Ακολουθεί μια εφαρμογή στοχαστικής υδρολογίας, η αποσύνθεση των μητρώων συνδιασπορών κατά την εκτίμηση των παραμέτρων πολυμεταβλητών μοντέλων, όπου επιδιώκεται η ταυτόχρονη ελαχιστοποίηση δύο μέτρων: (α) απόκλιση προσομοιωμένων από δειγματικές συνδιασπορές, και (β) μέγιστη ασυμμετρία παραγόμενου λευκού θορύβου. Η εφαρμογή αφορά στις παραμέτρους ενός περιοδικού σχήματος αυτοπαλινδρόμησης πρώτης τάξης 8 μεταβλητών, που αναφέρονται στις μεταβλητές απορροής και βροχόπτωσης των ταμιευτήρων της Αθήνας. Διερευνάται μια ιδιαίτερη πτυχή της μεθόδου, ήτοι η ενσωμάτωση περιορισμών εφικτότητας στο πεδίο αποτίμησης, με την οποία εξασφαλίζεται καλύτερη εποπτεία του προβλήματος, για ένα τέτοιο μεγάλο εύρος ανταγωνιστικότητας των κριτηρίων. Η πολυκριτηριακή βελτιστοποίηση είναι κατάλληλη για προβλήματα σχεδιασμού και ανάλυσης πολύπλοκων συστημάτων, όπως των υδατικών πόρων. Εξετάζονται, συνοπτικά, τρεις κατηγορίες τεχνολογικών προβλημάτων (διαχείριση ταμιευτήρων, έλεγχος ποιότητας υδροφορέων, σχεδιασμός και αποκατάσταση δικτύων ύδρευσης), ενώ διερευνάται ενδελεχώς μια ειδική κατηγορία εφαρμογών, που αναφέρεται στην εκτίμηση των παραμέτρων υδρολογικών μοντέλων μέσω βαθμονόμησης. Η κλασική διαδικασία αυτόματης βαθμονόμησης αποσκοπεί στην προσαρμογή των προσομοιωμένων αποκρίσεων σε ένα δείγμα παρατηρήσεων πεδίου, με βάση ένα καθολικό κριτήριο επίδοσης, που αντιστοιχεί στη στοχική συνάρτηση ενός προβλήματος ολικής βελτιστοποίησης. Καταδεικνύεται ότι μια τέτοια προσέγγιση δεν εξασφαλίζει επαρκή προγνωστική ικανότητα του μοντέλου, γεγονός που οφείλεται σε ένα πλήθος αβεβαιοτήτων που αλληλεπιδρούν κατά τρόπο ανεξέλεγκτο. Ορισμένες είναι εγγενείς (π.χ. σφάλματα δεδομένων), άλλες όμως μπορούν να ελεγχθούν και να περιοριστούν κατά τη διατύπωση του μοντέλου (π.χ. παραμετροποίηση). Η αβεβαιότητα συνδέεται με την έννοια της ισοδυναμίας (equifinality), που στην πράξη υποδηλώνει ότι μοντέλα διαφορετικής δομής ή με διαφορετικές τιμές παραμέτρων μπορούν να παράξουν αποδεκτές αποκρίσεις. Τελικά, προτείνεται ένα πλαίσιο για το χειρισμό υδρολογικών μοντέλων, που περιλαμβάνει: • ένα πλέγμα αρχών που εξασφαλίζουν συνεπή σχηματοποίηση και παραμετροποίηση • κατευθύνσεις αξιοποίησης των μη συστηματικών μετρήσεων και της υδρολογικής εμπειρίας, στα πλαίσια μιας πολυκριτηριακής προσέγγισης, η οποία αποσκοπεί στην ερμηνεία των παραμέτρων σύνθετων μοντέλων με αναγκαστικά μεγάλο πλήθος βαθμών ελευθερίας • στρατηγικές υβριδικής βαθμονόμησης, που συνδυάζουν την ανθρώπινη εμπειρία και τη χρήση αυτοματοποιημένων εργαλείων βελτιστοποίησης, με σκοπό την παραγωγή ρεαλιστικών (ως προς το φυσικό υπόβαθρο) παραμέτρων, που εξασφαλίζουν ικανοποιητική προγνωστική ικανότητα. Οι παραπάνω αρχές εφαρμόζονται στο υδροσύστημα του Βοιωτικού Κηφισού, που χαρακτηρίζεται από σημαντικές ιδιαιτερότητες όσον αφορά στο φυσικό του καθεστώς και στη διαχείριση των υδατικών πόρων. Η αναπαράσταση των υδρολογικών και ανθρωπογενών διεργασιών γίνεται με το μοντέλο ΥΔΡΟΓΕΙΟΣ, συνιστώσες του οποίου αναπτύχθηκαν στα πλαίσια της διατριβής. Εξηγούνται η φιλοσοφία της σχηματοποίησης και παραμετροποίησης, η κατασκευή των δεδομένων εισόδου, γεωγραφικών και υδρολογικών, και η διατύπωση των κριτηρίων ελέγχου. Αυτά αφορούν σε τυπικά στατιστικά μέτρα προσαρμογής και σε εμπειρικά μέτρα, που επιτρέπουν καλύτερο έλεγχο των μετρημένων αποκρίσεων (έλεγχος στείρευσης της παροχής) και εξασφαλίζουν συνεπή αναπαράσταση αποκρίσεων που δεν ελέγχονται μέσω μετρήσεων (δίαιτα υπόγειου νερού). Η προσαρμογή του μοντέλου γίνεται για την περίοδο 1984-1994, με βάση το μηνιαίο δείγμα παροχής στην έξοδο της λεκάνης και σποραδικές υδρομετρήσεις κατάντη έξι κύριων καρστικών πηγών της. Το πρόβλημα βαθμονόμησης περιλαμβάνει 100 παραμέτρους και 40 κριτήρια και αντιμετωπίζεται σε δύο φάσεις. Αρχικά, διατυπώνεται ένα καθολικό μέτρο προσαρμογής και υιοθετείται μια υβριδική ημιαυτόματη στρατηγική, με σταδιακή βελτιστοποίηση των παραμέτρων κατά ομάδες. Μετά από επίπονη προσπάθεια, εντοπίζεται μια λύση που εξασφαλίζει ικανοποιητική επίδοση τόσο κατά την περίοδο βαθμονόμησης όσο και κατά την περίοδο επαλήθευσης, για όλα τα υδρογραφήματα, με ευλογοφανείς τιμές παραμέτρων. Στη συνέχεια, επιλύονται, με τη μέθοδο MEAS, έξι πολυκριτηριακά προβλήματα, θεωρώντας τις πιο σημαντικές παραμέτρους. Σε κάθε πρόβλημα χρησιμοποιείται διαφορετικός αριθμός κριτηρίων (από δύο έως επτά), με εισαγωγή ή όχι περιορισμών εφικτότητας. Στα πλαίσια των αναλύσεων διερευνώνται οι ανταγωνισμοί των κριτηρίων και το εύρος αβεβαιότητας των παραμέτρων, ενώ επιχειρείται ερμηνεία των μη ομαλών γεωμετριών των μετώπων Pareto. Τέλος, εντοπίζεται μια μη κατώτερη λύση, που εξασφαλίζει καλύτερη επίδοση σε σχέση με τη λύση της υβριδικής βαθμονόμησης, κατά την περίοδο επαλήθευσης (1990-1994). Επιπλέον, η προγνωστική ικανότητα του μοντέλου ελέγχεται για μια εκτενή περίοδο (1907-2003), που είναι υπερδεκαπενταπλάσια της περιόδου βαθμονόμησης. Παρά τις ασάφειες που οφείλονται στην προσεγγιστική κατασκευή των δεδομένων εισόδου για τόσο μεγάλο χρονικό ορίζοντα, η επίδοση του μοντέλου κρίνεται πολύ ικανοποιητική. Με κριτήριο τις διαχειριστικές απαιτήσεις της εφαρμογής, επιλέγεται ως καλύτερα συμβιβαστικό το σύνολο παραμέτρων που προέκυψε από τις πολυκριτηριακές αναλύσεις, γεγονός που τεκμηριώνει την πρακτική χρησιμότητα της προτεινόμενης προσέγγισης, για την εύρεση πρόσφορων λύσεων σε εξαιρετικά σύνθετα προβλήματα βαθμονόμησης.