Ανάπτυξη και θεμελίωση νέων μεθόδων υπολογιστικών μαθηματικών στην υπολογιστική νοημοσύνη

Abstract

Two very important scientific fields, Computational Intelligence and Computational Mathematics, are useful for addressing efficiently and effectively complex real-world problems. A variety of methods and techniques have been developed based on the two aforementioned scientific fields, detaching the attention of the scientific community. It is often observed algorithms and techniques, which are adapted to a particular problem without being able to respond equally well to other, similar problems. The 'collaboration' of the two abovementioned disciplines can provide mathematical algorithms in order to reliably deal with a plethora of problems. The algorithms and the models that are included in the field of Computational Intelligence and are based on Computational Mathematics (Numerical Solution of Ordinary Differential Equations) are an important part of this thesis. Computational Intelligence as a new scientific field, describes computational methods that are inspired by nature and biological systems and can combine scientific fields, such as Computational Mathematics and Computer Science, and it has several extensions and applications in almost all science. Many and varied applications affecting several areas of research and technology arise or can be addressed as Optimization problems. Several methods of Computational Intelligence refer to a special class of optimization methods that involves the study and the creation of computational methods that effectively deal with difficult problems of real-world. These methods are very important as they approach optimization problems without limitations, which are more common in most problems. Nevertheless, due to the amount of applications, and in particular the development of new technologies, new problems that require solution and are related to different kinds of optimization, such as multi-objective or constrained optimization, have been arised. To handle these difficult problems, Computational Intelligence methods are used, and in particular techniques and algorithms belonging to the field of Machine Learning and Artificial Neural Networks. In the context of the above collaborative approach, it is necessary to study the prerequisites of these algorithms. Thus, before applying these techniques, it is necessary to prepare and preprocess the available data set in order to create reliable models with good performance and good generalization ability. Then, these methods can be applied to tackle problems in several fields, such as engineering, physics, biology, mathematics, medicine, computer science, industry, music, economics, cryptography etc.Modern literature presents a huge number of algorithms and techniques related to the above directions. However, the majority of them are related to a specific framework that is tailored to the needs of the problem. The algorithms are usually limited to statistical models and parameters that satisfy a particular problem, thus excluding the successful application to any other problem or even to the same problem with different needs. A reliable solution to this major problem is provided by the development of algorithms with mathematical foundation and mathematical proof. An algorithm with a strong mathematical background can be used in many applications with greater success. Towards this direction is based our thesis, that is the mathematical foundation of algorithmic techniques, which will address as many problems as possible and thus, will fill the existing gaps in the literature concerning Computational Intelligence and Computational Mathematics. We believe and expect that the results of our thesis will contribute to the creation of reliable methods that may, among the others, enable scientists in other scientific fields to reliably deal with large-scale and complex problems that often occur in many scientific, industrial and financial fields with obvious benefits.

Δύο πολύ σημαντικά επιστημονικά πεδία, αυτά της Υπολογιστικής Νοημοσύνης και των Υπολογιστικών Μαθηματικών, ενδείκνυνται για την αποτελεσματική και αποδοτική αντιμετώπιση σύνθετων προβλημάτων του πραγματικού κόσμου. Ένα ευρύ φάσμα μεθόδων και τεχνικών, έχει αναπτυχθεί με βάση τα δύο προαναφερθέντα επιστημονικά πεδία, συγκεντρώνοντας την προσοχή της επιστημονικής κοινότητας. Αυτό που παρατηρείται συχνά είναι αλγόριθμοι και τεχνικές, που είναι προσαρμοσμένες σε ένα συγκεκριμένο πρόβλημα, δίχως να είναι σε θέση να ανταποκριθούν το ίδιο καλά σε άλλα, παρόμοια προβλήματα. Η "συνεργασία" των δύο παραπάνω επιστημονικών τομέων δύναται να παράσχει αλγορίθμους με μαθηματική θεμελίωση για την αξιόπιστη αντιμετώπιση μιας πληθώρας συγγενικών προβλημάτων. Οι αλγόριθμοι και τα μοντέλα που συναντώνται στον τομέα της Υπολογιστικής Νοημοσύνης και έχουν τις βάσεις τους σε μεθόδους των Υπολογιστικών Μαθηματικών (Αριθμητικής Επίλυσης Συνήθων Διαφορικών Εξισώσεων), αποτελούν ένα σημαντικό μέρος αυτής της διατριβής. Η Υπολογιστική Νοημοσύνη, σαν νέος επιστημονικός κλάδος, περιγράφει υπολογιστικές μεθόδους που εμπνέονται από φυσικά και βιολογικά συστήματα και δύναται να συνδυάσει επιστημονικούς τομείς, όπως τα Υπολογιστικά Μαθηματικά και την Επιστήμη των Υπολογιστών, με αρκετές επεκτάσεις και εφαρμογές σχεδόν σε όλους τους τομείς των θετικών επιστημών και όχι μόνο. Πολλές και διαφορετικές εφαρμογές που άπτονται σε αρκετούς τομείς της έρευνας και της τεχνολογίας εμφανίζονται ή μπορούν να αντιμετωπιστούν ως προβλήματα Βελτιστοποίησης. Αρκετές μέθοδοι της Υπολογιστικής Νοημοσύνης αναφέρονται σε μια ειδική κλάση μεθόδων βελτιστοποίησης που περιλαμβάνει τη μελέτη και τη θεμελίωση υπολογιστικών μεθόδων, οι οποίες αντιμετωπίζουν αποτελεσματικά, δύσκολα προβλήματα του φυσικού κόσμου. Οι μέθοδοι αυτοί είναι πολύ σημαντικές, καθώς προσεγγίζουν προβλήματα Βελτιστοποίησης χωρίς περιορισμούς, κάτι που συναντάται συχνότερα στα περισσότερα προβλήματα της τεχνολογίας. Ακόμα, λόγω του εύρους των εφαρμογών, και κυρίως της ανάπτυξης νέων τεχνολογιών, έχουν αναπτυχθεί προβλήματα που επιζητούν λύση και άπτονται σε διαφορετικά είδη Βελτιστοποίησης, όπως η πολυ-αντικειμενική ή Βελτιστοποίηση με περιορισμούς. Για τον χειρισμό αυτών των δύσκολων προβλημάτων, χρησιμοποιούνται μέθοδοι της Υπολογιστικής Νοημοσύνης και συγκεκριμένα, τεχνικές και αλγόριθμοι που ανήκουν στον τομέα της Μηχανικής Μάθησης και των Τεχνητών Νευρωνικών Δικτύων. Στα πλαίσια της παραπάνω συνεργατικής αντιμετώπισης, είναι απαραίτητη η μελέτη των προαπαιτούμενων αυτών των αλγορίθμων. Έτσι, πριν την εφαρμογή αυτών των τεχνικών, είναι αναγκαία η προεργασία και προετοιμασία του διαθέσιμου συνόλου δεδομένων, προκειμένου να δημιουργηθούν αξιόπιστα μοντέλα, με καλή απόδοση και καλή ικανότητα γενίκευσης. Κατόπιν, αυτές οι μέθοδοι μπορούν να εφαρμοστούν και να αντιμετωπίσουν προβλήματα που άπτονται σε αρκετούς τομείς της επιστήμης, όπως η μηχανική, η φυσική, η βιολογία, τα μαθηματικά, η ιατρική, η επιστήμη των υπολογιστών, η βιομηχανία, η μουσική, η οικονομία, η κρυπτογραφία κ.ά. Στη σύγχρονη βιβλιογραφία, παρουσιάζεται ένα τεράστιο πλήθος αλγορίθμων και τεχνικών που άπτονται στις παραπάνω κατευθύνσεις. Παρόλα αυτά, η πλειοψηφία τους αφορά ένα συγκεκριμένο πλαίσιο, το οποίο είναι προσαρμοσμένο στις ανάγκες του εκάστοτε προβλήματος. Συνήθως περιορίζονται σε στατιστικά μοντέλα και σε παραμέτρους που πληρούν ένα συγκεκριμένο πρόβλημα, αποκλείοντας, έτσι, την επιτυχή εφαρμογή σε οποιοδήποτε άλλο πρόβλημα, ή ακόμα και στο ίδιο πρόβλημα με διαφορετικές ανάγκες. Μια αξιόπιστη λύση σε αυτό το μείζον ζήτημα παρέχεται μέσω της ανάπτυξης αλγορίθμων με μαθηματική θεμελίωση και μαθηματική απόδειξη. Ένας αλγόριθμος με ισχυρό μαθηματικό υπόβαθρο μπορεί να χρησιμοποιηθεί σε περισσότερες εφαρμογές με μεγαλύτερη επιτυχία. Προς αυτή την κατεύθυνση στηρίζεται ο πυρήνας της διδακτορικής διατριβής, δηλαδή στη μαθηματική θεμελίωση αλγοριθμικών τεχνικών, οι οποίες θα απευθύνονται σε μια πλειάδα προβλημάτων, καλύπτοντας, έτσι, υπαρκτά κενά στην επιστημονική βιβλιογραφία ως προς την Υπολογιστική Νοημοσύνη και τα Υπολογιστικά Μαθηματικά. Πιστεύουμε και προσδοκούμε ότι τα αποτελέσματα της διατριβής θα συνεισφέρουν στη δημιουργία αξιόπιστων μεθόδων, οι οποίες, μεταξύ άλλων, θα δώσουν τη δυνατότητα σε επιστήμονες άλλων περιοχών ως προς την αξιόπιστη αντιμετώπιση μεγάλης κλίμακας και πολυπλοκότητας προβλημάτων, τα οποία, συχνά, εμφανίζονται σε πολλούς επιστημονικούς, οικονομικούς, βιομηχανικούς και εμπορικούς τομείς με προφανή οφέλη. Συγκεκριμένα, η διδακτορική διατριβή ξεκινά με μια σύντομη εισαγωγή στο Κεφάλαιο 1, στην οποία ο αναγνώστης συναντά τις βασικές πτυχές της Υπολογιστικής Νοημοσύνης, των Υπολογιστικών Μαθηματικών, καθώς και σημαντικά σημεία της Βελτιστοποίησης και Μηχανικής Μάθησης. Στο Κεφάλαιο 2, παρουσιάζονται πολύ σημαντικά ζητήματα της Μαθηματικής Βελτιστοποίησης και αναλυτικότερα, αποτελέσματα που σχετίζονται με το γνωστό θεώρημα "No free lunch theorems for optimization" αλλά και την πιθανή ύπαρξη "Free lunches". Στο επόμενο κεφάλαιο, ο αναγνώστης συναντά την ανάπτυξη μιας νέας οικογένειας μεθόδων Βελτιστοποίησης, όπως αυτή εμπνεύστηκε από τις δυναμικές τροχιές ανίχνευσης των Snymam-Fatti και τις μεθόδους Runge-Kutta για την αριθμητική επίλυση συνήθων διαφορικών εξισώσεων. Επίσης, ο αγνώστης μπορεί να μελετήσει το προτεινόμενο θεώρημα μέσω του οποίου τεκμηριώνεται αυτή η οικογένεια, όπως και τη σχετική απόδειξη. Το Κεφάλαιο 4 καταπιάνεται με πτυχές της Μηχανικής Μάθησης, και συγκεκριμένα με τα προαπαιτούμενα των αλγορίθμων (προεπεξεργασία των δεδομένων), ώστε αργότερα να μπορούν αυτοί να εφαρμοστούν αποτελεσματικά σε διάφορα προβλήματα, όπως αυτό της ελαχιστοποίησης, της ταξινόμησης κ.ά. Στο κεφάλαιο που ακολουθεί, παρουσιάζεται μια νέα, υβριδική μέθοδος για την αντιμετώπιση του προβλήματος αναγνώρισης ακραίων τιμών σε ένα σύνολο δεδομένων, όπως και οι σχετικές συγκρίσεις αυτής της μεθόδου με γνωστές και ευρέως χρησιμοποιούμενες μεθόδους αυτής της κατηγορίας. Στο Κεφάλαιο 6, αναπτύσσεται μια συνεργατική μέθοδος για την προσέγγιση του προβλήματος ταξινόμησης σε ποικίλα σύνολα δεδομένων, μαζί με τα αντίστοιχα αποτελέσματα και τις συγκρίσεις που διεξήχθησαν. Ακόμα, στο Κεφάλαιο 7, αναλύονται βασικά ζητήματα της πολυ-αντικειμενικής Βελτιστοποίησης, χαρτογραφούνται οι περιοχές εφαρμογής της, όπως και οι αλγόριθμοι Υπολογιστικής Νοημοσύνης, οι οποίοι χρησιμοποιούνται για την προσέγγιση τέτοιων προβλημάτων. Η διδακτορική διατριβή ολοκληρώνεται με το Κεφάλαιο 8, στο οποίο ο αναγνώστης συναντά μια σύνοψη, χρήσιμα συμπεράσματα, όπως και μελλονικές ερευνητικές προσπάθειες.