Το νευρωνικό δίκτυο προσήμου για προβλήματα ελαχίστου χωρίς περιορισμούς

Abstract

In this Thesis, the sign dynamical system for unconstrained minimization of a continuously differentiable function f is examined. This dynamical system has a discontinuous right hand side and, in this Thesis, it is interpreted here as a reccurent neural network which we name the Sign Neural Network. By using Filippov’s approach, we first prove asymptotic convergence of the Sign Neural Network. Also, finite-time convergence of the solutions is established and an improved upper bound for convergence time is given. A first contribution of this Thesis is a detailed calculation of Filippov’s set-valued map for the Sign Neural Network in the general case, i.e. without any restrictive assumptions on the function f to be minimized. Convergence of the solutions to stationary points of f follows by using standard results, i.e. a generalized version of LaSalle’s invariance principle. Next, in order to prove finite-time convergence of solutions, the applicability of standard results is extended so that they can be applied to the Sign Neural Network. Finally, while establishing finite-time convergence, a novel proving procedure is introduced which (i) allows for milder assumptions to be made on the function f , and (ii) results in an improved upper bound for the convergence time. Numerical experiments confirm both the effectiveness and finite-time convergence of the Sign Neural Network.

Στην παρούσα Διατριβή εξετάζεται το δυναμικό σύστημα προσήμου για την επίλυση προβλημάτων ελαχιστοποίησης μιας συνεχώς διαφορίσιμης συνάρτησης f χωρίς περιορισμούς. Αυτό το δυναμικό σύστημα περιγράφεται από διαφορικές εξισώσεις με ασυνεχές δεξιό μέλος και, στην παρούσα Διατριβή, θεωρείται σαν αναδρομικού τύπου νευρωνικό δίκτυο το οποίο ονομάζουμε Νευρωνικό Δίκτυο Προσήμου. Αποδεικνύουμε πρώτα ότι οι λύσεις του Νευρωνικού Δικτύου Προσήμου συγκλίνουν ασυμπτωτικά, κάνοντας χρήση της θεωρίας Filippov, και στη συνέχεια ότι συγκλίνουν σε πεπερασμένο χρόνο. Εξάγεται ένα βελτιωμένο άνω φράγμα για τον χρόνο σύγκλισης.Μία πρώτη συνεισφορά της παρούσης Διατριβής είναι ο λεπτομερής υπολογισμός της απεικόνισης Filippov για το Νευρωνικό Δίκτυο Προσήμου στην γενική περίπτωση, δηλαδή χωρίς περιοριστικές υποθέσεις για την συνάρτηση f που ελαχιστοποιείται. Η σύγκλιση των λύσεων του Νευρωνικού Δικτύου Προσήμου σε στάσιμα σημεία της f αποδεικνύεται χρησιμοποιώντας τα συνήθη αποτελέσματα, δηλαδή μια γενικευμένη μορφή του θεωρήματος LaSalle. Στη συνέχεια, προκειμένου να αποδειχθεί η σύγκλιση πεπερασμένου χρόνου, επεκτείνονται τα γνωστά σχετικά αποτελέσματα έτσι ώστε να μπορούν να εφαρμοσθούν στο Νευρωνικό Δίκτυο Προσήμου. Τέλος προτείνεται μια πρωτότυπη αποδεικτική διαδικασία για την απόδειξη σύγκλισης πεπερασμένου χρόνου η οποία (i) χαλαρώνει τις απαιτούμενες υποθέσεις για την συνάρτηση f, και (ii) βελτιώνει το άνω φράγμα για τον χρόνο σύγκλισης.Τα αποτελέσματα αριθμητικών πειραμάτων επιβεβαιώνουν τόσο την αποτελεσματικότητα όσο και την σύγκλιση πεπερασμένου χρόνου του Νευρωνικού Δικτύου Προσήμου.