Photonic neuromorphic processors based on semiconductor lasers' dynamics for reservoir computing and spiking neural networks

Abstract

This doctoral thesis explores the development of photonic neuromorphic processors which aim to address three critical challenges posed by Big Data and Internet of Things: the unprecedented needed processing rates, the requirement for low power consumption and minimal hardware. At first, bio-inspired primitives such as Artificial neural networks were chosen to tackle these challenges. However, the simultaneous pursuit of two fundamental but conflicting objectives compromised their efficiency as it was imperative to increase the number of neurons-nodes and synapses-connections and to reduce the network complexity and power consumption simultaneously. In this context, neuromorphic computing schemes aimed to mitigate power consumption but still struggle to address the connectivity and scalability challenges of large-scale networks. Time Delay Networks (TDNs) offer a solution to this impediment by multiplexing neurons and synapses in the temporal domain, thus minimizing hardware requirements. However, they suffer from significant speed penalties, which limit their application in real-time tasks. In order to lift these restrictions, this thesis exploits the inherent merits of high-speed photonics so as to maximize the processing capabilities of TDNs. This attempt starts with the successful implementation of a photonic TDN based on quantum dot spin Vertical-Cavity Surface-Emitting Laser (QD sVCSEL). The proposed system demonstrated a fourfold increase in neuron count, whereas more importantly matched the accuracy of state-of-the-art neuromorphic schemes, utilizing a fraction of neurons. Additionally, the use of multiple masks and the injection of the non modulated field significantly improved accuracy, allowing for less sophisticated hardware designs. Then, a reconfigurable photonic TDN processor using Fabry-Perot (FP) lasers was investigated both numerically and experimentally. Towards this direction, the first step consisted of investigating experimentally the ability to increase virtual neurons count and performance by utilizing multiple longitudinal modes of the FP. After that, the capability of the proposed FP-TDN to further accelerate processing without sacrificing accuracy was numerically demonstrated via a new Spectro-temporal multiplexing (SPTM) technique. The FP-TDN processor assisted with SPTM was able to achieve a Bit Error Rate of 10-4 in a transmission impairment mitigation task, with feedback of only 140ps whereas HD-FEC compatibility was demonstrated for feedbacks of even 60ps. In addition, the FP-TDN recorded 95.95% accuracy on the MNIST task simultaneously unlocking processing rates of 255.1Mimages/sec. The next part includes a time-multiplexing neuromorphic scheme, but in this case entailing spiking nodes. In particular, a deep photonic spiking convolutional neural network was introduced using VCSEL nodes and exploiting time multiplexing so as to regulate neuron counts from 62 to 2020, depending on processing rate demands. It demonstrated unsupervised learning capabilities with high noise immunity and achieved processing rates which ranged from 720 ns to 5 ns per image. Finally, a spiking VCSEL based TDN was developed. The processor was capable of addressing various classification tasks, such as Iris, MNIST and an Imaging Flow Cytometry task whereas it demonstrated ultra low power consumption at the processing stage (3.23 pJ per image). For the first time, this work unified neuromorphic computing and neuromorphic sensing under a common photonic platform, establishing a pathway for future research into scalable, energy-efficient photonic processors for real-time applications.

Η παρούσα διδακτορική διατριβή μελετά την ανάπτυξη φωτονικών νευρομορφικών επεξεργαστών (ΝΕ) που απευθύνονται στις εξής τρεις κρίσιμες προκλήσεις των Big Data και του Internet of Things: την υψηλή ταχύτητα επεξεργασίας, την χαμηλή κατανάλωση ισχύος και την ελαχιστοποίηση του υλικού. Η αντιμετώπιση των εν λόγω προκλήσεων ανατέθηκε στα βιοεμπνευσμένα Τεχνητά Νευρωνικά Δίκτυα. Ωστόσο, η ταυτόχρονη επίτευξη δύο βασικών, αλλά αντικρουόμενων στόχων περιόρισε την αποτελεσματικότητά τους, καθώς ήταν αναγκαία η αύξηση του αριθμού των νευρώνων και των συνάψεων παράλληλα με τον περιορισμό της καταναλισκόμενης ισχύος και της πολυπλοκότητας. Σε αυτό το πλαίσιο, επιλέχθηκαν οι χαμηλής κατανάλωσης ΝΕ, οι οποίοι όμως αδυνατούσαν να μειώσουν την αυξανόμενη πολυπλοκότητα και συνδεσιμότητα. Για το λόγο αυτό, οι ΝΕ υιοθέτησαν αρχές των Time Delay Network (TDN) που υλοποιούν χρονικά πολυπλεγμένους νευρώνες και συνάψεις. Μειώθηκαν, έτσι, οι απαιτήσεις του υλικού, αλλά και ο ρυθμός επεξεργασίας. Στόχος της παρούσας διατριβής είναι η αξιοποίηση της υψηλής ταχύτητας των φωτονικών δομών, ώστε να ενισχυθούν οι δυνατότητες επεξεργασίας των TDN ΝΕ. Κατ’ αρχάς αναλύθηκε ένας φωτονικός TDN ΝΕ βασισμένος σε ένα spin VCSEL κβαντικών τελειών. Το προταθέν σύστημα επιτυγχάνει τον τετραπλασιασμό του αριθμού των νευρώνων συγκλίνοντας σε επιδόσεις με τους σύγχρονους επεξεργαστές με τη χρήση λιγότερων νευρώνων συγκριτικά με λοιπές παρόμοιες διατάξεις. Επιπλέον, η χρήση πολλαπλών μασκών και η έγχυση των μη διαμορφωμένων πεδίων βελτιστοποιεί τις επιδόσεις του συστήματος και ελαχιστοποιεί τις απαιτήσεις του υλικού. Συνεχίζοντας, ερευνήθηκε πειραματικά και αριθμητικά ένας επαναδιαμορφώσιμος φωτονικός TDN ΝΕ ερειδόμενος σε Fabry-Perot (FP) λέιζερ. Επιβεβαιώθηκε πειραματικά η δυνατότητα αύξησης του αριθμού των εικονικών νευρώνων και των επιδόσεων του FP-TDN αξιοποιώντας την πολύτροπη εκπομπή του FP. Μετέπειτα απεδείχθη αριθμητικά η αύξηση του ρυθμού επεξεργασίας του FP-TDN χωρίς να υπάρξει μείωση της ακρίβειας του επεξεργαστή μέσω μιας νέας τεχνικής Φασματοχρονικής Πολυπλεξίας (SPTM). O FP TDN ΝΕ σε συνδυασμό με το SPTM κατέγραψε ρυθμούς σφάλματος ίσους με 10-4 χρησιμοποιώντας μήκος ανάδρασης 140 ps, ενώ η HD-FEC συμβατότητα του συστήματος επιτεύχθηκε ακόμη και για χρόνους των 60 ps. Σημειώνεται ότι ο FP-TDN κατέγραψε ακρίβεια 95.95% στην κατηγοριοποίηση των εικόνων του MNIST επιτυγχάνοντας ρυθμό 255.1Mimages/sec. Στο επόμενο κεφάλαιο παρατίθεται ένα χρονικά πολυπλεγμένο δίκτυο με spiking νευρώνες. Ειδικότερα, παρουσιάστηκε ένα βαθύ φωτονικό spiking συνελικτικό νευρωνικό δίκτυο βασισμένο σε VCSEL νευρώνες, το οποίο εκμεταλλευόμενο τη χρονική πολυπλεξία δύναται να ρυθμίσει τον αριθμό των πραγματικών νευρώνων από 62 έως 2020 ανάλογα με τις απαιτήσεις του ρυθμού επεξεργασίας. Το παρόν δίκτυο επέδειξε δυνατότητες μάθησης χωρίς επιτήρηση, υψηλή ανοχή στο θόρυβο και ρυθμούς επεξεργασίας από 5 ns έως 720 ns ανά εικόνα. Τέλος, αναπτύχθηκε ένα spiking TDN βασισμένο σε VCSEL, το οποίο δύναται να κατηγοριοποιήσει με υψηλή ακρίβεια δεδομένα από τις βάσεις δεδομένων Iris, MNIST, αλλά και από πειραματικές εικόνες κυτταρομετρίας καταναλίσκοντας μόλις 3.23pJ ανά εικόνα. Ο συγκεκριμένος ΝΕ ενoποιεί για πρώτη φορά τα πεδία των ΝΕ και των νευρομορφικών αισθητήρων σε μια κοινή πλατφόρμα, ανοίγοντας το δρόμο για τη μελέτη κλιμακούμενων και ενεργειακά αποδοτικών ΝΕ για εφαρμογές πραγματικού χρόνου.