Methods and algorithms for hyperspectral data processing

Abstract

Hyperspectral remote sensing and spectroscopy collect and process information from across theelectromagnetic spectrum with the purpose of finding objects, identifying materials, or detectingprocesses. Hyperspectral imaging systems, due to their low spatial resolution, obtain pixels that may contain several distinct materials. This is the problem of spectral mixing for which linear and nonlinear models have been proposed in order to spectrally unmix the data. For both models, butespecially for the linear one, many methods that implement the required stages of spectral unmixing have been developed.This thesis addresses several key issues on hyperspectral remote sensing and spectroscopyconcerning spectral unmixing, spectral matching, spectral discrimination, quantification ofparameters using spectral data and relative radiometric normalization of hyperspectral data. Theseissues are related to real world hyperspectral remote sensing applications, which require bothmeasurements and processing of field data, as well as hyperspectral acquisitions and processing ofthe same area in many different time periods. The main contributions of the thesis include theintroduction of new innovative concepts and ideas, and exploitation of existing ones. A new novelunmixing concept and six new methods have been developed within the thesis: estimation of thenumber of endmembers and extraction, abundance fraction estimation, spectral matching, spectraldiscrimination, spectroscopy, and relative radiometric normalization. The first three perform the main spectral unmixing steps in hyperspectral imaging, the next two address key issues of spectroscopy on the distinction of species/varieties and estimation of the object parameters, while the sixth allows the simultaneous processing of remote sensing data of different chronologies / sensors, etc.The first method called Fractional Distance (FD) introduces a novel distance-based method, forestimating the number of endmembers and extracts them. The method adopts the network conceptaccording to which, every pixel of the image creates a network. The endmembers and the pixel arethe nodes of the network while the fractional distance parameter quantify the network links. Whenthe pixel is replaced by an endmember, then an endmember network is created. The set of theendmember networks formulates the endmember fractional distance matrix. The Fractional Distance (FD) method, exploits the mathematical properties of the endmember fractional distance matrix and provides the number and the signatures of the endmembers with low computational cost. Fractional distance matrices satisfactorily reveal the linear independence of the endmember vectors, as well as, the maximization of the volume of the simplex formed by the endmembers. FD was evaluated using simulated and real data, and it was also compared with the existing random counterparts of state of the art algorithms. Evaluation of the method showed that the method yields robust and satisfactory results, and outperforms its competitors.The second method called Network Based Method (NBM) is a new non-parametric algorithm forcalculating the abundance fraction values for given endmembers which relies on the network concept. Based on the fractional distances which imply nonlinearity, the method quantifies interactions between pixels and endmembers. Relationships between fractional distances and abundance fractions are built through the networks. Because an equal spectral mixture of endmembers is likely impossible, the proposed method, due to its mathematical concept, reveals the presence of unknown endmembers.Three versions of the method have been developed: the non-constrained (U-NBM), the sum-to-one,(S-NBM) and the fully constrained (F-NBM) versions. Evaluation of the method using synthetic andreal data showed that the method is robust with clear and interpretable results and provides reliable abundance fractions, particularly the sum-to-one and the fully constrained versions of the method.The new unmixing method has also been compared with the fully constrained least squares method. As part of the matching/labeling, the third method is a new methodology for automaticallylabeling extracted endmembers from hyperspectral images, using a reference Spectral Library (SL).The SL is structured with three main layers: main consisting material, semantic meaning, and illumination conditions in order to classify the endmembers. The labeling process is based on twosimilarity metrics: the Spectral Angle Mapper and the Cross Correlation. These two metrics areinitially introduced in spectral inequalities which characterize each endmember of the reference SL.During the labeling procedure, inequalities should be respected for labeling the endmembers,otherwise the values of metrics are used. Updating of the SL refers to incorporation of the not labeled endmembers in the SL. The method can also enable the creation of SLs that are related to specific sensors and their characteristics. The proposed method is evaluated using CASI-550 radiance images.The methodology produced satisfactory results. The fourth methodology is a new methodology for the discrimination of plant species and their varieties using hyperspectral data. The concept lies on the combination of spectral pre-processing algorithms (SPPA) that enhance spectral discrimination between species and their varieties. SPPA use as input a single spectral signature and transform it according to the SPPA function. A k-step combination of SPPA uses k pre-processing algorithms serially. Initially each spectral signature is used as input to the first SPPA. The result of this SPPA is used as input to the second SPPA, and so on until the desi red pre-processed signatures are reached. These signatures are then discriminated by applying spectral matching algorithms. The performance of the combination is evaluated based on the number of correctly matched signatures. In this work a k-step combination of SPPA has been set up, with k ranging from 1 to 3. Sixteen SPPAs have been investigated in total. There is a very large number of possible combinations of the aforementioned SPPAs, thus a Simple Genetic Algorithm has been used for finding optimum combinations. The evaluation set included the spectral signatures of 9 varieties of vetches and 9 varieties of lentils, measured by the GER1500 spectroradiometer. For all the samples, the spectral signatures were measured at two slightly different times in the growing season. The results showed that several combinations exist which can successfully discriminate and label the spectral signatures in terms of variety, and they are independent from the time of the spectral signature measurement.Continuing on the k-step methodology, the fifth method presents a new algorithm for automatically determining the optimum regression model, which enables the estimation of a parameter. The combination of SPPAs are used as input to three different regression methods: the Normalized band Difference Regression (NDR), the Multiple Linear Regression (MLR) and the Partial Least Squares Regression (PLSR). Three Simple Genetic Algorithms (SGAs) are used, one for each regression method, for the selection of the optimum combination of k SPPAs. The performance of the SGAs is evaluated based on the RMS error of the regression models. The evaluation not only indicates the selection of the optimum SPPA combination but also the regression method that produces the optimum prediction model. The proposed method was applied on soil spectral measurements in order to predict Soil Organic Matter (SOM). In this study, the maximum value assigned to k was 3. PLSR yielded the highest accuracy while NDR’s accuracy was satisfactory compared to its complexity. MLR method showed several drawbacks due to the presence of noise in terms of collinearity at the spectral bands. Most of the regression methods required a 3-step combination of SPPAs for achieving the highest performance. The selected preprocessing algorithms were different for each regression method since each regression method handles with a different way the explanatory variables.Last but not least, the method called Normalized Proximity and Similarity Methodology (NPSM)is proposed. NPSM is a new automatic methodology for radiometric normalization of multi-temporalhyperspectral images. The concept of a relative radiometric normalization (RRN) for multitemporalmultispectral and hyperspectral images is investigated. The NPS methodology introduces twospectral metrics, the absolute normalized difference (AND) and the absolute normalized ratiodifference (ANRD), to select Invariant Pixels (IPs). A new metric is also introduced for the evaluation of the proposed methodology: the root mean square error (RMSE) between the values of the initial subject image and the relevant reconstructed subject image. The NPSM is validated using 9 ASTER and 14 Hyperion images. Results demonstrate the high performance of the methodology on both hyperspectral and multispectral data.

Η υπερφασµατική τηλεπισκόπηση και η φασµατοσκοπία συλλέγουν και επεξεργάζονταιπληροφορίες από το ηλεκτροµαγνητικό φάσµα µε σκοπό την εύρεση αντικειµένων, την ταυτοποίηση υλικών, ή τον εντοπισµό διεργασιών. Τα υπερφασµατικά συστήµατα, λόγω της χαµηλής τους χωρικής ανάλυσης, καταγράφουν εικονοστοιχεία τα οποία περιέχουν αρκετά διακριτά υλικά. Αυτό είναι το πρόβληµα της φασµατικής ανάµιξης για το οποίο έχουν προταθεί αρκετά γραµµικά και µηγραµµικά µοντέλα µε σκοπό τον φασµατικό διαχωρισµό. Και για τα δύο µοντέλα, αλλά ειδικά για το γραµµικό, έχουν προταθεί πολλές µέθοδοι που υλοποιούν τα απαιτούµενα στάδια του φασµατικού διαχωρισµού.Η παρούσα διδακτορική διατριβή εστιάζει σε ορισµένα χαρακτηριστικά θέµατα τηςυπερφασµατικής τηλεπισκόπησης και της φασµατοσκοπίας. Τα θέµατα αυτά αφορούν τονφασµατικό διαχωρισµό, τη φασµατική ταυτοποίηση, τη φασµατική διάκριση, την ποσοτικοποίησηπαραµέτρων χρησιµοποιώντας φασµατικά δεδοµένα και την σχετική ραδιοµετρική κανονικοποίηση.Αυτά τα θέµατα σχετίζονται µε πραγµατικές εφαρµογές της υπερφασµατικής τηλεπισκόπησης καιτης φασµατοσκοπίας, οι οποίες απαιτούν τόσο µετρήσεις και επεξεργασία δεδοµένων πεδίου, όσοκαι απόκτηση υπερφασµατικών δεδοµένων και επεξεργασία τους, στην ίδια περιοχή σε διαφορετικέςχρονικές περιόδους. Οι κύριες συνεισφορές της διδακτορικής διατριβής περιλαµβάνουν τηνεισαγωγή νέων καινοτόµων ιδεών και την αξιοποίηση ήδη υπαρχουσών. Μία νέα προσέγγιση για τηνεπίλυση του φασµατικού διαχωρισµού και έξι νέες µέθοδοι έχουν αναπτυχθεί στο πλαίσιο τηςδιατριβής: εκτίµηση του αριθµού των καθαρών στόχων και εξαγωγή τους (endmember numberestimation and extraction), εκτίµηση των ποσοστών συµµετοχής των καθαρών στόχων σταεικονοστοιχεία (abundance estimation), φασµατική ταυτοποίηση (spectral matching), φασµατικήδιάκριση (spectral discrimination), εκτίµηση παραµέτρων µέσω φασµατοσκοπίας(spectroscopy), καισχετική ραδιοµετρική κανονικοποίηση απεικονίσεων (relative radiometric normalization). Οι τρειςπρώτες υλοποιούν τα κύρια στάδια του φασµατικού διαχωρισµού σε υπερφασµατικές απεικονίσεις,οι δύο επόµενες καλύπτουν τους κύριους στόχους της φασµατοσκοπίας: την διάκρισηειδών/αντικειµένων και την εκτίµηση των παραµέτρων που συνθέτουν µια φασµατική υπογραφή,ενώ η τελευταία επιτρέπει την ταυτόχρονη επεξεργασία τηλεπισκοπικών δεδοµένων διαφορετικώνχρονολογιών/δεκτών, κλπ.Η πρώτη µέθοδος ονοµάζεται Κλασµατική Απόσταση (ΚΑ) (Fractional Distance) και εισάγειµια νέα µέθοδο βασιζόµενη στην ευκλείδεια φασµατική απόσταση, για την εκτίµηση του αριθµούτων καθαρών στόχων και την εξαγωγή τους. Η µέθοδος υιοθετεί την ιδέα του δικτύου σύµφωνα µετην οποία, το κάθε εικονοστοιχείο της εικόνας δηµιουργεί ένα δίκτυο. Οι καθαροί στόχοι και τοεικονοστοιχείο είναι οι κόµβοι του δικτύου ενώ η κλασµατική απόσταση µία παράµετρος η οποίαπεριγράφει και ποσοτικοποιεί τις ακµές του δικτύου. Όταν το εικονοστοιχείο αντικατασταθεί από έναν καθαρό στόχο, τότε το δίκτυο που δηµιουργείται λέγεται δίκτυο καθαρών στόχων. Το σύνολοτων δικτύων των καθαρών στόχων διατυπώνεται µαθηµατικά µε τον πίνακα των κλασµατικώναποστάσεων των καθαρών στόχων. Η µέθοδος της Κλασµατικής Απόστασης αξιοποιεί τιςµαθηµατικές ιδιότητες του πίνακα των κλασµατικών αποστάσεων για να υπολογίσει τον αριθµό καινα εξάγει τις φασµατικές υπογραφές των καθαρών στόχων µε χαµηλό υπολογιστικό κόστος και χωρίς να απαιτεί µετασχηµατισµό των δεδοµένων και µείωση της διάστασης του υπερφασµατικού χώρου.Η ΚΑ αξιολογήθηκε χρησιµοποιώντας δεδοµένα προσοµοίωσης και πραγµατικά δεδοµένα. Επίσηςσυγκρίθηκε µε οµόλογους αλγορίθµους. Τα αποτελέσµατα της αξιολόγησης της µεθόδου έδειξαν ότιη µέθοδος αποδίδει ισχυρά και ικανοποιητικά αποτελέσµατα, και υπερτερεί σε σχέση µε τις άλλεςµεθόδους.Η δεύτερη µέθοδος ονοµάζεται Δικτυακή Μέθοδος (ΔΜ) (Network Based Method) και είναι µιανέα µη παραµετρική µέθοδος, που βασίζεται στην ιδέα των δικτύων, για τον υπολογισµό τωνποσοστών αφθονίας των καθαρών στόχων σε κάθε εικονοστοιχείο. Χρησιµοποιεί την κλασµατικήαπόσταση ως βασική µεταβλητή που ποσοτικοποιεί τις αλληλεπιδράσεις µεταξύ των εικονοστοιχείων και των καθαρών στόχων. Οι σχέσεις µεταξύ των κλασµατικών αποστάσεων καιτων ποσοστών αφθονίας ορίζονται βάσει των δικτύων που δηµιουργούνται. Επειδή ισοκαταµερισµόςτων ποσοστών αφθονίας των καθαρών στόχων σε ένα εικονοστοιχείο πραγµατικών δεδοµένων είναισχεδόν απίθανος, η προτεινόµενη µέθοδος αποκαλύπτει την ύπαρξη καθαρών στόχων οι οποίοι δενέχουν πιθανόν εξαχθεί από κάποια µέθοδο εξαγωγής καθαρών στόχων. Τρεις εκδοχές της µεθόδουέχουν αναπτυχθεί: η χωρίς περιορισµούς, η έκδοση µε περιορισµό το άθροισµα των αφθονιών σε ένα καθαρό στόχο να είναι ίσο µε ένα και η πλήρως περιορισµένη έκδοση. Η αξιολόγηση της µεθόδου µε τη χρήση συνθετικών και πραγµατικών δεδοµένων έδειξε ότι η µέθοδος είναι σταθερή µε σαφή και ερµηνεύσιµα αποτελέσµατα και παρέχει αξιόπιστα ποσοστά αφθονίας. Ιδιαίτερα αυξηµένη ακρίβεια παρέχουν οι δύο εκδόσεις µε τους περιορισµούς. Η µέθοδος αφθονίας συγκρίθηκε µε την πλήρως περιορισµένη µέθοδο των ελαχίστων τετραγώνων και έδωσε τα πιο ακριβή αποτελέσµατα συγκρινόµενη µε τις υπόλοιπες µεθόδους.Η τρίτη µέθοδος αναφέρεται στην αυτόµατη ταυτοποίηση των καθαρών στόχων που έχουνεξαχθεί από υπερφασµατικές εικόνες µε χρήση Φασµατικών Βιβλιοθηκών αναφοράς (ΦΒΑ). ΟιΦΒΑ δοµούνται σε τρία κύρια επίπεδα µε βάση το κύριο υλικό στο οποίο αντιστοιχεί µια φασµατικήυπογραφή της ΦΒΑ, τη σηµασιολογική έννοια της φασµατικής υπογραφής και τις συνθήκεςφωτισµού λήψης της φασµατικής υπογραφής. Η διαδικασία ταυτοποίησης βασίζεται σε δύοφασµατικές µετρήσεις οµοιότητας: τη φασµατική γωνία και την αυτό-συσχέτιση. Αυτά τα δύοµετρικά αρχικά εισάγονται στην ΦΒΑ µε σκοπό την διατύπωση ανισοτήτων διάκρισης µεταξύ τωνφασµατικών υπογραφών της. Κατά τη διαδικασία ταυτοποίησης ενός καθαρού στόχου, οι ανισότητες διάκρισης µεταξύ του καθαρού στόχου και των φασµατικών υπογραφών της ΦΒΑ θα πρέπει πάντα να τηρούνται. Η ενηµέρωση της ΦΒΑ αναφέρεται στην ενσωµάτωση των καθαρών στόχων οι οποίοι δεν µπόρεσαν να ταυτοποιηθούν µε την παραπάνω µέθοδο. Η µέθοδος επιτρέπει τη δηµιουργία ΦΒΑ οι οποίες σχετίζονται µε συγκεκριµένους δέκτες και χαρακτηριστικά τους. Η προτεινόµενη µέθοδος αξιολογήθηκε µε καθαρούς στόχους που εξήχθησαν από CASI-550 εναέριες υπερφασµατικές απεικονίσεις και παρήγαγε ικανοποιητικά αποτελέσµατα.Η τέταρτη µέθοδος είναι µια νέα µέθοδος για τη διάκριση των διαφορετικώνυλικών/αντικειµένων µε βάση τη φασµατική υπογραφή τους, όπως αυτή έχει προκύψει απόµετρήσεις πεδίου. Οι µετρήσεις πεδίου είναι απαλλαγµένες από τις ατµοσφαιρικές επιπτώσεις καιδίνουν µία σαφή εικόνα των δυνατοτήτων της φασµατοσκοπίας και κατ’ επέκταση τηςυπερφασµατικής απεικόνισης στη διάκριση υλικών/αντικειµένων. Η µέθοδος εφαρµόστηκε στηνπλέον δύσκολη περίπτωση της διάκρισης δύο φυτικών ειδών και των ποικιλιών τους. Η ιδέα έγκειταιστον συνδυασµό εκείνων των αλγορίθµων προ-επεξεργασίας φασµατικών υπογραφών (ΑΠΦΥ) πουενισχύουν τις φασµατικές ανοµοιότητες. Οι ΑΠΦΥ χρησιµοποιούν ως είσοδο µία φασµατική υπογραφή και τη µετατρέπουν ανάλογα µε τη λειτουργία τους. Ένας συνδυασµός µε κ-βήµαταχρησιµοποιεί κ αλγορίθµους προ-επεξεργασίας σειριακά. Αρχικά η κάθε φασµατική υπογραφήχρησιµοποιείται ως πεδίο εισαγωγής για τον πρώτο ΑΠΦΥ. Το αποτέλεσµα αυτό χρησιµοποιείταιως είσοδος στον δεύτερο ΑΠΦΥ και ούτω καθεξής έως ότου να εφαρµοστούν οι κ αλγόριθµοι. Στιςπαραγόµενες «υπογραφές» στη συνέχεια εφαρµόζονται τεχνικές διάκρισης και ταυτοποίησης. Ηαπόδοση του συνδυασµού αξιολογείται µε βάση τον αριθµό των σωστά ταυτοποιηµένων υπογραφών.Σε αυτήν την εργασία η παράµετρος κ πήρε τιµές από 1 έως 3. Δεκαέξι αλγόριθµοι προ-επεξεργασίας διερευνήθηκαν συνολικά. Ο βέλτιστος συνδυασµός τους προέκυψε από την εφαρµογή ενός γενετικού αλγορίθµου. Τα δεδοµένα αξιολόγησης περιέχουν 9 ποικιλίες βίκου και 9 ποικιλίες φακής, που µετρήθηκαν από το φασµατοφωτοµέτρο GER1500. Για όλα τα δείγµατα, οι φασµατικές υπογραφές µετρήθηκαν σε δύο ελαφρώς διαφορετικές χρονικές στιγµές κατά τη καλλιεργητική περίοδο. Τα αποτελέσµατα έδειξαν ότι υπάρχουν αρκετοί συνδυασµοί που µπορούν να διακρίνουν µε επιτυχία µέσω των φασµατικών υπογραφών τόσο τα δύο διαφορετικά φυτά, όσο και τις διαφορετικές ποικιλίες του κάθε ενός.Η πέµπτη µέθοδος παρουσιάζει µία επέκταση της προηγούµενης µεθόδου για την ανάδειξη όχιµόνο του βέλτιστου συνδυασµού προ-επεξεργασιών µιας φασµατικής υπογραφής αλλά και του βέλτιστου µοντέλου παλινδρόµησης κατά την εφαρµογή του γενετικού αλγορίθµου. Η νέα αυτήµέθοδος αναπτύχθηκε για την εκτίµηση των παραµέτρων που συµβάλλουν στη διαµόρφωση τηςφασµατικής υπογραφής ενός αντικειµένου/στόχου. Κατά την ανάπτυξη της µεθόδου, αξιολογήθηκαντρία διαφορετικά µοντέλα παλινδρόµησης µέσω τριών γενετικών αλγορίθµων: η παλινδρόµησηκανονικοποιηµένης διαφοράς (ΠΚΔ), η πολλαπλή γραµµική παλινδρόµηση (ΠΓΠ) και η µερικήπαλινδρόµηση ελαχίστων τετραγώνων (ΜΠΕΤ). Η απόδοση των γενετικών αλγορίθµωναξιολογήθηκε µε βάση το ελάχιστο τετραγωνικό σφάλµα. Η µέθοδος εφαρµόστηκε σεφασµατοσκοπικές µετρήσεις εδάφους, µε σκοπό να εκτιµηθεί η περιεκτικότητά του σε οργανική ύλη.Η µέγιστη τιµή που αποδόθηκε στην παράµετρο κ ήταν 3. Η ΜΠΕΤ απέδωσε την υψηλότερη δυνατήακρίβεια, ενώ η ακρίβεια της ΠΚΔ ήταν ικανοποιητική σε σχέση µε την πολυπλοκότητά της. Ηµέθοδος ΠΓΠ παρουσίασε σοβαρά µειονεκτήµατα λόγω της παρουσίας θορύβου στιςφασµατοσκοπικές µετρήσεις, αλλά και της µη ανεξαρτησίας γειτονικών φασµατικών καναλιών. Οιαλγόριθµοι προ-επεξεργασίας που επιλέχθηκαν µέσω των γενετικών αλγορίθµων ήταν διαφορετικοίγια κάθε µέθοδο παλινδρόµησης, γεγονός που αναδεικνύει ότι η κάθε µέθοδος παλινδρόµησηςχειρίζεται µε διαφορετικό τρόπο τις ερµηνευτικές µεταβλητές.Τέλος, η έκτη µέθοδος που αναπτύχθηκε στο πλαίσιο αυτής της διατριβής είναι η µέθοδος τηςΚανονικοποιηµένης Εγγύτητας και Οµοιότητας (ΜΚΕΟ). Αυτή είναι µια νέα µέθοδος για τηναυτόµατη ραδιοµετρική κανονικοποίηση πολλαπλών υπερφασµατικών αλλά και πολυφασµατικώνεικόνων που έχουν ληφθεί σε διαφορετικές χρονικές στιγµές. Η ΜΚΕΟ εισάγει δύο φασµατικάµετρικά: την απόλυτη κανονικοποιηµένη διαφορά (ΑΚΔ) και το λόγο της απόλυτηςκανονικοποιηµένης διαφοράς (ΛΑΚΔ) µε σκοπό την επιλογή των χρονικά αµετάβλητωνεικονοστοιχείων (ΑΕ). Με βάση αυτά τα εικονοστοιχεία αναπτύσσονται οι σχέσεις τηςραδιοµετρικής συσχέτισης των απεικονίσεων οι οποίες και εφαρµόζονται στο σύνολο τωνεικονοστοιχείων της κάθε απεικόνισης. Επίσης, για την αξιολόγηση της προτεινόµενης µεθόδου,εισάγεται ένα νέο µέτρο αξιολόγησης: η τετραγωνική ρίζα του µέσου σφάλµατος µεταξύ των τιµώντης αρχικής εικόνας και της κανονικοποιηµένης εικόνας καθώς και το αντίστοιχο µέσο σφάλµαµεταξύ της ανακατασκευασµένης και της υπό κανονικοποίησης απεικόνισης. Η ΜΚΕΟαξιολογήθηκε χρησιµοποιώντας 14 Hyperion και 9 ASTER απεικονίσεις. Τα αποτελέσµατα δείχνουντην υψηλή απόδοση της µεθοδολογίας και στους δύο τύπους δεδοµένων, υπερφασµατικά καιπολυφασµατικά.