Learning from Ground Penetrating Radar to identify ancient buried structures

Abstract

GPR data interpretation from archaeological prospection is a tedious and time-consuming process that requires skills and experience. The interpretation process is prone to mistakes, even by the more experienced users. The subsurface can create non-intuitive patterns, making the identification of the buried targets uncertain, requiring additional information from other methods and technologies. Archaeological remains may be bypassed or mistaken for other types of features. Further, residual noise can easily be mistaken as structural remains when in a stripe form that is quite common when surveying in rough terrains. Hence, a system capable of detecting archaeological remains from GPR data could be employed as a guide to assist their interpretation, saving time and reducing mistakes. Recent developments of Deep Learning (DL) and, in particular, Convolutional Neural Networks (CNN) have shown impressive results for similar tasks in other scientific domains like computer vision and medical image analysis. When it comes to GPR data, these methods and approaches have not yet been used to the same extent. The studies dealing with the automatic detection of buried antiquities using CNNs are very few, leaving an ample margin for investigation, and this research contributes towards this direction. In this study, AlexNet architecture is used to train CNN models for classifying GPR C-scans. The latter are 2D images derived from slicing pseudo-3D volumes that can be constructed when collecting data using survey grids. The data used have been collected from 52 archaeological sites located in Greece, Cyprus, and Sicily using a Noggin GPR system equipped with a 250MHz antenna. Data collection was conducted under the framework of research projects of the Laboratory of Geophysical - Satellite Remote Sensing and Archaeo-environment (GeoSat ReSeArch Lab) of the Foundation for Research and Technology Hellas (FORTH). The collected data were processed in MATLAB to export the C-scans. A preprocessing step is followed by applying an overlapping sliding window to crop square subregions of selected C-scans to increase the number of images used for training. Three classes were defined based on dominant features observed in the data: unidentified geophysical anomalies, structures, and noise of stripe form. In total, 18375 examples were selected, 6125 per class. Two datasets were constructed following two different splitting approaches to examine the generalization: a random and non-random one. The CNN implementation and training were performed in Python using the Tensorflow library and Keras API. Two optimizers were tested for each dataset and compared: The Stochastic Gradient Descent (SGD) with momentum and Adam. Tests to improve performance were also made by applying Batch Normalization (BN), Dropout, Image Augmentation, and tuning the learning rate and batch size using the Keras tuner library. Two final models were obtained, one for each dataset approach. The models were evaluated using 100 examples from two archaeological sites that were excluded from the training process.The results showed that the model obtained from the dataset with the random split performed better on the evaluation set, reaching a classification accuracy of 92% over 85%. However, it was observed that the predictions were lacking robustness on similar images. Hence more data and further improvements are required. Further, SGD with momentum performed better but required BN in all five convolutional layers to achieve learning. Dropout improved the results further, but not drastically. Against the expectations, Image Augmentation was not beneficial in any case. While Adam did not require BN for the models to learn, it performed poorer due to overfitting and showed no improvements when BN and dropout were used. The obtained results and good classification performance showed that this is a very promising direction, and the automatic detection of buried structures is a feasible task.

Η μέθοδος του γεωραντάρ είναι μη καταστροφική και εφαρμόζεται επιτυχώς σε αρχαιολογικές γεωφυσικές διασκοπήσεις για την χαρτογράφηση θαμμένων θεμελίων. Η αρχή λειτουργίας του στηρίζεται στην εκπομπή Η/Μ κυμάτων από κεραία-πομπό τα οποία διαδίδονται στο υπέδαφος με ταχύτητα η οποία επηρεάζεται κυρίως από τις ηλεκτρικές ιδιότητες του μέσου. Όταν εισέλθουν σε μέσο διαφορετικών ηλεκτρικών ιδιοτήτων ένα μέρος ανακλάται προς την επιφάνεια όπου ανιχνεύεται από την κεραία-δέκτη ενώ το υπόλοιπο συνεχίζει τη διάδοση στο νέο μέσο. Στις αρχαιολογικές διασκοπήσεις οι κεραίες πομπός-δέκτης κινούνται ταυτόχρονα έχοντας σταθερή απόσταση μεταξύ τους κατά μήκος μιας γραμμής μελέτης πάνω στην επιφάνεια του εδάφους συλλέγοντας καταγραφές που ονομάζονται ίχνη (traces). Κατά αυτό τον τρόπο προκύπτουν τομογραφικές εικόνες του υπεδάφους. Σε αυτού του είδους εικόνες, τα αρχαία θεμέλια συνήθως αποτυπώνονται με πρότυπα τα οποία έχουν την μορφή πολλαπλών υπερβολών και περιθλάσεων που αναφέρονται ως ανακλάσεις. Η ερμηνεία τέτοιων δεδομένων είναι μία ιδιαίτερα χρονοβόρα και απαιτητική διαδικασία, η επιτυχία της οποίας στηρίζεται κυρίως στην εμπειρία. Ο λόγος είναι ότι τα πρότυπα με τα οποία απεικονίζονται στα δεδομένα οι καταγραφές από το υπέδαφος, δεν αποδίδουν ξεκάθαρα τη φύση του ανακλαστήρα που τα προκάλεσε. Έτσι ανακλάσεις θαμμένων αρχαιοτήτων μπορεί είτε να παραβλεφθούν ή να παρερμηνευτούν. Τα δεδομένα γεωραντάρ είναι επίσης ευαίσθητα σε θόρυβο ο οποίος συνήθως δεν μπορεί να απομακρυνθεί κατά την επεξεργασία αφήνοντας κατάλοιπα. Όταν έχει γραμμική μορφή, καταγράφεται με πρότυπα που μοιάζουν αρκετά με αυτά των θαμμένων κτιρίων. Σε τέτοια δεδομένα η αβεβαιότητα της ερμηνείας και η πιθανότητα λάθους είναι υψηλές καθιστώντας αναγκαστική τη λήψη πληροφορία από άλλες μεθόδους. Η ανάπτυξη ενός συστήματος αυτόματης αναγνώρισης προτύπων που αποδίδονται σε αρχαία αρχιτεκτονικά κατάλοιπα θα αποτελούσε ένα ιδιαίτερα χρήσιμο εργαλείο που θα διευκόλυνε την διαδικασία της ερμηνείας και θα βελτίωνε την ακρίβεια της περιορίζοντας τα λάθη. Πάνω σε αυτό το πλαίσιο, η παρούσα διδακτορική διατριβή εξετάζει τα Συνελικτικά Νευρωνικά Δίκτυα (ΣΝΔ) ως μέσο προς την υλοποίηση ενός τέτοιου συστήματος.Τα ΣΝΔ είναι ευρέως γνωστά λόγω των ραγδαίων εξελίξεων που έχουν γνωρίσει τα τελευταία χρόνια σε σχέση με την αυτόματη αναγνώριση προτύπων και σε θέματα Βαθιάς Μαθήσεως. Είναι μία κατηγορία Τεχνικών Νευρωνικών Δικτύων (ΤΝΔ) Πρόσθιας Τροφοδοσίας (Feedforward) με πλήρως συνδεδεμένα επίπεδα (fully connected layers), στα οποία έχει ενσωματωθεί η λειτουργία της συνέλιξης. Η τελευταία επιτρέπει δισδιάστατες και τρισδιάστατες εισόδους. Μία ενδεικτική αρχιτεκτονική ΣΝΔ περιλαμβάνει το επίπεδο εισόδου, το συνελικτικό επίπεδο, το επίπεδο αποκοπής ReLU (Rectified Linear Unit), το συγκεντρωτικό επίπεδο (pooling layer), τα πλήρως συνδεδεμένα επίπεδα, και το επίπεδο εξόδου. Το συνελικτικό επίπεδο, το επίπεδο ReLU, και το επίπεδο συγκέντρωσης είναι υπεύθυνα για την εξαγωγή των σημαντικών γνωρισμάτων (features) της εισόδου, ενώ μέσω των πλήρως συνδεδεμένων επιπέδων, που είναι ουσιαστικά ένα ΤΝΔ πρόσθιας τροφοδοσίας, εκτελείται η προσέγγιση του προβλήματος μαθήσεως, όπως λ.χ. ταξινόμηση ή παλινδρόμηση. Τα βάρη των συνάψεων στα συνελικτικά επίπεδα στηρίζονται στα δεκτικά πεδία (receptive fields), όπου ο νευρώνας ενός επιπέδου συνδέεται με μία περιοχή νευρώνων του επόμενου επιπέδου. Η εκπαίδευση των ΣΝΔ γίνεται με τον ίδιο τρόπο όπως στην περίπτωση των ΤΝΔ Πρόσθιας Τροφοδοσίας, χρησιμοποιώντας τον αλγόριθμο οπισθοδιάδοσης (backpropagation) για τον υπολογισμό του σφάλματος που προκύπτει από τα βάρη που έχουν αποδοθεί στις συνάψεις των νευρώνων ενός επιπέδου, και έναν αλγόριθμο βελτιστοποίησης της κλίσης (gradient). Τα βάρη αναπροσαρμόζονται έτσι ώστε να ελαχιστοποιείται η επιλεγμένη συνάρτηση κόστους (cost function). Για την εκπαίδευση χρησιμοποιείται σύνολο δεδομένων που έχει χωριστεί σε ένα σετ εκπαίδευσης (training set) και ένα σετ δοκιμών γενίκευσης (test set). Ένα σύνηθες πρόβλημα εκπαίδευσης είναι αυτό της υπερπροσαρμογής (overfitting) όπου τα βάρη του μοντέλου μαθήσεως έχουν προσαρμοστεί τόσο καλά στα δεδομένα του σετ εκπαιδεύσεως με αποτέλεσμα προβλέψεις με χρήση διαφορετικών δεδομένων να είναι ανακριβείς. Ορισμένες γνωστές τεχνικές που αντιμετωπίζουν το πρόβλημα της υπερπροσαρμογής και βελτιώνουν την γενίκευση είναι αναφορικά η εφαρμογή μετασχηματισμών για αύξηση των εικόνων (Image Augmentation), η παράβλεψη νευρώνων (Dropout) και η κανονικοποίηση κατά σύνολα (Batch Normalization).Τα ΣΝΔ παρουσιάζουν ένα ευρύ πεδίο εφαρμογών κυρίως σε προβλήματα επιβλεπόμενης μάθησης που χρησιμοποιούν προσεγγίσεις όπως την ταξινόμησης εικόνας, την κατάτμησης εικόνας και τον εντοπισμό αντικειμένων. Έτσι είναι ιδιαιτέρως διαδεδομένα σε θέματα μηχανικής όρασης που σχετίζονται με ανάλυση εικόνας και βίντεο όπως π.χ. ανάλυση ιατρικών εικόνων, αναγνώριση προσώπων, αναγνώριση κειμένων, ανάλυση δορυφορικών εικόνων κ.α.. Η εφαρμογή τους σε δεδομένα γεωραντάρ δεν είναι το ίδιο διαδεδομένη, ενώ οι μελέτες που αφορούν συγκεκριμένα αρχαιολογικά δεδομένα είναι ελάχιστες. Παρόλα αυτά τα αποτελέσματα που παρουσιάζουν είναι αρκετά καλά, ενθαρρύνοντας την περαιτέρω έρευνα. Στη παρούσα διατριβή χρησιμοποιείται η αρχιτεκτονική ΣΝΔ βαθιάς μαθήσεως AlexNet για την ταξινόμηση οριζόντιων τομών βάθους (C-scans) της μεθόδου γεωραντάρ. Η συγκεκριμένη αρχιτεκτονική ήταν αυτή που έκανε τα ΣΝΔ ευρέως γνωστά για θέματα ταξινόμησης εικόνας λόγω των πολύ καλών αποτελεσμάτων. Παράλληλα είναι απλή παρέχοντας τα οφέλη μιας βαθιάς αρχιτεκτονικής που αφορούν την αυτόματη αναγνώριση προτύπων. Αποτελείται από πέντε συνελικτικά επίπεδα, τρία συγκεντρωτικά επίπεδα, και τρία πλήρως συνδεδεμένα. Η συνάρτηση ενεργοποίησης που χρησιμοποιείται είναι η ReLU με εξαίρεση το τελευταίο πλήρης συνδεδεμένο επίπεδο στο οποίο χρησιμοποιείται η Softmax. Επίσης γίνεται χρήση των τεχνικών γενίκευσης Dropout και μίας τεχνικής κανονικοποίησης που εφαρμόζεται στα βάρη των συνελικτικών επιπέδων που αναφέρεται ως Κανονικοποίηση Τοπικής Απόκρισης (Local Response Normalization).Τα δεδομένα που χρησιμοποιούνται έχουν συλλεχθεί με το σύστημα Noggin και κεραία κεντρικής συχνότητας 250MHz από 52 αναγνωρισμένες αρχαιολογικές θέσεις στην Ελλάδα, Κύπρο και Σικελία. Τα δεδομένα συλλέχθηκαν στα πλαίσια ερευνητικών προγραμμάτων του Εργαστηρίου Γεωφυσικής-Δορυφορικής Τηλεπισκόπησης και Αρχαιοπεριβάλλοντος του Ιδρύματος Τεχνολογίας και Έρευνας. Αρχικά πραγματοποιήθηκε η επεξεργασία των δεδομένων σε περιβάλλον MATLAB που αποσκοπούσε την αποθορυβοποίηση των δεδομένων, την ανάδειξη των ανακλάσεων από το υπέδαφος και η εξαγωγή των εικόνων τομών βάθους. Οι τεχνικές και τα φίλτρα που εφαρμόσθηκαν είναι οι: δειγματοληψία ιχνών (trace resampling), διόρθωση μηδενικού χρόνου (time-zero correction), διόρθωση Dewow, ενίσχυση inverse amplitude decay, αφαίρεση μέσου σήματος υποβάθρου (Average Background Removal), εφαρμογή ζωνωπερατών φίλτρων (Bandpass filtering), και ο υπολογισμός του στιγμιαίου πλάτους μετασχηματισμού Hilbert (Instantaneous Envelope). Εν συνεχεία δημιουργήθηκαν τρισδιάστατοι όγκοι του υπεδάφους και ακολούθησε η εξαγωγή των οριζόντιων τομών (C-scans).Σε επόμενο βήμα ακολούθησε ένα στάδιο προετοιμασίας στο οποίο εφαρμόζεται κυλιόμενο παράθυρο αποκοπής με αλληλεπικαλυπτόμενο βήμα με σκοπό την αύξηση του αριθμού των εικόνων που θα χρησιμοποιηθούν στο σετ δεδομένων για την εκπαίδευση των ΣΝΔ. Το μέγεθος του παραθύρου προσαρμόσθηκε ώστε να αντιστοιχεί σε διαστάσεις 10x10m της κάθε τομής, ενώ η επικάλυψη ορίσθηκε στα δύο μέτρα. Τα συγκεκριμένα διαστήματα κρίθηκαν κατάλληλα καθώς επιτρέπουν την επαρκή απεικόνιση των αρχαίων κτιρίων ενώ παράλληλα αυξάνουν σημαντικά των αριθμό των εικόνων που μπορούν να χρησιμοποιηθούν για εκπαίδευση.Όσο αφορά το σετ δεδομένων, ορίστηκαν τρεις τάξεις βάση των κυρίαρχων γνωρισμάτων (feature) που παρατηρήθηκαν στα δεδομένα και είναι: απροσδιόριστες γεωφυσικές ανωμαλίες, κτίρια και γραμμικός θόρυβος. Συνολικά επιλέχθηκαν 18375 παραδείγματα, με 6125 ανά τάξη και ακολούθησε διαμερισμός τους σε σετ εκπαίδευσης και σε αξιολόγησης. Σε αυτό σημείο εξετάζονται δύο προσεγγίσεις, του αυτόματου και μη αυτόματου διαχωρισμού ώστε να εξεταστεί ποια μπορεί να οδηγήσει σε καλύτερη γενίκευση. Στη πρώτη προσέγγιση τα δεδομένα του σετ γενίκευσης προέρχονται εξ’ ολοκλήρου από την περιοχή μελέτης της Ελάτειας ενώ στη δεύτερη προσέγγιση ο διαχωρισμός είναι τυχαίος από όλο το σύνολο των επιλεγμένων εικόνων για κάθε τάξη.Τα ΣΝΔ υλοποιήθηκαν και εκπαιδευτήκαν σε Python χρησιμοποιώντας την βιβλιοθήκη Tensorflow με το Keras API. Για την εκπαίδευση εξετάστηκαν δύο αλγόριθμοι βελτιστοποίησης ο Stochastic Gradient Descent (SGD) με χρήση ροπής (momentum) και ο Adam (Adaptive Moments). Για την βελτίωση των αποτελεσμάτων και απόδοσης εξετάστηκαν οι τεχνικές κανονικοποίησης συνόλου (Batch Normalization), παράλειψης νευρώνα (Dropout), και εφαρμογή μετασχηματισμών αύξησης εικόνων (Image Augmentation). Επιπλέον πραγματοποιήθηκε συντονισμός (tuning) των υπερπαραμέτρων ρυθμού μάθησης (learning rate) και μέγεθος συνόλου (batch size) των δύο αλγόριθμων βελτιστοποίησης που εξετάζονται, με σκοπό την περαιτέρω βελτίωση των αποτελεσμάτων. Ο συντονισμός πραγματοποιήθηκε με την βιβλιοθήκη Keras Tuner. Μέσα από μία σειρά συγκρίσεων και δοκιμών προέκυψαν δύο τελικά μοντέλα, ένα για κάθε την κάθε προσέγγιση διαχωρισμού δεδομένων. Το μοντέλο Α προέκυψε από τον μη αυτόματο διαχωρισμό ενώ το μοντέλο Β προέκυψε από τον αυτόματο διαχωρισμό. Η γενίκευση των δύο μοντέλων εξετάζεται σε ένα νέο σετ δεδομένων που ονομάστηκε σετ αξιολόγησης (evaluation set). Σε αυτό επιλέχθηκαν 32 παραδείγματα γεωφυσικών ανωμαλιών, 32 θορύβου και 36 αρχαίων κτιρίων από τις αρχαιολογικές θέσεις της Άλου Θεσσαλίας και της Σίσσι Ηρακλείου που είχαν εξαιρεθεί της διαδικασίας εκπαίδευσης. Συνοψίζοντας τα αποτελέσματα, καλύτερος αλγόριθμος βελτιστοποίησης αποδείχθηκε ο SGD με απαραίτητη όμως την χρήση κανονικοποίησης κατά σύνολα (Batch Normalization), ενώ η χρήση της παράβλεψη νευρώνων (dropout) βελτίωσε περαιτέρω τα αποτελέσματα. Σε αντίθεση η εφαρμογή μετασχηματισμών για αύξηση των εικόνων (Image Augmentation) είχε αρνητική επίδραση στα αποτελέσματα και κρίθηκε η αναγκαία η περαιτέρω έρευνα ώστε να βρεθούν οι κατάλληλοι μετασχηματισμοί που θα οδηγήσουν σε βελτίωση των αποτελεσμάτων. Όσο αφορά τις δοκιμές στο σετ αξιολόγησης, καλύτερη γενίκευση παρουσιάζει το μοντέλο Β (αυτόματου διαχωρισμού) πετυχαίνοντας ακρίβεια 92% έναντι 85%. Παρόλα αυτά, η ακρίβεια των προβλέψεων δεν ήταν σταθερή καθώς υπήρχαν περιπτώσεις όπου παρόμοιες εικόνες δεν ταξινομήθηκαν καλά. Αυτό υποδηλώνει την ανάγκη αύξησης του αριθμού των εικόνων εκπαίδευσης είτε με τεχνικές μετασχηματισμών, είτε με νέα δεδομένα ή πιθανόν με χρήση γενετικού δικτύου για παραγωγή εικόνων (Generative Adversarial Network). Εν κατακλείδι τα αποτελέσματα ταξινόμησης κρίνονται ιδιαιτέρως καλά, με περιθώρια βελτίωσης. Έτσι σηματοδοτείται μια νέα πορεία έρευνας για την εξέλιξη της διαδικασίας της ερμηνείας των δεδομένων γεωραντάρ.