Aνίχνευση και εντοπισμός μεταβολών κτισμάτων από εικόνες και νέφη σημείων

Abstract

The technological development in the fields of image processing, computer vision and digital photogrammetry and remote sensing, provides new tools and automated solutions for applications in urban studies, cadastre, etc, associated with urban development, identification of illegal constructions, 3D modeling, change detection, etc. Apart from the traditional techniques that utilize purely aerial or satellite imagery, recent approaches exploit 3D point clouds captured from aerial laser scanning systems (LIDAR) or extracted from Dense Image Matching (DIM) methods. Building extraction, change detection and roof segmentation from images and point clouds are topics of high research interest as they are useful for urban city monitoring. These topics still remain challenging due to the increasing demands for accuracy, rapidity and economy. The present Phd thesis provides an integrated, extensive and detailed methodology for building extraction change detection and roof segmentation using images and point clouds and applying sophisticated methods. Several complex urban regions of various types of buildings, pixel resolutions and types of data are examined. To verify the utility and functionality of the proposed methodology, the corresponding 3D models of the buildings are extracted.Initially, the differences between the LIDAR and DIM point clouds were highlighted in terms of robustness and efficiency through direct point cloud comparison as well as by using the corresponding orthoimages. The results shown that the LIDAR point clouds not only describe with fidelity the objects of the scene but also present a global homogenous behavior either at urban or sub-urban areas. However, LIDAR point clouds suffer in some cases from noise and local under-sampling indicating local lack of spatial information at building’s boundaries. On the other side, the DIM is a low cost and flexible solution with promising results. The DIM point clouds and the corresponding orthoimages achieved satisfying results at sub-urban areas. However, weak in urban areas with intense relief or depth discontinuities indicating excessive interpolations and radiometric lesions at building’s boundaries due to occlusions or possible mismatches. The aforementioned issues, both for LIDAR and DIM point clouds, affect the building extraction, change detection and roof segmentation results.Dependent on the data source employed, building extraction, change detection and roof segmentation techniques can be classified into three groups: i) the ones that use radiometric information (airborne or satellite imagery data), ii) the ones that exploit height information (LIDAR or DIM point clouds), and iii) those that combine both of data sources. However, the limitations of using information from multi-modal sources (e.g., LIDAR and imagery data) are the additional cost of acquisition and processing and the co-registration related issues. For this reason, the present doctoral dissertation focuses on the combination of data that are extracted from one sensor, i.e., either from camera devices (aerial images combined with the corresponding DIM point clouds) or from laser scanning systems (LIDAR point clouds combined with the corresponding proper geometric/morphological features). The proposed methodology achieves similar building extraction results with other approaches that utilize multi-modal sources. Also, the building extraction results extracted from the aerial images combined with the corresponding DIM point clouds were similar with those extracted from the LIDAR point clouds combined with the corresponding proper geometric/morphological features. Usually, the approaches of building extraction and change detection are discriminated into the ones that apply supervised machine learning and those that use model-based methods. In this research, both approaches are performed. More specifically, a deep machine learning scheme through CNNs (Convolutional Neural Networks) was developed as well as a new model-based scan line smooth filtering method was proposed. The extracted building detection results from the supervised machine learning and model-based methods can be considered as similar. This was verified by comparing the CNN with other model-based methods at the ISPRS (International Society for Photogrammetry and Remote Sensing) benchmark dataset. Also, in this research, the various factors that indicate the appropriateness of each of the two approaches are discussed. Additionally, the CNN was compared with other shallow and non-linear machine learning schemes such SVMs (Support Vector Machines) και ANN (Artificial Neural Network). The results indicate the clear predominance of the CNN. However, the CNN weak in computational complexity compared to the SVM classifiers. The use of a better CPU and more RAM capacity as well as the implementation of methods that accelerate the learning phase can significantly speed the processing. Concerning the roof segmentation from point clouds, the mostly used data driven plane detection techniques are region growing, RANSAC and Hough methods. The SHT (3D Standard Hough Transform) and its variation, the RHT (3D Randomized Hough Transform), are the most popular Hough methods. In this research, a new accumulator design and novel extensions of the RHT are proposed associated with: 1) additional constraint criteria during the random selection of the 3 points, 2) an additional normal tolerance regarding the detected plane, 3) automatic selection of sub-regions surround adaptive center points, and 4) automatic descent tuning process of parameters. Thus, five variations of the RHT were developed namely iRHT, ΕRHT, eΕRHT, APRHT-C and APRHT-R. A sensitivity analysis of each variation was carried out through extensive experiments using simulated data as well as real life LIDAR and DIM point clouds of several types of buildings. The iRHT led to under-segmented, spurious and over-segmented planes even for typical cases of buildings. The eERHT, APRHT-C and APRHT-R achieved better results compared to the ERHT at complex buildings and building structures of special architecture. The eERHT, APRHT-C and APRHT-R achieved similar results, however, the computational time of the eERHT was significantly higher compared to the two APRHTs. Nevertheless, the ERHT achieves satisfying results for typical cases of buildings after a post processing strategy absorbing spurious and over-segmented planes. The comparison with RANSAC indicated a clear predominance of the ERHT. However, under-segmented planes and local distortions at the boundaries of small planes occurred, which is challenge for further improvement of the refinement process. Connectivity criteria or strict tuning of the APRHT-C and APRHT-R may overcome the under-segmentation problem. The 3D models of the buildings extracted via the ERHT and APRHT-C were qualitative evaluated illustrating their potential for 3D modeling in LoD 1 and LoD 2.

Η συνεχής τεχνολογική εξέλιξη στα πεδία της γεωπληροφορικής και ειδικότερα της επεξεργασίας εικόνας (image processing), της όρασης υπολογιστών (computer vision), της Φωτογραμμετρίας (photogrammetry) και της Τηλεπισκόπησης (remote sensing), παρέχει νέα εργαλεία και αυτοματοποιημένες λύσεις για εφαρμογή σε μελέτες πολεοδομίας, χωροταξίας και κτηματολογίου. Εκτός από τις παραδοσιακές τεχνικές, που κάνουν χρήση δεδομένων που περιέχουν αμιγώς ραδιομετρική πληροφορία (εναέριες ή δορυφορικές εικόνες) για την αυτόματη ανίχνευση και κατάτμηση αντικειμένων ενδιαφέροντος ή την ταξινόμηση μίας περιοχής μελέτης, τα τελευταία χρόνια, η επιστημονική κοινότητα έχει στραφεί στη χρήση τρισδιάστατων (3Δ) νεφών σημείων, που προέρχονται είτε από εναέρια συστήματα LIDAR (LIght Detection and Ranging) είτε από τεχνικές πυκνής συνταύτισης εικόνων (Dense Image Matching-DIM). Από την εκτενή ανασκόπηση και διερεύνηση της σχετικής διεθνούς βιβλιογραφίας, προέκυψε πως η ανίχνευση, η κατάτμηση και ο εντοπισμός μεταβολών κτισμάτων από εικόνες και νέφη σημείων αποτελούν θέματα με προοπτική, δυναμική και μεγάλο ερευνητικό ενδιαφέρον, λόγω των ολοένα και μεγαλύτερων απαιτήσεων για ακρίβεια, ταχύτητα και οικονομία. Στην παρούσα διατριβή γίνεται εκτενής και λεπτομερής προσέγγιση των επιστημονικών πεδίων της ανίχνευσης, της κατάτμησης και του εντοπισμού μεταβολών κτισμάτων από εικόνες και νέφη σημείων μέσα από την ανάπτυξη μίας ολοκληρωμένης μεθοδολογίας, με πρωτότυπα στοιχεία στα επιμέρους στάδιά της. Τα αποτελέσματα που προκύπτουν από το κάθε στάδιο αξιοποιούνται στο επόμενο έτσι ώστε τελικά να παραχθούν τα 3Δ μοντέλα κτισμάτων σε διάφορα επίπεδα λεπτομέρειας (Levels of Detail-LoDs). Πιο συγκεκριμένα, πραγματοποιήθηκε ποιοτική και ποσοτική σύγκριση μεταξύ νεφών σημείων από LIDAR και DIM, αλλά και φωτογραμμετρικών προϊόντων (ορθοεικόνες) σε σύνθετες αστικές περιοχές με ιδιαίτερη αρχιτεκτονική και έντονες ασυνέχειες βάθους όπως και σε ημι-αστικές περιοχές. Ανάμεσα στα συμπεράσματα που προέκυψαν αξίζει να σημειωθεί ότι στις ημι-αστικές περιοχές, όπου το ανάγλυφο ήταν πιο ήπιο και χωρίς πολλές ανθρωπογενείς κατασκευές, οι διαφορές μεταξύ των δύο τύπων νεφών σημείων ήταν μικρές. Αυτό είχε ως αποτελέσματα την επίτευξη παρόμοιων ακριβειών στις παραγόμενες ορθοεικόνες. Αντιθέτως, στις αστικές περιοχές όπου παρατηρήθηκαν έντονες ασυνέχειες βάθους και αποκρύψεις, τα νέφη σημείων από DIM παρουσίασαν σημαντικές τοπικές παραμορφώσεις στα όρια των αντικειμένων. Αυτό είχε επίπτωση και στις παραγόμενες ορθοεικόνες παρουσιάζοντας αντίστοιχες αλλοιώσεις. Για την εξαγωγή των βέλτιστων αποτελεσμάτων στη διαδικασία DIM, απαιτείται η κατάλληλη παραμετροποίηση του εκάστοτε εφαρμοζόμενου αλγορίθμου. Επίσης, η μικρή πυκνότητα του νέφους σημείων από LIDAR είχε ως αποτέλεσμα την απουσία σημαντικής πληροφορίας στα όρια κάποιων κτισμάτων ενώ παράλληλα κάποια μικρά κτίσματα περιγράφηκαν μερικώς. Ωστόσο, τα νέφη σημείων από LIDAR παρουσίασαν ομοιογενείς ακρίβειες στις παραγόμενες ορθοεικόνες των αστικών και των ημι-αστικών περιοχών. Γενικά, τα προβλήματα που εμφανίστηκαν στα όρια των κτισμάτων, τόσο στα νέφη σημείων όσο και στις παραγόμενες ορθοεικόνες, επηρεάζουν σημαντικά τις επόμενες διαδικασίες ανίχνευσης, κατάτμησης και εντοπισμού μεταβολών κτισμάτων.Στο πλαίσιο της διατριβής πραγματοποιήθηκε επίσης η διερεύνηση, αξιολόγηση και συλλογή κατάλληλων στοιχείων (κανάλια, δείκτες και χαρακτηριστικά) από τη διεθνή βιβλιογραφία με σκοπό την αξιοποίηση δεδομένων που προέρχονται μόνο από έναν δέκτη, δηλαδή είτε μόνο από φωτογραφική μηχανή (εικόνες ή και νέφη σημείων από DIM) είτε μόνο από εναέριο σαρωτή laser (νέφη σημείων από LIDAR). Δόθηκε έμφαση στα στοιχεία μέσω των οποίων επιτυγχάνεται ο διαχωρισμός των κτισμάτων από άλλα αντικείμενα όπως βλάστηση, έδαφος, δρόμοι κ.ά. Τα στοιχεία αυτά αφορούσαν είτε εναέριες εικόνες υψηλής ανάλυσης (ραδιομετρική πληροφορία) είτε νέφη σημείων από LIDAR ή DIM (υψομετρική πληροφορία). Αποδείχθηκε πως οι προτεινόμενες μεθοδολογίες που αξιοποιούν δεδομένα από ένα δέκτη και κάνουν είτε συνδυασμό ραδιομετρικής και υψομετρικής πληροφορίας (ορθοεικόνες με νέφη σημείων από DIM) είτε συνδυασμό κατάλληλων χαρακτηριστικών υψομετρικής πληροφορίας (για νέφη σημείων από LIDAR), πετυχαίνουν παρόμοιες ακρίβειες μεταξύ τους αλλά και παρόμοιες ακρίβειες με άλλες μεθοδολογίες που χρησιμοποιούν υψηλού κόστους ετερογενή δεδομένα (ορθοεικόνες με νέφη σημείων από LIDAR). Παράλληλα, αναπτύχθηκαν δύο προσεγγίσεις για την ανίχνευση κτισμάτων και τον εντοπισμό των μεταβολών τους οι οποίες εφαρμόζουν: 1) τεχνικές μηχανικής μάθησης (machine learning), και 2) τεχνικές παραμετρικής μοντελοποίησης (model-based). Οι μέθοδοι εφαρμόστηκαν σε πληθώρα περιοχών μελέτης (ελληνικών και μη) και διαφόρων τύπων κτισμάτων, όπως και δεδομένων με διαφορετική ανάλυση προερχόμενα από διάφορους δέκτες. Συγκεκριμένα, αναπτύχθηκαν ένας αλγόριθμος βαθιάς μηχανικής μάθησης μέσω CNN (Convolutional Neural Network ή αλλιώς Συνελικτικό Νευρωνικό Δίκτυο), και μια νέα τεχνική ενίσχυσης χαρακτηριστικών μέσω συνέλιξης ανά γραμμής σάρωσης (scan line smooth filtering). Τόσο τα πειραματικά αποτελέσματα όσο και οι συγκρίσεις με άλλες τεχνικές της διεθνούς βιβλιογραφίας σε σετ δεδομένων αναφοράς της ISPRS (International Society for Photogrammetry and Remote Sensing), έδειξαν πως και οι δύο προσεγγίσεις μπορούν να επιτύχουν παρόμοιες ακρίβειες. Η επιλογή για το ποια από τις δύο προσεγγίσεις θεωρείται καταλληλότερη για την κάθε εφαρμογή εξαρτάται από διάφορους παράγοντες οι οποίοι επισημαίνονται στην παρούσα έρευνα. To CNN συγκρίθηκε και με άλλες ρηχές και τυπικές τεχνικές μηχανικής μάθησης όπως SVMs (Support Vector Machines ή αλλιώς Μηχανές Υποστήριξης Διανυσμάτων) και ANN (Artificial Neural Network ή αλλιώς Τεχνητό Νευρωνικό Δίκτυο) και αναδείχθηκε η σαφής υπεροχή του στις επιτυγχανόμενες ακρίβειες χρησιμοποιώντας μάλιστα μικρά ποσοστά δειγμάτων εκπαίδευσης. Ωστόσο, ο συνολικός υπολογιστικός χρόνος εκτέλεσης του CNN και ειδικότερα ο χρόνος εκπαίδευσης του είναι πολύ μεγαλύτερος από τις τεχνικές SVMs. Το πρόβλημα του μεγάλου υπολογιστικού χρόνου του CNN μπορεί να μειωθεί σημαντικά κάνοντας χρήση ενός σταθμού εργασίας με μεγαλύτερες δυνατότητες. Η χρήση μονάδας GPU ή/και η εφαρμογή εξελιγμένων τεχνικών μάθησης μπορούν επίσης να επιταχύνουν τη διαδικασία μάθησης.Από την άλλη, ο SHT (3D Standard Hough Transform) και η μεταγενέστερη παραλλαγή του, ο RHT (3D Randomized Hough Transform), που μειώνει σημαντικά τον υπολογιστικό χρόνο του πρώτου, είναι δύο δημοφιλείς αλγόριθμοι, που ανήκουν στην κατηγορία των καθοδηγούμενων από τα δεδομένα μεθόδων (data driven) για την κατάτμηση οροφών κτισμάτων από νέφη σημείων. Αναπτύχθηκε νέα αρχιτεκτονική του συσσωρευτή στον παραμετρικό χώρο Hough και προτάθηκαν νέες επεκτάσεις του RHT, όπως: 1) πρόσθετοι γεωμετρικοί περιορισμοί αποκοπής για τη συλλογή της τριάδας σημείων, 2) πρόσθετο κριτήριο επιλογής για τον εντοπισμό των σημείων που ανήκουν στο προσδιορισθέν κυρίαρχο επίπεδο, 3) αυτόματη επιλογή υπο-περιοχών μέσω προσαρμοστικών σημείων, και 4) αυτόματη καθοδική ρύθμιση παραμέτρων. Βάσει των προτεινόμενων επεκτάσεων και της αρχιτεκτονικής του συσσωρευτή, προτάθηκαν πέντε παραλλαγές του RHT (iRHT, ΕRHT, eΕRHT, APRHT-C και APRHT-R) στις οποίες έγινε ανάλυση ευαισθησίας των παραμέτρων τους μέσα από εκτενείς πειραματικές εφαρμογές σε διάφορα είδη δεδομένων και τύπους κτισμάτων. Η εφαρμογή του iRHT σε τυπικές περιπτώσεις κτισμάτων οδήγησε σε υπο-κατατμημένα, πλασματικά και υπερ-κατατμημένα επίπεδα. Οι eERHT, APRHT-C και APRHT-R ανταποκρίθηκαν καλύτερα σε σχέση με τον ERHT σε κατασκευές με αρχιτεκτονικές ιδιαιτερότητες και σε σύνθετες περιπτώσεις κτισμάτων. Παρά το γεγονός πως οι eERHT, APRHT-C και APRHT-R εξαγάγουν παρόμοια αποτελέσματα, οι δύο APRHTs εκτελούνται σε αρκετά μικρότερο υπολογιστικό χρόνο σε σχέση με τον eERHT. Αυτό παρατηρήθηκε τόσο σε κατασκευές με αρχιτεκτονικές ιδιαιτερότητες όσο και σε σύνθετες περιπτώσεις κτισμάτων. Παρόλα αυτά, για τυπικές περιπτώσεις κτισμάτων, ο ERHT εξάγει ικανοποιητικά αποτελέσματα μετά το στάδιο της μετα-επεξεργασίας απορροφώντας κυρίως περιπτώσεις πλασματικών και υπερ-κατατμημένων επιπέδων. Μάλιστα, πέτυχε μεγαλύτερες ακρίβειες από άλλες τεχνικές της διεθνούς βιβλιογραφίας όπως ο RANSAC. Παρόλα αυτά, ακόμα και μετά το στάδιο της μετα-επεξεργασίας, εντοπίστηκαν κάποια τοπικά υπο-κατατμημένα επίπεδα. Αυτά τα επίπεδα μπορούν να απορροφηθούν είτε ενισχύοντας το στάδιο της μετα-επεξεργασίας με πρόσθετες τεχνικές είτε χρησιμοποιώντας αυστηρότερη παραμετροποίηση μέσω της εφαρμογής των APRHT-C και APRHT-R. Αξιολογώντας ποιοτικά τα 3Δ μοντέλα των κτισμάτων που εξήχθησαν με εφαρμογή των ERHT και APRHT-C, προκύπτει ότι μπορούν να αξιοποιηθούν σε πληθώρα εφαρμογών, καθώς καλύπτουν επαρκώς τις προδιαγραφές των LoD 1 και LoD 2.