Crop field monitoring and damage assessment with unmanned aircraft systems and machine learning

Abstract

The purpose of this dissertation is to examine and develop novel Machine Learning (ML) pipelines for crop field monitoring and damage assessment using Unmanned Aircraft Systems (UAS) equipped with a multispectral MicaSense RedEdge optical sensor for precision agriculture and insurance purposes. The crop fields were prepared for or planted with barley, corn, potato, oat, and soybean crops. The multispectral imagery from the UAS was radiometrically corrected and mosaicked. The multispectral reflectance orthomosaics from each surveyed field were used as input features in various algorithms along with associated vegetation index rasters.Firstly, field areas and boundaries were delineated over multiple bare soil fields with the two following ML pipelines: A supervised pixel-based Random Forests (RF) classifier and an unsupervised clustering process using the Mean Shift algorithm. The vectorization process of the resulting maps resulted in mean Area Goodness of Fit (AGoF) greater than 99% and mean Boundary Mean Positional Error (BMPE) lower than 0.6 m, indicating that both ML pipelines are excellent.Secondly, fully planted fields with barley, corn, and oat were surveyed in order to delineate crop areas and boundaries using Pixel-Based Image Analysis (PBIA) and Geographic Object-Based Image Analysis (GEOBIA) with the RF classifier. Both methodologies were highly successful, with a mean AGoF greater than 98% and a mean BMPE lower than 0.8 m.Thirdly, lodging damage on barley crop fields was mapped from two UAS surveys. An RF model was utilized in order to classify lodged and standing barley with an overall validation accuracy of 99.7%. The average AGoF was 97.95%, and the average BMPE was 0.235 m. Finally, the crop health status was assessed through the Green Area Index (GAI) for barley and oat fields. Multiple Linear Models, Support Vector Machines, RF, and Artificial Neural Networks regression algorithms were used in order to produce Green Area Index (GAI) maps of the fields, with RF performing best for GAI prediction. The GAI maps and the regression feature space were used with an RF classifier to generate health status maps of the crop fields with a mean overall accuracy of 94%.

Ο σκοπός αυτής της διατριβής είναι να εξετάσει και να αναπτύξει νέους αλγόριθμους Μηχανικής Μάθησης (ΜΜ) για παρακολούθηση αγροτεμαχίων και εκτίμηση ζημιών χρησιμοποιώντας συστήματα μη επανδρωμένων αεροσκαφών (ΣμηΕΑ) εξοπλισμένα με τον πολυφασματικό οπτικό αισθητήρα MicaSense RedEdge για γεωργία ακριβείας και αγροτικές ασφαλίσεις. Τα χωράφια των καλλιεργειών προετοιμάστηκαν ή φυτεύτηκαν με καλλιέργειες κριθαριού, καλαμποκιού, πατάτας, βρώμης και σόγιας. Οι πολυφασματικές εικόνες από το ΣμηΕΑ διορθώθηκαν ραδιομετρικά και δημιουργήθηκαν ορθομωσαϊκά. Τα ορθομωσαϊκά πολυφασματικής ανάκλασης από κάθε πεδίο που ερευνήθηκε χρησιμοποιήθηκαν ως χαρακτηριστικά εισόδου σε διάφορους αλγόριθμους μαζί με τους σχετικούς χάρτες δεικτών βλάστησης.Πρώτον, οι περιοχές και τα όρια αγροτεμαχίων οριοθετήθηκαν σε πολλαπλά πεδία γυμνού εδάφους με τους δύο ακόλουθους αγωγούς ΜΜ: Επιβλεπόμενη ταξινόμηση εικονοστοιχείων με τυχαία δάση (ΤΔ) και μια διαδικασία ομαδοποίησης χωρίς επίβλεψη χρησιμοποιώντας τον αλγόριθμο Μέσης Μετατόπισης. Η διαδικασία διανυσματικής διαμόρφωσης των χαρτών που προέκυψαν οδήγησε σε μέσο Δείκτη Ικανοποιητικής Εφαρμογής Περιοχής (ΔΙΕΠ) μεγαλύτερο από 99% και μέσο όρο Σφάλματος Μέσου Όρου Θέσης (ΣΜΟΘ) χαμηλότερο από 0,6μ, υποδεικνύοντας ότι και οι δύο αλγόριθμοι ΜΜ είναι εξαιρετικοί.Δεύτερον, ερευνήθηκαν πλήρως φυτεμένα χωράφια με κριθάρι, καλαμπόκι και βρώμη προκειμένου να οριοθετηθούν οι περιοχές καλλιέργειας και τα όρια χρησιμοποιώντας Ανάλυση Εικόνας Βάσει Εικονοστοιχείων (ΑΕΒΕ) και Ανάλυση Εικόνας Βάσει Γεωγραφικών Αντικειμένων (ΑΕΒΓΑ) με τον ταξινομητή ΤΔ. Και οι δύο μεθοδολογίες ήταν εξαιρετικά επιτυχημένες, με μέσο ΔΙΕΠ μεγαλύτερο από 98% και μέσο ΣΜΟΘ χαμηλότερο από 0,8μ.Τρίτον, οι ζημιές στα χωράφια της κριθής χαρτογραφήθηκαν από δύο έρευνες ΣμηΕΑ. Χρησιμοποιήθηκε ένα μοντέλο ΤΔ για να ταξινομηθεί το κριθάρι που έχει τοποθετηθεί και το όρθιο με συνολική ακρίβεια επικύρωσης 99,7%. Ο μέσος όρος ΔΙΕΠ ήταν 97,95%, και ο μέσος όρος ΣΜΟΘ ήταν 0,235μ.Τέλος, η κατάσταση της υγείας των καλλιεργειών αξιολογήθηκε μέσω του Δείκτη Πράσινης Περιοχής (ΔΠΠ) για τα χωράφια με κριθάρι και βρώμη. Χρησιμοποιήθηκαν αλγόριθμοι παλινδρόμησης πολλαπλών γραμμικών μοντέλων, μηχανών υποστήριξης διανυσμάτων, ραδιοσυχνοτήτων και τεχνητών νευρωνικών δικτύων για την παραγωγή χαρτών του ΔΠΠ των πεδίων, με τον ΤΔ να έχει την καλύτερη απόδοση για την πρόβλεψη ΔΠΠ. Οι χάρτες ΔΠΠ και ο χώρος χαρακτηριστικών παλινδρόμησης χρησιμοποιήθηκαν με έναν ταξινομητή ΤΔ για τη δημιουργία χαρτών κατάστασης υγείας των καλλιεργειών με μέση συνολική ακρίβεια 94%.