Statistical methods and experimental design for agreement and similarity studies between open-source software and hardware devices, and corresponding agriculture technology (agritech) market devices

Abstract

The present PhD thesis aims to contribute to methodological approaches regarding the assessment of agreement and similarity between open-source devices and their corresponding commercials using statistical methods and experimental design. Open-source devices can be found in a vast number of fields like medicine, education, agriculture, sports, biology, research, and others. This thesis focuses on the development of a methodology applied in four open-source devices designed and developed to assess experiments in agricultural applications and research. Chapter 1 provides a brief introduction on the factors that contributed to the emergence of open-source devices. Moreover, open software and hardware are defined, and their applications in precision agriculture, smart farming and research are summarized. The open-source philosophy and the free distribution of knowledge for any individual interested in replicating, modifying, or creating such devices while sharing all the materials needed for its design is emphasized. Examples of publications and advantages of open-source devices are presented while acknowledging the need to develop a framework to assess the functionality and the reliability of their outputs. Specifically, the meanings of method comparison studies, agreement and similarity are defined and their contribution in assessing if two devices can be used interchangeably. Chapter 2 outlines the methodology used to assess the agreement and similarity between open-source and their corresponding industrial devices. Specifically, it provides an extended discussion for the usage of various models for fitting data produced by the devices under investigation and the evaluation of indices and graphs that are interpreted easily even by non-statisticians. Moreover, in case of concluding nonacceptable agreement between the device’s measurements, sources of disagreement can be identified, and even corrective actions can be applied to improve the agreement. Advantages and disadvantages of the approaches for agreement and similarity assessment are presented. This chapter also discusses the analysis followed according to the nature of the research and proper formulation of the experimental design along with key steps for the development of valid method comparison studies. Moreover, misleading, or incomplete methods to evaluate agreement and similarity between two devices are presented. Last, a summary of the methodology and the open-source hardware and software used to design and develop the devices is presented. In Chapter 3 an open-source wireless weather station that measures air temperature and humidity was designed and developed. First, its functionality was evaluated by monitoring its readings via Wi-Fi for seven days. Then, a method comparison study was designed between the device and a corresponding commercial weather station using a Thygro sensor from Symmetron. The experimental design and three methodologies that use mixed-effects models were presented along with their provision to assess the two device’s agreement. Thirty open-source devices were constructed and three commercial weather stations were used for the experiment. Three clusters were created with a ratio of ten open-source devices for one industrial. Each subject produced a trajectory of measurements over time. The experiment was terminated after seven days of continuous measurements. Since, the measurements per subject were more than 220 for some days (loss of data due to inappropriate connectivity) they were summarized in eight times zones according to the National Observatory of Athens. Two of the methodologies were applied successfully and an index was produced. The agreement is considered low, and a possible source of disagreement is the precision of the two instruments. Further research needs to be performed to include all the data occasions per day and not just the summary. Moreover, covariates such as air humidity or location of the cluster must be included in the study. Due to its modular nature, other sensors can be added and alternative wireless communication such as LoRa can be established in the open-source weather station. The advantages of using open-source weather stations are their low cost for production and modularity. In Chapter 4 a wireless LoRa open-source logger was designed and developed to aid aquaponics experiments with cultivations in perlite slabs. Specifically, the open-source logger is compatible with RS-485 soil/ soilless water content sensors. Moreover, the sensor used in the experiment can also record temperature, electrical conductivity, and pH of the slab. After testing the device and assessing its proper functionality, a method comparison study was designed to assess the agreement between the open-source device and a commercial, Handheld Meter (HH150) and SM150 Soil Moisture Sensor. The sample size was 100 perlite slabs. A measurement-error model was used to estimate the bias of the open-source device compared to the best unbiased linear predictor of the water content’s true value using the measurements taken from the commercial device. The results of the analysis reported significant differential and proportional bias but acceptable agreement for specific intervals of the measurement range, depending on the application. The advantages of using open-source devices compared to commercials is the low cost and the increased configurability of the device’s functions. Since perlite’s water content is not homogeneous along the slab, information on the water content for more than one point per slab is essential as inputs for precise water content estimation using specific algorithms. In Chapter 5 an open-source pH logger was designed and developed to assist experiments regarding pomology topics. Specifically, the device was calibrated manually using pH buffers for values of 4.01 and 7.01. Then it was tested by measuring pH from juice of citrus fruits. A waterproof temperature sensor was added to the device for temperature compensation when measuring pH. A method comparison study between the open-source device and a Hanna HI9024 Waterproof pHMeter was designed to assess their agreement. Using mixed-effects models, indices and useful graphs were produced using different methodologies. Their advantages and disadvantages for interpreting agreement were discussed. The indices reported mediocre agreement and the similarity analysis reported a fixed bias of -0.2215 pH units as source of disagreement. After using recalibration methods, the agreement improved and was considered excellent. The device is portable and can be used for in situ measurements. Moreover, the cost was substantially lower (more than 4 times lower) compared to Hanna HI9024. Future research can assess the measurements validity of the open-source device on different soil types and soilless substrates. Last, more sensors can be added to the device and more information can be retrieved from samples simultaneously while measuring for pH. In Chapter 6 an inexpensive custom-made device was designed and developed to aid experiments regarding the Mediterranean fruit fly (medfly), Ceratitis capitata. The open-source device records core, surface and external temperature of a fruit and was tested in laboratory conditions and further in field experiments of interest. For the field experiments, the device was placed on specific locations on different types of trees. Its shape and size make the device ideal to be placed in any setting the researcher wishes to investigate. The device is battery-operated and can last from 7 to 30 days depending on the logging interval. A method comparison study was designed to compare the temperature values captured by the core and the surface sensor in different conditions. Since the goal of this research was to quantify the bias between the temperature of the two locations, the differential and proportional bias was estimated using measurement-error models. The results reported a differential bias of 0.331ºC and a proportional bias of 0.982. Moreover, the precision comparison of the two sensors suggests that the core sensor maintains each temperature for more time compared to the surface sensor. Last, wireless technology such as LoRa can be added to the device with no hardware alteration. Solar panels can make the device energy-efficient and the use of a precise RTC to improve the sleep modes allows the device to function for months without replacing the battery due to its low-power consumption functionality. Chapter 7 concludes all the previous chapters along with all the findings and future work. Chapter 8 summarizes the contribution of this thesis.

Η παρούσα διατριβή έχει ως στόχο να συνεισφέρει στις μεθοδολογικές προσεγγίσεις που αφορούν την αξιολόγηση της συμφωνίας και ομοιότητας μεταξύ συσκευών ανοιχτού κώδικα και υλικού σε σχέση με αντίστοιχες εμπορικές με τη χρήση στατιστικών μεθόδων και πειραματικού σχεδιασμού. Οι συσκευές ανοιχτού κώδικα και υλικού χρησιμοποιούνται σε μεγάλο αριθμό εφαρμογών σε τομείς υγείας, εκπαίδευσης, γεωπονίας, αθλημάτων, βιολογίας, έρευνας και άλλων. Η παρούσα διατριβή εστιάζει στους τομείς της γεωπονίας και έρευνας. Το Κεφάλαιο 1 παρουσιάζει μία σύντομη εισαγωγή για τους παράγοντες που έχουν συνεισφέρει στην διάδοση των συσκευών ανοιχτού κώδικα και υλικού. Επιπλέον παραθέτει ορισμούς για τον ανοιχτό κώδικα και το υλικό όπως και την περιγραφή των εφαρμογών τους στη γεωργία ακριβείας, έξυπνη γεωργία και έρευνα. Ακόμα επισημαίνει τη φιλοσοφία του ανοιχτού κώδικα και υλικού όπως και την ελεύθερη διάδοση της γνώσης για κάθε άνθρωπο που επιθυμεί να αντιγράψει, τροποποιήσει ή δημιουργήσει συσκευές της συγκεκριμένης φιλοσοφίας ενώ ταυτόχρονα μοιράζεται τη διαδικασία και όλα τα υλικά και μεθόδους που χρησιμοποίησε. Παρουσιάζονται παραδείγματα δημοσιεύσεων που αφορούν τη συγκεκριμένη φιλοσοφία όπως και τα πλεονεκτήματα χρήσης τους ενώ αναγνωρίζεται η ανάγκη ανάπτυξης πλαισίου για την αξιολόγηση των λειτουργιών και της αξιοπιστίας των μετρήσεων των συγκεκριμένων συσκευών. Συγκεκριμένα, ορίζεται η έννοια των ερευνών συμφωνίας και ομοιότητας και η συνεισφορά τους στην αξιολόγηση και στον θετικό ή αρνητικό προσδιορισμό της χρήσης των δύο συσκευών εναλλακτικά χωρίς να επηρεάζει κάποιο αποτέλεσμα. Το Κεφάλαιο 2 περιγράφει τις μεθοδολογίες που χρησιμοποιήθηκαν για την αξιολόγηση της συμφωνίας και ομοιότητας μεταξύ συσκευών ανοιχτού κώδικα και των αντίστοιχων εμπορικών. Συγκεκριμένα, παρέχει μία εκτεταμένη συζήτηση για τη χρήση διαφορετικών μοντέλων ανάλογα με τα δεδομένα που παράγονται από συσκευές υπό διερεύνηση και την αξιολόγηση δεικτών και γραφημάτων που ερμηνεύονται εύκολα ακόμα και από άτομα χωρίς ιδιαίτερη εμπειρία στη στατιστική. Επιπλέον, σε περίπτωση που το συμπέρασμα της έρευνας καταλήγει σε μη αποδεκτή συμφωνία, πιθανές πηγές ασυμφωνίας μπορούν να εντοπιστούν και μέθοδοι διόρθωσης της συμφωνίας μπορούν να εφαρμοστούν. Ακόμα, αναφέρονται τα πλεονεκτήματα και μειονεκτήματα κάθε προσέγγισης για την αξιολόγηση της συμφωνίας και ομοιότητας. Περαιτέρω παρουσιάζεται ο πειραματικός σχεδιασμός και η στατιστική ανάλυση που ακολουθείται ανάλογα με τη φύση της έρευνας καθώς και τα βήματα για τον έγκυρο σχεδιασμό της. Επιπλέον παρουσιάζονται λανθασμένες ή ελλείπεις μέθοδοι αξιολόγηση της συμφωνίας και ομοιότητας μεταξύ δύο συσκευών. Τέλος, αναφέρονται συνοπτικά οι μεθοδολογίες όπως το υλικό και το λογισμικό που χρησιμοποιήθηκε για το σχεδιασμό των συσκευών για την ολοκλήρωση της διατριβής. Στο Κεφάλαιο 3 παρουσιάζεται ο σχεδιασμός και η ανάπτυξη ενός ασύρματου μετεωρολογικού σταθμού ανοιχτού κώδικα και υλικού που μετρά τη θερμοκρασία και υγρασία του περιβάλλοντος. Αρχικά, αξιολογείται η λειτουργία του σταθμού παρακολουθώντας τις μετρήσεις μέσω ασύρματης τεχνολογίας Wi-Fi για επτά μέρες. Έπειτα, σχεδιάζεται πείραμα αξιολόγησης συμφωνίας και ομοιότητας του σταθμού με αντίστοιχο εμπορικό με αισθητήρα Thygro και τα αντίστοιχα περιφερειακά από την εταιρεία Symmetron. Αναφέρεται ο πειραματικός σχεδιασμός καθώς και η χρήση μοντέλων μεικτών επιδράσεων μαζί με τη συνεισφορά τους στη σύγκριση των δύο συσκευών. Για το πείραμα κατασκευάστηκαν τριάντα συσκευές ανοιχτού κώδικα και υλικού και χρησιμοποιήθηκαν τρείς αντίστοιχοι εμπορικοί σταθμοί. Για τον λόγο αυτό δημιουργήθηκαν τρείς ομάδες. Κάθε ομάδα περιέχει 10 σταθμούς ανοιχτού κώδικα και υλικού και μία εμπορική. Κάθε πειραματική μονάδα παράγει ένα σύμπλεγμα μετρήσεων σε συνάρτηση του χρόνου. Το πείραμα τερματίστηκε μετά από επτά μέρες συνεχόμενων μετρήσεων. Καθώς οι μετρήσεις ανά πειραματική μονάδα ήταν πάνω από 220 για κάποιες μέρες (αφού υπήρχαν απώλειες δεδομένων λόγω κακής σύνδεσης στο διαδίκτυο) οι μετρήσεις συγχωνεύτηκαν σε χρονικές ζώνες, με τη μέθοδο που χρησιμοποιεί το Εθνικό Αστεροσκοπείο Αθήνας. Μόνο δύο από τις τρείς μεθοδολογίες συμφωνίας και ομοιότητας υλοποιήθηκαν με επιτυχία και εκτιμήθηκε ένας δείκτης συμφωνίας. Η συμφωνία μεταξύ των συσκευών θεωρήθηκε ανεπαρκής και ως πιθανή πηγή ασυμφωνίας θεωρήθηκε η ακρίβεια των αισθητήρων. Περεταίρω έρευνα μπορεί να υλοποιηθεί για να συμπεριληφθούν όλα τα σημεία των μετρήσεων όπως και επιπλέον παράγοντες που πιθανόν να επηρεάζουν τη συμφωνία, όπως η υγρασία του αέρα ή η τοποθεσία κάθε σταθμού. Τέλος, εναλλακτικές μορφές ασύρματης επικοινωνίας όπως η LoRa μπορούν να προστεθούν στο σταθμό όπως και επιπλέον αισθητήρες. Τα πλεονεκτήματα χρήσης της νέας συσκευής στηρίζονται στο χαμηλό κόστος παραγωγής του όπως και στην εύκολη μορφοποίηση και προσθήκη επιπλέον αισθητήρων. Στο Κεφάλαιο 4 παρουσιάζεται ο σχεδιασμός και η κατασκευή ενός ασύρματου καταγραφέα LoRa ανοιχτού κώδικα και υλικού για τη χρήση σε πειράματα ενυδρειοπονίας σε σάκους υποστρώματος περλίτη. Συγκεκριμένα, η νέα συσκευή είναι συμβατή με αισθητήρες περιεκτικότητας νερού, με πρωτόκολλο επικοινωνίας RS-485. Επιπλέον, ο αισθητήρας που χρησιμοποιήθηκε για το συγκεκριμένο πείραμα μετρά τη θερμοκρασία του σάκου υποστρώματος, την ηλεκτρική αγωγιμότητα καθώς και το pH. Μετά τον έλεγχο καλής λειτουργίας του καταγραφέα, σχεδιάστηκε το πείραμα αξιολόγησης συμφωνίας και ομοιότητας της νέας συσκευής με αντίστοιχη εμπορική. Συγκεκριμένα η εμπορική συσκευή που χρησιμοποιήθηκε για το πείραμα είναι η Handheld Meter (HH150) and SM150 Soil Moisture Sensor. Το μέγεθος δείγματος ήταν 100 σάκοι υποστρώματος περλίτη. Επιπλέον, για την ανάλυση χρησιμοποιήθηκε μοντέλο μέτρησης-σφαλμάτων για την εκτίμηση της διαφοράς στις μετρήσεις σε σχέση με τον καλύτερο γραμμικό αμερόληπτο παράγοντα πρόβλεψης της πραγματικής τιμής της μέτρησης που παράχθηκαν από την εμπορική συσκευή. Τα αποτελέσματα ανέφεραν σημαντική απόκλιση από την εκτίμηση της πραγματικής τιμής των μετρήσεων παραθέτοντας το σταθερό και αναλογικό σφάλμα. Η συμφωνία των δύο οργάνων θεωρήθηκε ικανοποιητική για συγκεκριμένα διαστήματα μετρήσεων. Τα πλεονεκτήματα χρήσης της νέας συσκευής συγκριτικά με της εμπορικής είναι το χαμηλό κόστος παραγωγής και η ευκολία μορφοποίησης της ανάλογα με τις ανάγκες των πειραμάτων. Ο σάκος υποστρώματος περλίτη έχει αρκετή παραλλακτικότητα ως προς την περιεκτικότητα του σε νερό. Επομένως η χρήση πολλαπλών αισθητήρων σε διαφορετικά σημεία του σάκου είναι θεμελιώδης και αποτελεί βασική απαίτηση ως εισροή πληροφορίας σε αλγόριθμους πρόβλεψης περιεκτικότητας νερού στο σάκο. Στο Κεφάλαιο 5 παρουσιάζεται ο σχεδιασμός και η κατασκευή καταγραφέα ανοιχτού κώδικα και υλικού που μετρά pH διαλυμάτων για τη χρήση σε πειράματα Δενδροκομίας. Για τη βαθμονόμηση της συσκευής χρησιμοποιήθηκαν ρυθμιστικά διαλύματα pH τιμών 4,01 και 7,01. Έπειτα αξιολογήθηκε η καλή λειτουργία της συσκευής μετρώντας το pH καρπών εσπεριδοειδών. Στη συσκευή προστέθηκε αδιάβροχος αισθητήρας θερμοκρασίας για την εξισορρόπηση της τιμής pH. Επιπλέον, σχεδιάστηκε μελέτη αξιολόγησης της συμφωνίας και ομοιότητας της νέας συσκευής με αντίστοιχη εμπορική. Συγκεκριμένα, η εμπορική συσκευή που επιλέχθηκε είναι η Hanna HI9024 Waterproof pHMeter. Για την ανάλυση χρησιμοποιήθηκαν μοντέλα μεικτών επιδράσεων και παράχθηκαν δείκτες και χρήσιμα γραφήματα υλοποιώντας παραπάνω από μία μεθοδολογίες. Έπειτα, αναφέρθηκαν τα πλεονεκτήματα και τα μειονεκτήματα κάθε μεθοδολογίας. Τα αποτελέσματα έδειξαν μη αποδεκτή συμφωνία μεταξύ των δύο οργάνων. Η ανάλυση ομοιότητας ανέφερε σταθερή απόκλιση -0.2215 μονάδων pH. Μετά τη χρήση μεθόδων αναβαθμονόμησης η συμφωνία θεωρείται άριστη. Η συσκευή είναι φορητή και μπορεί να χρησιμοποιηθεί για “επι τόπου” μετρήσεις στον αγρό ή στο θερμοκήπιο. Τα πλεονεκτήματα χρήσης της συσκευής είναι το χαμηλό κόστος παραγωγής, περίπου 4 φορές μικρότερο συγκριτικά με τη Hanna HI9024. Περαιτέρω έρευνα μπορεί να υλοποιηθεί για τη χρήση της συσκευής για τη μέτρηση pH εδάφους ή θρεπτικών υποστρωμάτων. Τέλος, επιπλέον αισθητήρες μπορούν να τοποθετηθούν εύκολα στη συσκευή για την ταυτόχρονη άντληση περισσότερων πληροφοριών για τα χαρακτηριστικά του δείγματος. Στο Κεφάλαιο 6 περιγράφεται η κατασκευή συσκευής ανοιχτού κώδικα και υλικού για τις ανάγκες πειραμάτων που αφορούν τη μύγα της Μεσογείου (Ceratitis Capitata). Η συσκευή καταγράφει τη θερμοκρασία στην επιφάνεια και τον πυρήνα καρπών όπως και την εξωτερική θερμοκρασία. Επιπλέον, αξιολογήθηκε η λειτουργία της στο εργαστήριο αλλά και στον αγρό. Για τα πειράματα στον αγρό η συσκευή τοποθετήθηκε σε συγκεκριμένα σημεία σε ποικιλία δέντρων. Το σχήμα αλλά και το μέγεθος της συσκευής καθιστά ιδανική την τοποθέτηση του σε οποιοδήποτε σημείο του δέντρου επιθυμεί ο ερευνητής. Η συσκευή είναι φορητή και λειτουργεί με μπαταρία. Η αυτονομία της μπορεί να φτάσει στις 7 έως 30 μέρες ανάλογα με το χρονικό διάστημα καταγραφής. Έπειτα σχεδιάστηκε μελέτη συμφωνίας και ομοιότητας για τη σύγκριση της θερμοκρασίας του πυρήνα και της επιφάνειας του καρπού καθώς ο στόχος του πειράματος ήταν η ποσοτικοποίηση της απόκλισης των θερμοκρασιών των δύο σημείων σε διαφορετικές συνθήκες. Για την ανάλυση χρησιμοποιήθηκαν μοντέλα μέτρησης-σφαλμάτων. Τα αποτελέσματα αναφέρουν σταθερή απόκλιση 0,331℃ καθώς και αναλογική απόκλιση 0,982. Επιπλέον, η σύγκριση ακρίβειας των μετρήσεων στα δύο σημεία υποδηλώνει ότι ο πυρήνας διατηρεί τη θερμοκρασία περισσότερο συγκριτικά με την επιφάνεια σε διαφορετικές συνθήκες. Τέλος, σε μελλοντικές μελέτες, ασύρματη τεχνολογία LoRa μπορεί να προστεθεί στη συσκευή, ηλιακοί συλλέκτες για περισσότερη αυτονομία καθώς και ρολόι ακριβείας για την καλύτερη λειτουργία των κύκλων αδρανοποίησης της συσκευής. Με τις συγκεκριμένες τροποποιήσεις η συσκευή μπορεί να λειτουργεί για μήνες λόγω των λειτουργιών χαμηλής κατανάλωσης. Το κεφάλαιο επτά αποτελεί μία γενική συζήτηση για τα προηγούμενα κεφάλαια καθώς και τα ευρήματα κάθε μελέτης. Τέλος αναφέρονται μελλοντικές έρευνες για την τροποποίηση των συσκευών καθώς και για τη βελτίωση των μεθόδων συμφωνίας και ομοιότητας.Το κεφάλαιο οκτώ συμπεριλαμβάνει τα συμπεράσματα αλλά και τη συνεισφορά και καινοτομία της διατριβής.