Employing zero defects in industrial manufacturing by applying artificial intelligence methods

Abstract

The new era of Industry 4.0 (I4) underscores the importance of flexible, customized production with shorter lead times and less waste of resources. In the complex environment of manufacturing, implementing a zero-defect strategy can be achieved through the use of Artificial Intelligence (AI). The primary objective of this thesis is to integrate zero-defect manufacturing (ZDM) by utilizing AI and more particularly with machine learning (ML) techniques. This PhD thesis has been composed based on a series of technical and experimental sections primarily aimed at enhancing the production process by minimizing defects, reducing costs, and waste products through the presentation and application of advanced ML-based techniques. The methods and tools employed in this thesis are of general purpose and can be utilized across a wide range of industrial operations, irrespective of the production sector. Additionally, this work provides a comprehensive introduction to ML and Deep Learning (DL). It analyzes classification and regression techniques, and presents ensemble learning and Federated Learning (FL) methods. A method for training models, evaluation techniques, metrics, and frameworks for improving the performance of ML/DL algorithms are also presented. The influence of ML to I4 is thoroughly investigated in this work while related work in the field of I4 and ZDM is also discussed. A literature review on concept drift and defect prediction and detection is also included. Furthermore, a literature review on ML-based predictive maintenance and FL is provided, with a unique section on predictive maintenance in Shipping 4.0. This work also includes the implementation and comparison of supervised learning algorithms on a labeled dataset from the offset printing industry to illustrate the performance of ML-assisted approaches for ZDM. This approach resulted in a beneficial machine selection policy that will aid in improving production efficiency, reducing defective products, and mitigating the company's environmental impact. Furthermore, this thesis presents and analyzes concept drift. According to the literature, concept drift is a bottleneck for ZDM. Thus, a small-scale comparison of the influence of different classifiers in DDM is conducted, namely Naïve Bayes (NB), Hoeffding Tree classifier (HT), k-Nearest Neighbors (KNN), Passive Aggressive Classifier (PAC) and Stochastic Gradient Descent (SGD).Finally, this thesis proposes an end-to-end and general-purpose FL scheme to support Predictive Maintenance (PdM) on numerous maritime nodes as well as three practical maritime use cases. Various PdM problems are tested, including regression, classification and time series forecasting using four distinct federated learning algorithms, namely Federated Averaging (FedAvg), Federated Averaging with Momentum (FedAvgM), Federated Averaging Stochastic Gradient Descent (FedSGD) and Federated Averaging with Proximal term (FedProx).

Η νέα εποχή του Βιομηχανίας 4.0 (I4) υπογραμμίζει τη σημασία της ευέλικτης, προσαρμοσμένης παραγωγής με μικρότερους χρόνους παράδοσης και λιγότερη σπατάλη πόρων. Στο σύνθετο περιβάλλον της βιομηχανικής παραγωγής, η εφαρμογή μιας στρατηγικής μηδενικών απωλειών μπορεί να επιτευχθεί μέσω της χρήσης Τεχνητής Νοημοσύνης (AI). Το κύριο αντικείμενο αυτής της διατριβής είναι η ενσωμάτωση της στρατηγικής μηδενικών απωλειών στη βιομηχανία (ZDM), με τη χρήση τεχνητής νοημοσύνης και πιο συγκεκριμένα, με τεχνικές μηχανικής μάθησης (ML). Αυτή η διδακτορική διατριβή έχει συνταχθεί με βάση μια σειρά τεχνικών και πειραματικών ενοτήτων που στοχεύουν κυρίως στην ενίσχυση της παραγωγικής διαδικασίας με την μείωση των απωλειών, τη μείωση του κόστους και των απορριμμάτων μέσω της παρουσίασης και εφαρμογής προηγμένων τεχνικών που βασίζονται στην ML. Οι μέθοδοι και τα εργαλεία που χρησιμοποιούνται σε αυτή τη διατριβή είναι γενικού σκοπού και μπορούν να χρησιμοποιηθούν σε ένα ευρύ φάσμα βιομηχανικών λειτουργιών, ανεξάρτητα από τον κλάδο παραγωγής. Επιπλέον, αυτή η εργασία παρέχει μια εκτενή εισαγωγή στη Μηχανική Μάθηση (ML) και τη Βαθιά Μάθηση (DL). Αναλύονται τεχνικές ταξινόμησης και παλινδρόμησης, και παρουσιάζονται μέθοδοι συνολικής μάθησης και ομοσπονδιακής μάθησης (FL). Επίσης, παρουσιάζονται, μια μέθοδος για την εκπαίδευση μοντέλων, τεχνικές αξιολόγησης, μετρήσεις απόδοσης και σχετικές βιβλιοθήκες κώδικα μηχανικής μάθησης για τη βελτίωση της απόδοσης των ML/DL αλγορίθμων. Επίσης, συζητείται η σχετική εργασία στον τομέα του I4 και του ZDM. Περιλαμβάνεται επίσης μια βιβλιογραφική ανασκόπηση για την έννοια της μετατόπισης δεδομένων και την πρόβλεψη-ανίχνευση ελαττωμάτων. Επιπλέον, παρέχεται μια βιβλιογραφική ανασκόπηση για τη προβλεπτική συντήρηση βασισμένη σε ML και την FL, με μια μοναδική ενότητα για την Προγνωστικής Συντήρηση (PdM) στην ναυτική βιομηχανία 4.0.Αυτή η εργασία περιλαμβάνει επίσης την υλοποίηση και σύγκριση αλγορίθμων εποπτευόμενης μάθησης σε ένα επισημασμένο σύνολο δεδομένων από τον κλάδο της offset εκτύπωσης για να απεικονίσει την απόδοση των προσεγγίσεων με τη βοήθεια ML με στόχο την ZDM. Αυτή η προσέγγιση κατέληξε σε μια ευεργετική πολιτική επιλογής μηχανών που θα συμβάλει στη βελτίωση της αποδοτικότητας της παραγωγής, στη μείωση των ελαττωματικών προϊόντων και στη μείωση των περιβαλλοντικών επιπτώσεων της εταιρείας. Επιπλέον, η παρούσα διατριβή παρουσιάζει και αναλύει την μετατόπιση δεδομένων. Σύμφωνα με τη βιβλιογραφία, η μετατόπιση δεδομένων είναι ένα εμπόδιο για την ZDM. Έτσι, διεξάγεται μια μικρής κλίμακας σύγκριση της επιρροής διαφορετικών ταξινομητών στον αλγόριθμο DDM, συγκεκριμένα Naïve Bayes (NB), Hoeffding Tree classifier (HT), k-Nearest Neighbors (KNN), Passive Aggressive Classifier (PAC) and Stochastic Gradient Descent (SGD). Τέλος, αυτή η διατριβή προτείνει ένα από άκρο σε άκρο και γενικής χρήσης σχήμα FL για την υποστήριξη της Προγνωστικής Συντήρησης (PdM) σε πολλούς ναυτιλιακούς κόμβους καθώς και τρεις πρακτικές περιπτώσεις χρήσης. Δοκιμάζονται διάφορα προβλήματα PdM, συμπεριλαμβανομένης της παλινδρόμησης, της ταξινόμησης και της πρόβλεψης χρονοσειρών με τη χρήση τεσσάρων διακριτών αλγορίθμων ομοσπονδιακής μάθησης, συγκεκριμένα Federated Averaging (FedAvg), Federated Averaging with Momentum (FedAvgM), Federated Averaging Stochastic Gradient Descent (FedSGD) and Federated Averaging with Proximal term (FedProx).