Artistic and photorealistic image style transfer using deep learning

Abstract

Style transfer is a popular technique in computer vision and image processing that involves generating an image that combines the content of one image with the style of another image or of a collection of images. In this thesis we address the two style transfer types of this problem namely artistic and photorealistic, which have found applications in a variety of fields, including video game design, mobile application development, and architecture. Artistic style transfer involves the complex challenge of transferring the style of a collection of images to a given image. Our proposed method involves an extension of the Cycle-Consistent Adversarial Network architecture that incorporates Fast and Adaptive Bidimensional Empirical Mode Decomposition (FABEMD) in the optimization problem of loss minimisation. This modification allows for the analysis of images into their key texture elements and provides a more qualitative definition of the loss function. We also propose an adaptive selection mechanism that involves different amounts of spectral information (Bidimensional Intrinsic Mode Functions), depending on the specific characteristics of the image being stylised. Contrary to existing approaches, our methods transfer the style effectively and efficiently without content distortion. Similar to the artistic, photorealistic style transfer has been defined as the process of transferring the style of one image to another, while maintaining visual realism. A popular application of photorealistic style transfer is re-creating a low-light image, aiming to generate the same content image with normal light conditions. However, existing photorealistic style transfer methods often suffer from spatial distortions, unrealistic artifacts, or underrepresented colours. This limitation hinders the use of style transfer in applications that require photorealistic results, such as image enhancement in low-light conditions. To address this problem, we propose a novel approach to photorealistic style transfer that involves a modified U-Net-based architecture with dense blocks and wavelet-based pooling. This architecture is designed to better preserve texture regions in image enhancement and has been shown to be effective and robust in comparison to other state-of-the-art style transfer methods. Finally, we propose a late fusion approach of two parallel UNet architectures, namely HDD-Unet, to further enrich the colourisation of the final generated image. To evaluate our proposed methods, for both artistic and photorealistic style transfer problem, we compare quantitatively and qualitatively our methods to other state of-the-art techniques and demonstrate their effectiveness in generating images while preserving important visual information.

Η μεταφορά στυλ είναι μια δημοφιλής τεχνική στην υπολογιστική όραση και την επεξεργασία εικόνας, που περιλαμβάνει τη δημιουργία μιας εικόνας που συνδυάζει το περιεχόμενο μιας εικόνας με το στυλ μιας άλλης ή μιας συλλογής εικόνων. Σε αυτή τη διατριβή, εξετάζουμε τους δύο κύριους τύπους μεταφοράς στυλ, δηλαδή την καλλιτεχνική και τη φωτορεαλιστική, οι οποίοι βρίσκουν εφαρμογές σε διάφορους τομείς, όπως ο σχεδιασμός βιντεοπαιχνιδιών, η ανάπτυξη εφαρμογών για κινητά και η αρχιτεκτονική. Η καλλιτεχνική μεταφορά στυλ αντιμετωπίζει την περίπλοκη πρόκληση της μεταφοράς του στυλ μιας συλλογής εικόνων σε μια δεδομένη εικόνα. Η προτεινόμενη μέθοδός μας περιλαμβάνει μια επέκταση της αρχιτεκτονικής Cycle-Consistent Adversarial Network, η οποία ενσωματώνει την ταχεία και Προσαρμοστική Δισδιάστατη Εμπειρική Αποδόμηση (FABEMD) στο πρόβλημα βελτιστοποίησης της ελαχιστοποίησης της συνάρτησης απώλειας. Αυτή η τροποποίηση επιτρέπει την ανάλυση των εικόνων στα βασικά τους υφή και παρέχει έναν ποιοτικότερο ορισμό της συνάρτησης απώλειας. Επιπλέον, προτείνουμε έναν μηχανισμό προσαρμοστικής επιλογής, ο οποίος περιλαμβάνει διαφορετικές ποσότητες φασματικής πληροφορίας (Bidimensional Intrinsic Mode Functions) ανάλογα με τα χαρακτηριστικά της εικόνας που υπόκειται σε στυλιζάρισμα. Σε αντίθεση με υπάρχουσες προσεγγίσεις, οι μέθοδοί μας μεταφέρουν το στυλ αποτελεσματικά και γρήγορα, χωρίς παραμόρφωση του περιεχομένου. Παρόμοια με την καλλιτεχνική, η φωτορεαλιστική μεταφορά στυλ ορίζεται ως η διαδικασία μεταφοράς του στυλ μιας εικόνας σε μια άλλη, διατηρώντας τον οπτικό ρεαλισμό. Μια δημοφιλής εφαρμογή αυτής της τεχνικής είναι η αναδημιουργία εικόνων με χαμηλό φωτισμό, στοχεύοντας στη δημιουργία της ίδιας εικόνας υπό κανονικές συνθήκες φωτισμού. Ωστόσο, οι υπάρχουσες μέθοδοι συχνά παρουσιάζουν χωρικές παραμορφώσεις, μη ρεαλιστικά τεχνουργήματα ή ανεπαρκώς αναπαραστημένα χρώματα, γεγονός που περιορίζει τη χρήση τους σε εφαρμογές που απαιτούν φωτορεαλιστικά αποτελέσματα. Για την αντιμετώπιση αυτού του προβλήματος, προτείνουμε μια νέα προσέγγιση που βασίζεται σε μια τροποποιημένη αρχιτεκτονική U-Net με πυκνά μπλοκ και κυματική συσσωμάτωση (wavelet-based pooling). Αυτή η αρχιτεκτονική σχεδιάστηκε για να διατηρεί καλύτερα τις περιοχές υφής κατά την ενίσχυση εικόνας και έχει αποδειχθεί αποτελεσματική και ανθεκτική σε σύγκριση με άλλες σύγχρονες μεθόδους μεταφοράς στυλ. Επιπλέον, προτείνουμε μια προσέγγιση συγχώνευσης (late fusion) δύο παράλληλων αρχιτεκτονικών U-Net, της HDD-Unet, για τον εμπλουτισμό της χρωματικής απόδοσης της τελικής παραγόμενης εικόνας. Για την αξιολόγηση των προτεινόμενων μεθόδων μας, τόσο για το πρόβλημα της καλλιτεχνικής όσο και της φωτορεαλιστικής μεταφοράς στυλ, συγκρίνουμε ποσοτικά και ποιοτικά τις μεθόδους μας με άλλες σύγχρονες τεχνικές. Τα αποτελέσματά μας αποδεικνύουν την αποτελεσματικότητα στη δημιουργία εικόνων με διατήρηση σημαντικών οπτικών πληροφοριών.