Assessment of information truthlikeliness and authenticity

Abstract

In the era of digital information proliferation, the potential disruptive impact on citizens, democracy, and society has raised concerns. To mitigate these risks, it is crucial to assess the authenticity of multimedia content and ensure the dissemination of credible information. This doctoral thesis encompasses three research pillars addressing the challenges of multimedia authentication and information leveraging through novel approaches in spectral analysis, hypergraph theory, and convolutional neural networks. The first part of this thesis focuses on the Electric Network Frequency (ENF) criterion for multimedia authentication. A non-parametric approach for ENF estimation is proposed, incorporating a tailored lag window design into the Blackman-Tukey spectral estimation method. This approach addresses leakage reduction as an energy maximization task within the spectral window's main lobe. Additionally, temporal windowing through the filter-bank Capon spectral estimator is introduced. A Gohberg-Semencul factorization technique is employed for matrix inversions, expediting computations. Challenges of ENF estimation in multimedia recordings, particularly interference from speech content, are addressed. An innovative automated approach for ENF estimation in both static and non-static digital video recordings is proposed, overcoming challenges by exploiting regions with similar characteristics in each video frame. The second research pillar delves into hypergraph learning for personalized image and tag recommendation. To address computational complexities, a novel block randomized Singular Value Decomposition via subspace iteration is integrated into hypergraph learning. An efficient learning scheme for hypergraph ranking is introduced, utilizing multiple optimizations and adaptive hyperedge weight estimation based on gradient descent. The third research pillar differentiates computer-generated images from natural ones through an end-to-end framework using supervised contrastive learning and style transfer via deep neural networks. Hypothesis testing confirms the statistical significance of the improvements achieved. By exploring innovative approaches within these three pillars, this thesis advances multimedia authentication, hypergraph learning, and computer-generated image discrimination, addressing significant challenges in the digital information landscape.

Με την διάδοση των πληροφοριών στην ψηφιακή εποχή, υπάρχει αυξανόμενη ανησυχία για τις επιπτώσεις στους πολίτες, τη δημοκρατία και την κοινωνία. Για την αντιμετώπιση αυτών των κινδύνων, είναι σημαντικό να αξιολογείται η αυθεντικότητα των πολυμέσων και να διασφαλίζεται η παροχή αξιόπιστων πληροφοριών. Η παρούσα διδακτορική διατριβή εκτείνεται σε τρεις πυλώνες που εξετάζουν το πρόβλημα του ελέγχου αυθεντικότητας πολυμέσων και της αξιοποίησης πληροφοριών μέσω νέων προσεγγίσεων στη φασματική ανάλυση, τη θεωρία υπεργραφημάτων και τα συνελικτικά νευρωνικά δίκτυα. Στο πρώτο μέρος παρουσιάζεται η διερεύνηση του κριτηρίου της Συχνότητας Ηλεκτρικού Δικτύου (ΣΗΔ) και των εφαρμογών του στον έλεγχο αυθεντικότητας πολυμέσων. Προτείνεται μη-παραμετρική προσέγγιση για την εκτίμηση της ΣΗΔ με ενσωμάτωση παραθύρου υστέρησης στη μέθοδο φασματικής εκτίμησης Blackman-Tukey. Αντιμετωπίζονται οι προκλήσεις της εκτίμησης ΣΗΔ σε πολυμέσα λόγω παρεμβολών ομιλίας και προτείνεται αυτοματοποιημένη προσέγγιση για στατικές και μη-στατικές ψηφιακές εγγραφές βίντεο, εκμεταλλευόμενη περιοχές με παρόμοια χαρακτηριστικά σε κάθε καρέ. Το δεύτερο μέρος αφιερώνεται στην εκμάθηση υπεργραφημάτων για τη σύσταση εικόνων και ετικετών. Για την αντιμετώπιση του υψηλού υπολογιστικού κόστους από τις αντιστροφές του Λαπλασιανού ή του πίνακα γειτνίασης, χρησιμοποιείται τυχαιοποιημένη γραμμική άλγεβρα και προτείνεται η κατά τμήματα τυχαιοποιημένη Ανάλυση Ιδιαζουσών Τιμών. Εισάγεται σύστημα εκμάθησης για τον υπολογισμό αξιόπιστου διανύσματος διαβάθμισης σε υπεργραφήματα, βελτιστοποιώντας τη δομή και τα βάρη των υπερακμών μέσω μεθόδου κατάβασης κλίσης. Το τρίτο μέρος ασχολείται με τη διάκριση εικόνων που παράγονται με χρήση υπολογιστή από φυσικές εικόνες. Προτείνεται πλαίσιο που χρησιμοποιεί επιβλεπόμενη αντιθετική μάθηση και μεταφορά τεχνοτροπίας μέσω βαθιών νευρωνικών δικτύων. Ο έλεγχος υποθέσεων επιβεβαιώνει τη στατιστική σημασία των βελτιώσεων. Εξετάζοντας και αναπτύσσοντας νέες προσεγγίσεις στους τρεις αυτούς πυλώνες, η διατριβή συμβάλλει στην προαγωγή της αυθεντικότητας πολυμέσων, της εκμάθησης υπεργραφημάτων και της διάκρισης εικόνων, αντιμετωπίζοντας σημαντικές προκλήσεις στην ψηφιακή πληροφοριακή εποχή.