Implicit and foveated techniques for real-time computer graphics rendering

Abstract

Real-time rendering is a cornerstone of modern interactive applications, such as virtual reality, gaming, and simulations, where high visual fidelity and low latency are critical to user immersion. However, achieving these goals remains a significant challenge due to the computational complexity of rendering techniques and the limitations of existing methods. Traditional approaches often struggle to balance performance and quality, particularly in scenarios requiring dynamic adaptation to user attention or the rendering of complex geometries. These challenges are especially pronounced in foveated rendering, which aims to optimize resource allocation by prioritizing high-quality rendering in the user's focal region, and in sphere tracing of Signed Distance Functions (SDFs), a technique used to render intricate implicit surfaces. Current methods frequently suffer from visual artifacts, inefficient resource utilization, and an inability to adapt to real-time demands, highlighting the need for innovative solutions that bridge the gap between computational efficiency and perceptual quality. This doctoral dissertation presents innovative approaches designed to enhance the efficiency of real-time rendering techniques, focusing on foveated rendering and sphere tracing of Signed Distance Functions (SDFs). The research addresses the limitations of existing rendering methods that rely heavily on low-level image features and often suffer from artifacts, when optimizing computational resource allocation. First, we present an emulated foveated path tracing framework that establishes thresholds for imperceptible image manipulations based on user gaze. Our perceptual studies yield varying eccentricity thresholds for foveated performance, highlighting the impact of experimental methodologies on user sensitivity to visual changes. The results indicate potential computational complexity reductions of at least $2\times$ - $3\times$ in path tracing performance through foveated rendering methods. Second, we introduce the Foveated Inverted Pyramid Rendering (FIPR) system, which optimizes rendering quality based on user gaze. By employing a multi-scale inverted pyramid structure, we leverage low-resolution renderings to incrementally refine ray distances, dramatically reducing the overall ray step count and enabling efficient rendering of complex scenes in virtual reality. Our method supports $16\times$ super-sample anti-aliasing, while maintaining imperceptible image quality transitions, even in peripheral vision. Lastly, we develop a novel rapid rendering pipeline for sphere tracing SDFs that significantly reduces the overall ray step count using ultra-low resolution renderings, while minimizing artifacts. By employing a single low-resolution buffer and scaling SDFs within this buffer, our method ensures the visibility of small features while enabling earlier ray termination for high-cost surface edges. This approach yields a substantial performance improvement, achieving speedups exceeding $3\times$ compared to traditional methods. Collectively, these contributions advance the field of real-time graphics rendering, providing valuable insights into optimizing rendering techniques, while enhancing the user experience in interactive applications, such as gaming and simulations.

Η σχεδίαση γραφικών σε πραγματικό χρόνο (real-time rendering) αποτελεί έναν από τους βασικούς πυλώνες των σύγχρονων διαδραστικών εφαρμογών, όπως η εικονική πραγματικότητα (virtual reality), τα παιχνίδια (gaming) και οι προσομοιώσεις (simulations), όπου η υψηλή οπτική πιστότητα (visual fidelity) και η χαμηλή καθυστέρηση (low latency) είναι κρίσιμες για την εμβύθιση του χρήστη (user immersion). Ωστόσο, η επίτευξη αυτών των στόχων παραμένει μια σημαντική πρόκληση λόγω της υπολογιστικής πολυπλοκότητας των τεχνικών rendering και των περιορισμών των υφιστάμενων μεθόδων. Οι παραδοσιακές προσεγγίσεις συχνά δυσκολεύονται να ισορροπήσουν την απόδοση (performance) και την ποιότητα, ειδικά σε σενάρια που απαιτούν δυναμική προσαρμογή στην προσοχή του χρήστη (user attention) ή την απόδοση πολύπλοκων γεωμετριών (complex geometries). Αυτές οι προκλήσεις είναι ιδιαίτερα έντονες στo foveated rendering, η οποία στοχεύει να βελτιστοποιήσει την κατανομή των πόρων (resource allocation) δίνοντας προτεραιότητα στην υψηλή ποιότητα σχεδίασης στην περιοχή εστίασης του χρήστη (focal region), καθώς και στον αλγοριθμό sphere tracing των Signed Distance Functions - SDFs, μια μέθοδο που χρησιμοποιείται για την απόδοση περίπλοκων υπονοούμενων επιφανειών (implicit surfaces). Οι υπάρχουσες μέθοδοι συχνά υποφέρουν από οπτικά artifacts, αναποτελεσματική χρήση πόρων (inefficient resource utilization) και αδυναμία προσαρμογής στις απαιτήσεις του πραγματικού χρόνου (real-time demands), υπογραμμίζοντας την ανάγκη για καινοτόμες λύσεις που γεφυρώνουν το χάσμα μεταξύ υπολογιστικής αποδοτικότητας (computational efficiency) και αντίληψης ποιότητας (perceptual quality). Αυτή η διατριβή παρουσιάζει καινοτόμες προσεγγίσεις που έχουν σχεδιαστεί για να ενισχύσουν την αποδοτικότητα των αλγορίθμων γραφικών σε πραγματικό χρόνο, λαμβάνοντας υπόψη την ανθρώπινη όραση στην παραγωγή εικόνων (foveated rendering) και τον αλγόριθμο ιχνηλάτησης σφαιρών (sphere tracing), για επιφάνειες που περιγράφονται από Συναρτήσεις Προσημασμένης Απόστασης (Signed Distance Functions - SDFs). Η έρευνα αντιμετωπίζει τους περιορισμούς των υφιστάμενων μεθόδων απόδοσης που βασίζονται σε μεγάλο βαθμό σε χαρακτηριστικά από εικόνες χαμηλή ανάλυσης και συχνά υποφέρουν από artifacts όταν γίνεται βελτιστοποίηση της κατανομής των υπολογιστικών πόρων με βάση την ανθρώπινη όραση. Αρχικά, παρουσιάζουμε ένα εξομοιωτή απόδοσης για τον αλγόριθμό path-tracing με βάση την ανθρώπινη όραση (emulated foveated path tracing) που καθορίζει όρια στα οποία τα artifacts που παράγονται είναι μη αντιληπτά από τον χρήστη. Οι μετρήσεις που πραγματοποιήθηκαν στους χρήστες αποφέρουν διαφορετικά όρια εκκεντρότητας για την απόδοση με βάση την όραση, υπογραμμίζοντας την επίδραση των πειραματικών μεθοδολογιών στην ευαισθησία των χρηστών στις οπτικές αλλαγές. Τα αποτελέσματα υποδεικνύουν πιθανές μειώσεις της υπολογιστικής πολυπλοκότητας τουλάχιστον 2x-3x στον αλγόριθμό path-tracing με βάση την ανθρώπινη όραση. Στην συνέχεια, προτείνουμε ένα σύστημα απόδοσης γραφικών Foveated Inverted Pyramid Rendering, το οποίο διαφοροποιεί την ποιότητα της παραγόμενης εικόνας με βάση πού εστιάζει ο χρήστης στην οθόνη. Χρησιμοποιώντας μια δομή ανεστραμμένης πυραμίδας πολλαπλής κλίμακας, αξιοποιούμε αποδόσεις (renderings) χαμηλής ανάλυσης για να βελτιώσουμε σταδιακά τις αποστάσεις των ακτινών, μειώνοντας δραματικά τον συνολικό αριθμό βημάτων που πραγματοποιούν οι ακτίνες και επιτρέποντας την αποτελεσματική απόδοση σύνθετων σκηνών στην εικονική πραγματικότητα. Η μέθοδός μας έχει την δυνατότητα για την χρήση anti-aliasing έως 16 δείγματα ανά pixel διατηρώντας υψηλό ρυθμό παραγωγής εικόνας ενεργοποιώντας το anti-aliasing σε συγκείμενες περιοχές της εικόνας, ενώ διατηρεί ανεπαίσθητες μεταβάσεις ποιότητας εικόνας ακόμη και στην περιφερειακή όραση. Τέλος, αναπτύσσουμε μια νέα γρήγορη διαδικασία για την ιχνηλάτηση σφαιρών για SDFs που μειώνει σημαντικά τον συνολικό αριθμό βημάτων των ακτίνων χρησιμοποιώντας εικόνες εξαιρετικά χαμηλής ανάλυσης που παράγονται με βάση την ιχνηλάτηση σφαιρών, ενώ ελαχιστοποιεί τα artifacts. Χρησιμοποιώντας ένα μόνο buffer χαμηλής ανάλυσης και κλιμακώνοντας τις SDFs μέσα σε αυτό το buffer, η μέθοδός μας διασφαλίζει την ορατότητα μικρών χαρακτηριστικών ενώ επιτρέπει τον τερματισμό της διαδικασίας ανίχνευσης σφαιρών όταν αυτές περνάνε κοντά από τις γωνίες των επιφανειών. Αυτή η προσέγγιση αποφέρει μια σημαντική βελτίωση στην απόδοση, επιτυγχάνοντας επιταχύνσεις που ξεπερνούν το 3x σε σύγκριση με τις παραδοσιακές μεθόδους. Συλλογικά, αυτές οι συνεισφορές προωθούν τον τομέα της απόδοσης γραφικών σε πραγματικό χρόνο, παρέχοντας πολύτιμες γνώσεις για τη βελτιστοποίηση των τεχνικών απόδοσης ενώ βελτιώνουν την εμπειρία του χρήστη σε διαδραστικές εφαρμογές όπως τα παιχνίδια και οι προσομοιώσεις.