La tâche de décomposition d’une scène en ses propriétés physiques sous-jacentes, telles que la géométrie et les matériaux, est utile pour des applications telles que la synthèse de vues, le rééclairage et l’insertion d’objets.
Crédit image : Piqsels, CC0 Domaine Public
Un article récent sur arXiv.org vise à récupérer la forme 3D et la fonction de distribution de réflectance bidirectionnelle variable dans l’espace (BRDF) d’un objet imagé dans différentes conditions d’éclairage.
Les auteurs proposent un nouveau réseau d’éclairage pré-intégré. Il convertit le processus d’intégration de l’éclairage utilisé dans le rendu en une simple requête réseau. Une analyse empirique d’ensembles de données synthétiques montre que le réseau de décomposition utilisant les nouveaux réseaux peut estimer la forme et les propriétés des matériaux plus précises par rapport à l’art antérieur.
Les résultats du modèle peuvent être utilisés pour générer des résultats de rééclairage et de synthèse de vues de haute qualité avec des détails plus fins par rapport aux approches existantes.
La décomposition d’une scène en sa forme, sa réflectance et son éclairage est un problème fondamental en vision par ordinateur et en graphisme. Les approches neuronales telles que NeRF ont obtenu un succès remarquable dans la synthèse de vues, mais n’effectuent pas explicitement la décomposition et opèrent à la place exclusivement sur la radiance (le produit de la réflectance et de l’éclairage). Les extensions à NeRF, telles que NeRD, peuvent effectuer une décomposition mais ont du mal à récupérer avec précision l’éclairage détaillé, limitant ainsi considérablement le réalisme. Nous proposons un nouveau réseau de décomposition de réflectance qui peut estimer la forme, le BRDF et l’éclairage par image étant donné un ensemble d’images d’objets capturées sous un éclairage variable. Notre technique clé est un nouveau réseau d’intégration d’éclairage appelé Neural-PIL qui remplace une opération intégrale d’éclairage coûteuse dans le rendu par une simple requête de réseau. En outre, nous apprenons également des a priori profonds de faible dimension sur les représentations BRDF et d’éclairage à l’aide de nouveaux auto-encodeurs à collecteur lisse. Nos décompositions peuvent entraîner des estimations de BRDF et de lumière considérablement meilleures, permettant une nouvelle synthèse de vue et un rééclairage plus précis par rapport à l’art antérieur. Page du projet : cette URL https
Document de recherche: Boss, M., Jampani, V., Braun, R., Liu, C., Barron, JT et Lensch, HPA, « Neural-PIL: Neural Pre-Integrated Lighting for Reflectance Decomposition », 2021. Lien : https://arxiv.org/abs/2110.14373
