Les formes sont généralement acquises avec des caméras qui peuvent au mieux obtenir des informations partielles à partir des parties visibles des objets. Par conséquent, les chercheurs étudient intensivement le problème de l’achèvement de surface. L’un des moyens d’apprendre la complétion de surface de haute qualité est la fonction implicite profonde (DIF).
Formes géométriques – impression artistique. Crédit image : PIRO4D via Pixabaylicence gratuite
Une étude récente sur arXiv.org propose une nouvelle représentation DIF basée sur des séquences de variables discrètes représentant de manière compacte des approximations satisfaisantes de formes 3D.
Les chercheurs présentent ShapeFormer, un modèle autorégressif basé sur un transformateur qui apprend une distribution sur les achèvements de formes possibles. Le ShapeFormer est capable de produire diverses finitions de haute qualité pour différents types de formes, y compris les corps humains.
Des résultats de pointe sont obtenus en termes de qualité et de diversité de réalisation.
Nous présentons ShapeFormer, un réseau basé sur des transformateurs qui produit une distribution de complétions d’objets, conditionnée par des nuages de points incomplets et éventuellement bruyants. La distribution résultante peut ensuite être échantillonnée pour générer des complétions probables, chacune présentant des détails de forme plausibles tout en étant fidèle à l’entrée. Pour faciliter l’utilisation de transformateurs pour la 3D, nous introduisons une représentation 3D compacte, fonction implicite profonde quantifiée vectorielle, qui utilise la parcimonie spatiale pour représenter une approximation proche d’une forme 3D par une courte séquence de variables discrètes. Les expériences démontrent que ShapeFormer surpasse l’art antérieur pour l’achèvement de formes à partir d’entrées partielles ambiguës en termes de qualité d’achèvement et de diversité. Nous montrons également que notre approche gère efficacement une variété de types de formes, de modèles incomplets et de scans du monde réel.
Document de recherche: Yan, X., Lin, L., Mitra, NJ, Lischinski, D., Cohen-Or, D. et Huang, H., « ShapeFormer: Transformer-based Shape Completion via Sparse Representation », 2022. Lien vers le article: https://arxiv.org/abs/2201.10326
Lien vers la page du projet : https://shapeformer.github.io/
