Éclaboussure de gaussiennes

Définition

Technique d'infographie basée sur l’apprentissage profond pour créer des modèles 3D photoréalistes à partir de plusieurs images 2D.

Compléments

Cette technique, inventée vers la fin de 2023, s’apparente aux champs de rayonnement neuronaux (CRNe, en anglais, NeRF) qui fonctionnent en projetant des images 2D en 3D alors que les éclaboussures de gaussiennes font le processus inverse.

En gros, on prend plusieurs photos d'un objet pour former un nuage 3D de points. Il en résulte que les points de la scène sont déjà bien positionnés dans l’espace. Puis à chaque point l’algorithme associe une goutte (splat) ou gaussienne 3D (la fameuse distribution de Gauss ou distribution normale en forme de cloche, mais en 3D). Puis l’algorithme projette ces gouttes vers des images 2D et vérifie que la forme et la couleur correspondent aux vraies images. Le cas échéant, un algorithme d’apprentissage profond modifie itérativement les paramètres des gaussiennes pour correspondre aux images réelles. Le résultat final est un modèle 3D réaliste.