La génération de danse à partir de la musique est une tâche intéressante mais difficile. Alors que la plupart des recherches précédentes se sont concentrées sur cette tâche en tant que séquence de paramètres d’état de mouvement, la représentation de la courbe peut rendre l’animation plus fluide. Par conséquent, un article de recherche récent propose de modéliser le problème de génération de danse en tant que génération de poses clés et génération de courbes de mouvement.
Danse – impression artistique abstraite. Crédit d’image: Gerd Altmann via Pixabay, licence gratuite
Le cadre est basé sur des architectures codeur-décodeur et un programme d’entraînement contradictoire. Pour le décodeur, une nouvelle architecture adaptée à la génération de la danse est introduite. Il utilise des réseaux de chaînes cinématiques pour modéliser la corrélation spatiale entre les parties du corps. L’inclusion de contraintes physiques dans le modèle conduit à des résultats plus naturels.
Le module d’attention locale appris est utilisé pour introduire la localité temporelle et éviter la dégradation des actions de moyennage. Une étude des utilisateurs a montré que la méthode suggérée génère de meilleures danses en qualité de performance par rapport à d’autres œuvres.
Dans ce travail, nous proposons un nouveau cadre d’apprentissage profond qui peut générer une danse vivante à partir d’un morceau de musique entier. Contrairement aux travaux précédents qui définissent le problème comme la génération d’images de paramètres d’état de mouvement, nous formulons la tâche comme une prédiction des courbes de mouvement entre les poses clés, qui s’inspire de la pratique de l’industrie de l’animation. Le cadre proposé, nommé DanceNet3D, génère d’abord des poses clés sur les battements de la musique donnée, puis prédit les courbes de mouvement intermédiaires. DanceNet3D adopte l’architecture encodeur-décodeur et les schémas contradictoires pour la formation. Les décodeurs de DanceNet3D sont construits sur MoTrans, un transformateur conçu pour la génération de mouvement. Dans MoTrans, nous introduisons la corrélation cinématique par les réseaux de chaînes cinématiques, et nous proposons également le module Attention locale apprise pour prendre en compte la corrélation locale temporelle du mouvement humain. De plus, nous proposons PhantomDance, le premier jeu de données de danse à grande échelle produit par des animateurs professionnels, avec une synchronisation précise avec la musique. Des expériences approfondies démontrent que l’approche proposée peut générer des danses 3D fluides, élégantes, performatives et synchronisées sur les battements, ce qui surpasse considérablement les œuvres précédentes quantitativement et qualitativement.
Document de recherche: Li, B., Zhao, Y. et Sheng, L., «DanceNet3D: Music Based Dance Generation with Parametric Motion Transformer», 2021. Lien: https://arxiv.org/abs/2103.10206
Saç ekimi tedavisi son yıllarda genetik veya diğer unsurlara bağlı olarak saç kaybına uğrayan kişiler için uygulanan bir tedavi yöntemidir.