Un article récent sur arXiv.org étudie la tâche de déduire le coût calorique induit par l’activité en observant l’humain dans la vidéo.
Les chercheurs présentent un nouvel ensemble de données composé d’exemples vidéo de personnes engagées dans différentes activités avec les annotations correspondantes. Un benchmark inter-catégories permet d’évaluer les modèles d’estimation du coût calorique par rapport à des types d’activités non vus lors de la formation.
La dépense énergétique peut être estimée automatiquement grâce au traitement des données vidéo. Crédit image : PixnioCC0 Domaine public
Par conséquent, la référence permet aux chercheurs d’étudier la reconnaissance des mouvements du corps sans s’appuyer sur des biais contextuels spécifiques à la catégorie. Cela nécessite de résoudre deux défis en vision par ordinateur : une compréhension fine des mouvements corporels et une généralisation à des types d’activités jamais vus auparavant.
Des expériences avec des approches de pointe démontrent la difficulté de la tâche en utilisant des architectures de classification vidéo modernes.
Nous explorons le problème de déduire automatiquement la quantité de kilocalories utilisées par l’homme lors d’une activité physique à partir de son observation vidéo. Pour étudier cette tâche sous-étudiée, nous introduisons Vid2Burn – une référence omni-source pour estimer la dépense calorique à partir de données vidéo présentant à la fois des activités de haute et de basse intensité pour lesquelles nous dérivons des annotations de dépense énergétique basées sur des modèles établis dans la littérature médicale. En pratique, un ensemble d’entraînement ne couvrirait qu’un certain nombre de types d’activités, et il est important de valider si le modèle capture bien l’essence de la dépense énergétique (par exemple, combien et quels muscles sont impliqués et à quel point ils travaillent) au lieu de mémoriser des valeurs fixes de catégories d’activités spécifiques vues pendant la formation. Idéalement, les modèles devraient aller au-delà de ces biais spécifiques aux catégories et régresser le coût calorique dans les vidéos décrivant des catégories d’activités qui ne sont pas explicitement présentes pendant la formation. Avec cette propriété à l’esprit, Vid2Burn est accompagné d’un benchmark inter-catégories, où la tâche est de régresser la dépense calorique pour les types d’activités physiques non présentes pendant l’entraînement. Une évaluation approfondie des approches de pointe pour la reconnaissance vidéo modifiées pour la tâche d’estimation de la dépense énergétique démontre la difficulté de ce problème, en particulier pour les nouveaux types d’activité au moment du test, marquant une nouvelle direction de recherche. L’ensemble de données et le code sont disponibles sur cette URL https.
Document de recherche: Peng, K., Roitberg, A., Yang, K., Zhang, J. et Stiefelhagen, R., « Dois-je me promener ? Estimation des dépenses énergétiques à partir des données vidéo », 2022. Lien : https://arxiv.org/abs/2202.00712
