FLEX représente une avancée majeure dans le domaine de l'évaluation de la qualité des actions (AQA) appliquée au fitness. Il s'agit du premier ensemble de données à grande échelle combinant modalités multiples et vues multiples, intégrant notamment des signaux électromyographiques de surface (sEMG) qui capturent l'activité musculaire pendant l'exécution des exercices. L'ensemble comprend 20 actions différentes avec poids effectuées par 38 sujets de trois niveaux de compétence distincts, avec 10 répétitions par action, offrant ainsi une base statistiquement robuste pour l'entraînement des modèles.
La richesse des données collectées est remarquable : chaque session d'exercice est enregistrée sous cinq angles de vue différents, comprenant des vidéos RGB, des poses 3D, des données sEMG et des informations physiologiques. L'innovation principale réside dans l'intégration de graphes de connaissances qui structurent les annotations sous forme de fonctions de pénalité, établissant des liens explicites entre les actions avec poids, les étapes clés des mouvements, les types d'erreurs et les retours correctifs appropriés. Cette approche permet une évaluation fine et interprétable de la qualité d'exécution.
Les expérimentations menées sur FLEX démontrent clairement l'apport des données multimodales et multivues, ainsi que celui des annotations granulaires, pour améliorer les performances des modèles d'AQA. Cet ensemble de données ouvre la voie à des applications pratiques dans le domaine du fitness, où l'évaluation automatique de la qualité des mouvements peut prévenir les blessures et optimiser l'entraînement. FLEX marque ainsi une étape importante vers l'intégration de l'intelligence artificielle dans le suivi personnalisé des activités physiques.