Quel outils utiliser pour détecter un mouvement spécifique

[Loowi]

Bonjour,
Je suis actuellement en train de réaliser mon TIPE, dont le but est de reconnaitre quelques mots simples de la langue des signes dans l'objectif de créer un algorithme qui puisse "apprendre" a l'utilisateur à utiliser la langue des signes (je me base sur la LSF)

Or, je suis confronté à plusieurs problématiques :
Tout d'abord, il faut reconnaitre un mouvement, et contrairement à ce que j'ai pu faire avant, (reconnaissance d'objets / voitures / personnes), le mouvement est plutôt difficile à convertir en données numériques, étant donné qu'il ne s'agit pas simplement d'un objet, et qu'il faut analyser le mouvement particulier (base de la Langue des signes).

C'est pourquoi je me demande si vous aviez des conseils sur les outils possibles à utiliser ou la démarche en général.

J'ai déjà réalisé plusieurs vidéos séparées de moi qui "dit" quelques mot simples en LSF (5 vidéos par mot pour commencer)

Merci pour votre aide
-----

[tchitchou]

Bonjour,
tu es bien tombé, ici, on aime faire les TIPE des élèves en galère.
Montre un peu ce que tu as fait, pour voir d'où partir ?

[polo974]

gogole (hand gesture recognition OpenCV)

Ne pas oublier que la personne peut avoir une peau claire ou foncée ou toute autre nuance intermédiaire (ça semble être un point parfois un peu oublié)...

(Et puis , en ia, remplacer opencv par pytorch ou autre grand classique)

[Loowi]

Bonjour,
Mon objectif est uniquement d'obtenir des renseignements sur les outils à utiliser pour ne pas partir dans tous les sens et perdre du temps inutilement.
Mon objectif est de pouvoir détecter certains mots en LSF, et pour cela je vais me référer à quelques mots pour commencer, qui sont "bonjour", "Merci", "ca va", "bravo", "pardon".
J'ai déjà pris des vidéos de moi et quelques amis qui les ont fait pour pouvoir ensuite les annoter je les ai séparées en plusieurs fichiers de leur mot et leur video correspondante.
J'ai déja "fragmenté" les videos pour les séparer en frames qui sont donc prêtes à être annotées, et c'est à partir d'ici que je me pose des questions.


Pour l'annotation, je pense qu'utiliser mediapipe de Google n'est pas vraiment dans l'esprit de mon tipe, puisque c'est mon sujet de recherche.
Je voudrais donc utiliser la bibliothèque labelme de python pour les annotations. (à moins que vous ayez d'autres outils plus pratiques qui ne nécessiteraient pas de traitement post-acquisition)
Concernant ces annotations, j'ai quelques questions : Pour certains mots comme Bonjour, c'est "assez simple", il n'y a que la main qui bouge, alors que pour dire "ca va", il n'y a que l'index et le majeur des deux mains qui bougent et les autres doigts restent fermés. D'où ma question, lors de l'annotation, est il plus rigoureux de prendre des points particulier de la main (comme l'aurait fait mediapipe) ou juste dessiner des carrés suffira ?

Ensuite, je n'ai pas encore décidé quel type d'architecture de réseaux de neurones utiliser, après avoir regardé sur internet, j'ai compris que le plus optimal serait de combiner un convolutionnal neural network (CNN) et un gated related unit (GRU) pour que les aspects qui dépendent de l'image (reconnaissance d'un signe en particulier) et ceux d'une séquence (mouvement particulier) soit reconnu.

La première étape est donc de réaliser un dataset conséquent, mais je me demande toujours comment "bien" annoter les images

[A voir en vidéo sur Futura]

[umfred]

Il y a des thèses sur le sujet
https://injs-bordeaux.org/blog/langu...atique-theses/
https://www-public.telecom-sudparis...._Deslandes.pdf
https://perso.limsi.fr/braffort/docs...t_HDR_2008.pdf

ça peut donner des pistes (et des choses à citer)

[polo974]

Bonjour,
Mon objectif est uniquement d'obtenir des renseignements sur les outils à utiliser pour ne pas partir dans tous les sens et perdre du temps inutilement.
...

Alors pourquoi ne pas avoir donné ces infos dès le départ.

[f6bes]

Me demande si le langage des signes utilise des mots (type bonjour= mot spécifique)
ou des phonémes...ce qui est différents d'un mot usuel.
Vu la rapidité de traduction par les pratiquants, je pense que c'est basé plustot sur les phonémes.
M'était "amusé" à contruire des mots ( vocaux) base de phonémes...ça n'a rien d'évident
A+

[Loowi]

Vous avez l'intention de m'aider ou juste de critiquer tout ce que j'essaie de faire ?
si je n'ai pas donné ces informations, c'est peut être que je ne les avais pas lors de l'envoi de mon message initial.

[Loowi]

Oui, c'est le cas en effet, après il peut y avoir des mot (lettres ou chiffres) qui correspondent à une position de la main en particulier,
mais le plus dur reste des mots simples comme "bonjour" qui constituent un mouvement, et non simplement une position