Le KIF rassemble les innovateurs pour créer de fascinantes expériences, partager les meilleures pratiques et proposer des perspectives novatrices de développement culturel et économique.

!
Projet Ghost : comprendre les gestes artisanaux grâce à la réalité virtuelle
immersif | immersion | metaverse | nft | réalité augmentée | réalité virtuelle |

David Arnaud : Nous ce qui nous intéressait vraiment, par rapport à ce qui se développe aujourd’hui sur la question de la technologie, c’est la question de la captation des gestes, qui est quand même une thématique, à mon avis – alors j’ai hâte de discuter de tout ça avec les gens qui sont ici, au KIF -, mais qui est quand même une thématique qui, technologiquement, est extrêmement intéressante et importante aujourd’hui.

Et surtout pour nous, et pour quelqu’un comme moi qui a, dans la réalité… alors j’oppose pas vraiment les 2, réalité virtuelle et réalité…

Alexandre Michelin : Donc toi tu es déjà dans le métaverse, en fait ?

David Arnaud : Oui, on va dire ça, peut-être.

Alexandre Michelin : Non mais c’est une vraie question, pourquoi tu n’opposes pas la réalité virtuelle et la réalité…

David Arnaud : Et nos étudiants non plus.

Alexandre Michelin : C’est une nouvelle génération qui est finalement née avec tous ces outils ?

David Arnaud : Oui, et puis qui découvrent ça. Cette année, on a réalisé des formations… alors on n’est pas sur le système de Dassault, mais on a travaillé avec Medium pour de la sculpture virtuelle, pour produire des objets 3D qui vont être ensuite produits en réalité, en verre.

Et, en fait, les étudiants avec qui j’ai travaillé, pour eux, à aucun moment ils se posent la question, c’est un nouveau média. C’est un peu… nous, on a de la cire, on a de l’argile, de la pâte à modeler… Et bien eux, en fait, ils voient ça comme un outil en plus, ils voient ça en plus.

Donc ils font les deux. Ce n’est pas parce qu’on va aller vers une technologie XR ou un outil comme ça qu’on va abandonner le passé, ce qu’il y avait avant. Non, en fait ils vont se servir des deux.

Et donc pour revenir au projet “Ghost”, moi ce qui m’intéressait aujourd’hui, c’est de pouvoir utiliser ces technologies-là pour sauvegarder le patrimoine. Ça, c’était la première idée. En tout cas pour pouvoir capter les gestes.

Alexandre Michelin : Donc là on est bien dans ce dont parlait tout à l’heure David, c’est la mémorisation, l’enregistrement de ces gestes, et la transmission.

David Arnaud : Voilà, alors la première étape, c’est déjà de le documenter, c’est de pouvoir les capter, ce qui est déjà quelque chose d’énorme, parce qu’en fait, peut-être…

Alexandre Michelin : On peut voir un petit film.

David Arnaud : Voilà, on a un petit film, où on peut commenter. 

Donc on a fait plusieurs tests depuis 2019 sur la question de la captation des gestes avec différentes technologies. Donc voilà, ça c’est ça, c’est la société Vicon, qui a très gentiment passé trois jours avec nous, dans nos ateliers. 

Donc on a installé ça pendant trois jours, donc tout un tas d’équipements, avec des marqueurs, pour pouvoir capter, voir ce que ça donnait. 

Donc nous, ce n’est pas du tout notre métier. 

Là, c’est Jean-Pierre, notre formateur au Cerfav, donc en soufflage de verre, avec des assistants.

Alexandre Michelin : Ils ont des outils de motion capture, comme dans les films ?

David Arnaud : Voilà, c’est ça. Donc on a fait une séance de motion capture assez complexe, en fait, sur plein de points techniques, mais vous allez voir après, tout à l’heure, on a pu obtenir des données qui étaient quand même assez précises.

Alexandre Michelin : Donc là aussi on est dans la data, on est vraiment dans cette histoire dont on parle depuis le début, la donnée. Vous avez filmé, en fait, enregistré les gestes ?

David Arnaud : Voilà. Donc ce qu’on voit sur les plateaux hollywoodiens, de cinéma, et on a capté de la donnée. Donc là, c’est juste sur un prototype, c’est pas super joli, mais c’est une représentation. 

On a eu un autre projet avec la Drac Lorraine aussi, sur la captation des gestes et du patrimoine. 

Donc là, c’est un projet financé où on a capté des gestes de vitrailliste. Donc ça, c’est notre formatrice en vitrail qui qui a été captée pour de la vidéo volumétrique.

Donc la vidéo volumétrique, en fait, c’est un fond vert – ça aussi, c’est assez commun dans le cinéma -, et on va reconstruire, en fait, avec une algorithmique un peu spécifique chaque image qui est prise du mouvement et du geste, et on va reconstruire un modèle 3D qui peut être exploité ensuite dans des applications de formation en VR.

Et là, dernièrement, on a travaillé avec… donc là c’est aussi notre formateur au Cerfav – tout ça se passe dans les ateliers du Cerfav -, Frédéric Demoisson, qui est souffleur de verre au chalumeau. Donc lui, c’est un des meilleurs ouvriers de France… 

Alexandre Michelin : Alors là je t’interromps, parce que ce qu’on voit là, c’est l’enregistrement des…

David Arnaud : Des mains. Si vous regardez, il a des gants un peu spéciaux, avec des capteurs.

Donc c’est une société qui s’appelle StretchSense qui nous a prêté une paire de gants pour pour un peu mettre ça dans le contexte de nos ateliers, parce qu’il y a des choses qui sont… nos ateliers regroupent toutes les contraintes un peu particulières de chaleur, de température, d’optique, qui sont vraiment intéressantes.

Alexandre Michelin : En fait, on est dans un mélange de science fiction et de métiers de tradition. Parce qu’en fait tu enregistres la tradition, et en même temps, ce que disait tout à l’heure Denis, c’est qu’il faut aussi apprendre les gestes, mais ensuite, il faut pouvoir s’en libérer.

Donc on fait d’abord l’enregistrement des gestes et c’est avec ça qu’on apprend ?

David Arnaud : Alors pour l’instant, actuellement, en l’état, on est sur de l’enregistrement des gestes et on n’a pas encore construit quelque chose d’extrêmement formaté.

On a une application, on a un proto – d’ailleurs on a travaillé avec Gilles Noeppel, qu’on verra dans la matinée, et je le remercie pour le travail qu’il a réalisé aussi avec nous sur un serious game. 

Donc après nous, l’application, c’est plutôt… on préfère parler de “didactic games”, “serious games” c’est un peu problématique. 

Mais voilà, on a réalisé un serious game dans lequel on va pouvoir voir les séquences de vidéo volumétriques que vous avez vu sur le vitrail.

Donc c’est un outil qui va être utilisé dans notre centre de formation directement. On a fait des premiers playtests avec nos apprentis, qu’ils utilisent avec des casques de réalité virtuelle, et ça permet de transmettre un savoir, ça permet aussi, dans des séances d’ateliers qui parfois peuvent être compliquées à mettre en place, où on n’a pas forcément beaucoup de place, où on n’a pas forcément tous les outils disponibles, de pouvoir avoir des séances à côté, sur des temps un peu pédagogiques, avec avec les étudiants. 

Donc ça, c’est vraiment une notion extrêmement importante.

Denis Garcia : Un des points pour nous qui est important dans notre approche, à chaque fois, et c’est vraiment cette spécificité qu’on retrouve dans les métiers d’art, c’est d’arriver à capter le geste extrêmement précis, extrêmement fin.

Et aujourd’hui, les technologies ne restituent pas encore exactement les données telles qu’on les souhaiterait, et il y a vraiment des verrous pour nous encore à lever, du point de vue des technologies, pour arriver à faire ça.

Ça, c’est un premier élément. Donc le travail sur la précision des gestes, la rotation, les pressions, la répétitivité des gestes, elle est extrêmement importante.

Et puis, les autres éléments sur lesquels nous ont a à se préoccuper, puisque nos fondamentaux c’est bien la formation, c’est d’apprendre avec ces technologies-là, apprendre à nos formateurs à apprendre avec ces outils-là, et de faire en sorte qu’il y ait une attention eux-mêmes à l’exploitation de données numériques, de technologie XR, d’éléments de la réalité augmentée, etc. 

On pense, par exemple, au tailleur sur cristal qui pourrait avoir des lunettes sur lesquelles est projeté le quadrillage sur lequel il va venir faire ses biseaux, et que ça suive la pièce dans tous ses contours.

Aujourd’hui, il est obligé de tracer ça au feutre. Il a des éclaboussures d’eau sur les lunettes en même temps qu’il le fait, etc. Et tout ça, c’est des éléments qui vont nous permettre d’aller progressivement vers le secteur de l’industrie, qui se dit aujourd’hui : “mais les gestes sur lesquels vous travaillez nous préoccupent”. 

C’est pas exactement les mêmes, mais on a les mêmes problématiques chez nous pour qu’un opérateur change un moule sur une production qui est en cours. 

Donc tous ces éléments-là sont vraiment des enjeux fondamentaux.

Présentateur : Alexandre Michelin (Fondateur KIF Festival)

Intervenants :

– David Arnaud (Projet Ghost Cerfav)

– Denis Garcia (Directeur Général de Cerfav)

À DÉCOUVRIR ÉGALEMENT

Langues »