Le KIF rassemble les innovateurs pour créer de fascinantes expériences, partager les meilleures pratiques et proposer des perspectives novatrices de développement culturel et économique.

!
Ubisoft : apprendre la musique grâce à la réalité virtuelle
immersif | immersion | metaverse | nft | réalité augmentée | réalité virtuelle |

Olivier Dauba : La vidéo vient d’une réflexion, au départ, sur le type d’instrument dans lequel les jeunes rentrent, à l’heure actuelle. Désolé de vous décevoir, mais les enfants ne veulent pas forcément faire du violon ou du piano. C’est plutôt une demande des parents. La flûte à bec non plus. 

Je pense que les enfants veulent faire de la production musicale pour Cardi B, et des artistes de ce genre là. Donc ils vont commencer par acheter un séquenceur, et un séquenceur c’est quand même un appareil relativement compliqué, avec des menus complètement incompréhensibles.

Donc nous on s’est dit : “tiens, essayons de rendre tout cela beaucoup plus ludique. Apprenons les bases de la construction de musique par un séquenceur en réalité virtuelle.”

Et on verra, après, les autres types de bénéfices qu’amène la réalité virtuelle. Donc là, le joueur va traverser une série de niveaux où, dans chaque niveau, on va lui jouer une partition, en fait, un track, dans lequel un instrument va jouer sur certain beats, sur certain temps. 

Donc, on va développer l’oreille musicale du joueur en lui demandant de reconnaître quel instrument va être joué, à quel temps. Parce que le séquençage, finalement, c’est ça, c’est de se dire : “tiens, je vais prendre l’instrument sur une ligne, sur un track, et je vais le faire jouer sur tel temps.”

Donc on a toute une progression. Vous commencez d’abord avec un seul track, un seul instrument. Quand vous réussissez à identifier à quel temps sont joués les notes, vous progressez vers le niveau suivant, où là, vous aurez deux instruments.

Donc vous développerez votre oreille également, en apprenant, finalement, un autre type d’instrument auquel vous n’avez peut-être pas été confronté.e dans la vie de tous les jours. 

Et on a voulu essayer la réalité virtuelle. Au départ, ça vient d’un proto de deux de mes collègues qui l’avaient fait sur un PC complètement traditionnel.

Mais avec la réalité virtuelle, je voulais explorer la gestuelle et notamment le toucher. On arrive, maintenant, avec les casques commerciaux à traquer les mains. Ce que vous voyez, là, ce sont vraiment les mains de la personne qui joue. 

Donc on se disait : “tiens, est ce qu’on peut recréer la sensation de toucher ? Est-ce que je vais pouvoir faire un glissando, par exemple, en caressant une main avec l’autre ?”

Donc tout ça, ça crée des choses qui sont aussi extrêmement intéressantes, en fait. Une caresse, l’air, rien, c’est aussi un geste qui est plutôt affectueux, un geste de soin qui est tactilement agréable.

Donc on voulait aussi rajouter un petit peu cette composante-là, et solliciter un sens qui, finalement, est très peu utilisé dans le jeu vidéo en allant jusqu’à se dire : “est-ce que je peux jouer avec mon propre corps, est-ce qu’on peut en faire quelque chose d’assez agréable ?”

On n’y est pas encore, à l’heure actuelle, parce que la technologie ne permet pas de différencier deux mains, car elles se recouvrent. Mais on est confiants sur la capacité de nos partenaires à faire avancer ces choses là.

Donc voilà, on arrivera à terme à ramener tous ces sens là et à les utiliser au maximum dans les expériences immersives de demain.

Présentateur : Jean-Marc Merriaux (Inspecteur Général de l’Éducation, des Sports et de la Recherche)

Intervenant : Olivier Dauba (VP Fun Learning Ubisoft)

À DÉCOUVRIR ÉGALEMENT

Langues »