Hello les ami(e)s !
Ce matin, j’ai ouvert les yeux et je suis tombé sur un projet vraiment incroyable qui, je vous l’avoue, me donne envie d’être très vite à mon anniversaire ;-) Dans cette vidéo, nous découvrons comment il est possible d’effectuer de la reconnaissance gestuelle simplement avec un microphone ainsi que de transformer chaque surface en une surface interactive. Alors, oui, je sais, je vous ai déjà présenté ce type de projet, ça existe depuis longtemps, mais là, c’est quand même beaucoup plus élaboré.
Grâce à des techniques de reconnaissance des gestes il est donc possible de détecter différents types de touché et ainsi, les associer à des sons différents. Voilà ce que ça donne :
Dans la vidéo, vous avez donc deux techniques différentes :
- La technique de modélisation physique, qui consiste à générer le son en simulant des lois de la physique
- La technique de synthèse audio dans laquelle le son perçu par le microphone est associé au son le plus proche de la banque de sons préenregistrés.
À noter aussi que ce système peut reconnaître deux doigts ainsi que les objets qui émettent un son, comme une pièce de monnaie.
Bon, on se cotise ? 😀
c’est quoi l’idée? Faire des percussions sur n’importe quel objet grâce à un micro? : p
Sérieusement, concrètement, c’est sensé inter-agir avec quoi? des écouteurs de smartphones? ‘:-s
j’ai l’impression de ne pas torp comprendre le truc … je ne vois pas où il y a de la reconnaissance de « mouvements ». je dois louper quelque chose, tellement que j’ai l’impression de voir un fake. et puis on peut faire quoi avec des « percus » ? ça semble intéressant donc à surveiller … mais je reste perplexe quand même.
J’avais déjà vu une vidéo qui reprenait ce même dispositif mais cette fois-ci pour la domotique.
Le principe reste le même, un micro capable de capter et d’enregistrer les fréquences lorsque des doigts touchent une surface pour ensuite la convertir en une fonctionnalité.
Dans la vidéo, ça permettait par exemple de créer un clavier virtuel sur n’importe quel support ou de transformer une table basse de salon en télécommande.
Dans la théorie ça reste super, dans la pratique, il va falloir penser à des surfaces adaptées parce que sinon l’état des doigts risque vite de se dégrader 😉
Cela me semble pourtant très clair :
http://www.brunozamborlin.com/mogees/
En gros dans ce que l’on voit sur la vidéo le son qui est enregistré par le micro est utilisé soit pour trigger des samples, soit comme base pour de la synthèse modale, jusque là c’est un procédé assez courant dans un cas comme dans l’autre. Là où ils ont l’air d’avoir bien bossé, c’est que les propriétés du son entrant sont analysées en temps réel pour choisir le bon sample ou modifier les paramètres du synthé modal. Je n’ai retenu que trois types de trigs (taper, frotter, et la pièce) ce sont des impacts plutôt faciles à différencier, je ne sais pas si le système peut discerner des détails plus subtiles que ça mais jusque là ça a l’air de plutôt bien marcher.
Par contre je ne sais pas pourquoi il faudrait se « cotiser » puisque a priori leur patch MaxMsp n’est pas à vendre.