PatchXR ouvre le monde de la musique à la réalité étendue
Né il y a un an de la rencontre de trois artistes, PatchXR est un moteur de création d’instruments de musique en réalité virtuelle. L’outil propose bien plus que de pousser trois boutons en réalité virtuelle, il intègre toute la complexité de la synthèse modulaire dans un environnement virtuel mais ouvre aussi à un continuum réel-virtuel intuitif impliquant le corps au même titre que l’instrumentation classique. Les possibilités sont infinies. Rencontre avec ses fondateurs et développeurs.
Comment expliquer en quoi consiste PatchXR ? En quelques mots on peut décrire l’outil comme un environnement de synthèse et de programmation visuelle dans lequel l’utilisateur peut construire et/ou jouer avec des instruments de musique. Mais plus concrètement ? Imaginez vous un instant enfiler un casque de réalité virtuelle. Vous vous retrouvez soudainement dans un espace abstrait devant une machinerie aux allures mécatroniques mais complètement virtualisée. Des moteurs, pads, clavier, modules, enceintes évoquent cependant un univers familier, ou du moins à ceux qui auraient joué avec des synthétiseurs modulaires, PureData ou Max/MSP dans leur vie. A l’aide des manettes vous commencez à interagir avec les différents composants, un beat entre en jeu, vous augmentez le tempo, le diminuez. Vous frappez sur quelques drum pads. Puis vous déclenchez un autre son et trouvez comment faire varier sa hauteur, sa durée, son intensité, son timbre, son enveloppe, etc. Certains éléments se meuvent dans un axe en trois dimensions et soudainement vous pouvez interagir avec tout votre corps, à la manière d’un Thérémine, ou mieux, d’un Terpsitone, car vu de l’extérieur, c’est dans une vraie chorégraphie que vous vous lancez. On vous propose d’autres interfaces/instruments réalisés par les artistes de la petite communauté de testeurs qui utilisent déjà le software. Ici comme un instrument à cordes, véritable fontaine sonore de billes d’eau sur un clavecin, que vous pouvez moduler. Ici encore un gros « oursin » à tubes génère un son de rave, vous fait osciller de la tête sur les rythmes techno que vous pilotez. Plus tard un automate musical, ou encore un sabre laser qui vous ramène en enfance ! Une heure passe et nous ne vous lassez pas. Vous êtes la Fée Dragée de Casse-Noisette dans Fantasia.
PatchXR (trailer) :
Une start-up pour un moteur VRMI d’un nouveau genre
La jeune start-up PatchXR est née en septembre 2019. Le projet a émergé de la rencontre d’Eduardo Fouilloux, qui développait déjà depuis 2017 les principes centraux de l’engin pour le jeu vidéo MuX, avec l’artiste Mélodie Mousset (lire notre interview) et l’ingénieur audio, Christian Heinrichs. Tout trois engagés depuis longtemps dans le medium immersif, ils avaient pris conscience que le développement rapide et les solutions à faible coût pour les casques de réalité virtuelle offraient un nouveau champ de possibles pour la création d’expériences sonores interactives. Dans une expérience de réalité virtuelle, le son spatialisé et procédural peut en effet diriger l’attention des utilisateurs, renforcer le sentiment de présence et créer des expériences immersives uniques pour chaque utilisateur. Mais ce que propose PatchXR avec ces instruments de musique de réalité virtuelle (VRMI) c’est de pouvoir composer, jouer et partager cette musique visuelle, gestuelle et expressive en temps réel, à la fois dans l’espace physique et l’espace virtuel. Ces instruments deviennent alors des mondes qui offrent ainsi de nouvelles techniques de collaboration et façons d’interagir.
Avec MuX, Eduardo Fouilloux avait développé le bac à sable de la fabrique d’instruments. La plasticienne Mélodie Mousset le voit en 2018 performer son outil à l’occasion d’un festival où elle est venue présenter sa pièce HanaHana : « « J’ai trouvé ça génial, d’autant qu’en VR le son est un élément tellement important pour avoir une expérience vivante et immersive », explique-t-elle. Ils gardent le contact, elle en parle à ses collaborateurs de l’époque, Victor Beaupuy (artiste, musicien, développeur de jeu), et au musicien et spécialiste du son procédural, Christian Heinrichs, avec qui elle travaille depuis peu. Ils entament de premières collaborations au tour de l’interaction avec la voix. La même année, Eduardo Fouilloux sort MuX sur Steam en bêta. « Six mois plus tard, les 500 premiers utilisateurs avaient réalisé plus de 4000 instruments, c’était incroyable », raconte Mélodie Mousset, qui s’enthousiasme alors à la possibilité d’associer leurs équipes pour « pousser le projet à fond vers la création visuelle et sonore ». « Chris avait développé un compiler PureData avec sa boite Londonienne Enzien Audio », explique Eduardo Fouilloux, « PatchXR a démarré quand nous avons décidé de rassembler toutes ces choses en une seule vision ».
Du mode expert au mode utilisateur
Dans les environnements de synthèse numérique tels que Pure Data ou Max/MSP, l’utilisateur peut créer, modifier et interagir avec des modules, mais tout se fait à l’aide du clavier et de la souris, à moins qu’un contrôleur alternatif ne soit utilisé. Avec PatchXR, l’utilisateur est immergé dans un vaste espace qu’il peut customiser à souhait. Grâce aux principes du son modulaire, il peut contrôler tous les paramètres d’un monde virtuel : lumières, textures, animation, environnement, uploader ses propres meshs et vidéos. Les combinaisons sont infinies. « PatchXR propose des algorithmes de traitement du son similaires à PureData ou Max/MSP, mais l’expérience est complètement différente en raison de la nature immersive de la réalité virtuelle », explique Eduardo Fouilloux.
Dans PatchXR, un peu comme dans Minecraft ou Lego, il est ainsi possible de créer des « machines sonore » en temps réel, en combinant des blocs de construction simples. Les blocs peuvent être définis en trois catégories : composants de flux (composants qui traitent le son) ; composants d’événement (composants qui traitent les événements de déclenchement) ; composants pour modifier les paramètres valeurs avec mouvement. « PatchXR a une logique de construction modulaire par blocs, l’esthétique évoque un lab steam punk et fantastique, visuellement nous ne voulions pas simplement reproduire des synthés virtuels tels qu’on les connaît, bien au contraire, pour chaque module, nous inventons de nouvelles formes. En général nous cherchons une dimension plus artistique que technique. Les connexions sont physiques : tu prends un oscillateur, tu tires un câble, tu branches dessus un effet, tout ça dans un environnement sans gravité, tu crées un instrument comme une sculpture, que tu peux en plus animer grâce a des LFO (low frequency oscilator), et l’animation change la texture du son », explique Mélodie Mousset.
Comment construire son instrument dans PatchXR (en anglais) :
L’équipe de PatchXR collabore déjà avec une trentaine de musiciens. Eduardo Fouilloux a ainsi eu l’occasion de mener des ateliers à l’Ircam, à la Zhdk de Zurich et à l’Université d’Aalborg. Certains s’intéressent à l’aspect performatif, d’autres à créer des mondes… Cet été, pour le festival A MAZE Playful Media à Berlin, l’équipe a organisé un hackathon en ligne, ou plus exactement un « patchathon ». A cet effet, et pour cette édition en ligne, ils ont lancé un appel à projet autour de la VR, pour musiciens, ingénieurs, développeurs, etc., avec l’objectif de donner un concert online à la fin du festival. Ils ont reçu des candidatures du monde entier, d’Espagne, d’Iran, du Canada, de Pologne, de Colombie, etc. Durant le patchathon de cinq jours les participants ont ainsi pu s’approprier l’outil et développer leurs propres instruments et mondes sonores afin de performer pour le public d’A Maze.
Patch est toujours en développement. Actuellement, l’outils s’adresse à un public encore niche de designers et d’ingénieurs du son, ou d’artistes férus de synthèse sonore. Mais le trio entend rendre l’audio procédural, interactif, accessible à tous, grâce à un mode utilisateur, intuitif et ludique. Mélodie Mousset : « Des outils comme Fmod ou WWise ont facilité l’intégration de ces principes pour les jeux vidéos. Nous voulons donner la possibilité aux artistes, de créer directement pour ces nouveaux formats. Nous essayons maintenant d’encapsuler des fonctions complexes pour proposer différents niveaux de difficultés. Et le son en temps réel est également gourmand pour le GPU et le CPU, nous travaillons donc à une version light qui serait compatible avec la technologie mobile des casques comme l’Oculus Quest et qui proposerait un interfaçage intuitif et ludique afin d’ élargir l’accès aux non-spécialistes de la synthèse sonore. » Mais l’équipe de PatchXR est convaincue que leur outil ouvre un nouveau genre, entre jeu vidéo, musique, art. « Les moteurs de jeux deviennent si puissant qu’ils commencent a remplacer les outils de production traditionnels, des concerts dans Fortnight ou Minecraft accueillant plus de 10 millions de spectateurs simultanément sont en train de révolutionner l’industrie musicale, nous espérons que notre engin permettra aux nouvelles générations de s’exprimer artistiquement dans ces nouveaux formats. Pour avancer il nous reste donc maintenant à convaincre les possibles utilisateurs : joueurs, musiciens, artistes. »
Développer la communauté
Un de leurs objectifs pour les mois à venir est d’installer des stations PatchXR dans des universités, des départements arts numériques & nouveaux médias, travailler avec des labos de musique, voir le cinéma VR. Cela afin d’ étendre le réseau des utilisateurs de PatchXR et d’avoir plus de retours sur expérience. « L’idée est par exemple d’amener les communautés TouchDesigner ou Max/MSP à collaborer dans un dispositif immersif et ludique », explique Eduardo Fouilloux. « Nous concentrons actuellement notre énergie sur la construction d’une plateforme et d’une communauté », poursuit-il. « L’idée c’est que les gens se réunissent dans PatchXR en temps réel pour fabriquer des nouveaux instruments, les jouer, et performer pour un public illimité. Comment peut-on collaborer dans ces mondes virtuels ? C’est important que ce soit connecté au monde réel », abonde Mélodie Mousset.
« Nyan Whales » par Victor Beaupuy :
Ainsi la semaine prochaine l’équipe de PatchXR va collaborer avec l’ensemble Contrechamps, un ensemble de musique contemporaine de Genève et l’ensemble Liminar de Mexico afin de créer un premier prototype de tournée virtuelle.
L’ensemble Contrechamps était censé partir en tournée au Mexique en collaboration avec l’ensemble Liminar. Si la tournée a bien sûr été annulée du fait de la situation sanitaire, la collaboration va tout de même avoir lieu à travers PatchXR sur les réseaux et en monde virtuel. « L’objectif va être de développer des nouveaux instruments avec eux. Ce sont des musiciens de formation classique, des virtuoses de la clarinette, du violon, du piano, etc., C’est assez excitant d’amener de tels musiciens a explorer ces nouvelles possibilités », commente Mélodie Mousset. « L’idée est de concevoir une série de concerts online, multi-players, mélangeant des instruments virtuels et réels. »
Serge Vuille, directeur de Contrechamps, commente : « Que sera la musique instrumentale à l’avenir ? Est-il possible de transcrire dans le monde numérique et en ligne des mouvements physiques très entraînés et extrêmement précis qui sont essentiels au jeu du violon par exemple ? Comment la musique écrite, et la virtuosité, la complexité et le raffinement qu’elle permet, peuvent-ils trouver une voie dans un environnement virtuel ? Ces questions sont au cœur de la mission de Contrechamps, qui consiste à créer de la musique instrumentale pour la prochaine décennie. PatchXR nous permettra de trouver quelques réponses et nous sommes enthousiastes à l’idée de nous lancer dans un voyage qui pourrait nous amener à des performances en direct qui pourraient être appréciées simultanément dans un espace physique de concert traditionnel, et de n’importe où dans le monde au sein de la VR. Un concert où des musiciens hautement qualifiés peuvent interpréter des compositions écrites spécifiquement pour des instruments virtuels. Un concept où non seulement la performance peut être « en direct », mais aussi en replay en VR, où le public peut être en contrôle de sa propre expérience d’écoute. »
« Cyberlivecoder », par CNDSD :c
Convaincre les investisseurs
Mais pour réussir cette aventure, la start-up PatchXR, doit également convaincre les investisseurs. Et la partie n’est pas aussi évidente aujourd’hui qu’elle pouvait l’être en 2016 ou 2017. L’adoption de la réalité virtuelle par le public est plus longue que prévue, et bien que certaines applications comme BeatSaber, Tilt Brush et encore récemment Alyx ont émergé, le marché reste encore petit, dominé par une audience de gamers et de early adopteurs. Mais pour Mélodie Mousset, « qu’on le veuille ou non, les technologies immersives vont transformer la manière dont on interface avec les mondes numériques pour toujours. » L’équipe reste optimiste et voit un espoir dans la décennie à venir, et comme le dit Eduardo Fouilloux : « Les professionnels que nous visons n’existent pas encore, ou se développent au moment où nous parlons. Nous n’essayons pas d’entrer en compétition avec Max/MSP ou des outils similaires, ce que nous essayons de faire est de porter une dimension expressive, visuelle et gestuelle, et grâce a l’ouverture de notre système, via OSC, MIDI, ou Ableton Link, l’idée c’est d’interfacer avec ces autres outils digitaux ou physiques. » A moyen terme le domaine devrait donc se développer – il suffit de tester PatchXR pour être convaincu ! « Nous avons monté une start-up, un peu à la manière d’Unity, d’Unreal Engine qui sont des moteurs de jeu vidéo, dans la mesure où PatchXR est un moteur pour faire des mondes musicaux », explique Mélodie Mousset. « Nous avons donc une technologie à proposer, et nous cherchons des financements. Nous cherchons également des aides du côté des fabricants, HTC Vive, Oculus de Facebook, et les acteurs du spatial computing en général. »
Par « spatial computing » on entend une nouvelle tendance qui va plus loin que la réalité augmentée et que la réalité virtuelle, en quelque sorte la rencontre entre réalité virtuel (VR), réalité augmentée (AR) et réalité mixte (MR), ce qui peut se définir également comme réalité étendue (Extended Reality, XR). La promesse de ce nouveau chantier est qu’à terme l’intégration entre la technologie et les espaces réels et virtuels serait si parfaite que le matériel informatique passerait au second plan et deviendrait même invisible. Microsoft et Facebook investissent déjà massivement en la matière. Microsoft a ainsi sorti son HoloLens et Facebook mise sur l’émergence de l’AR/XR dans le quotidien de tous les jours pour la seconde moitié de la décennie, des technologies qu’ils voient supplanter le smartphone à terme. Et Mélodie Mousset de conclure : « A un moment il faudra des interfaces qui ramènent le corps dans les usages que nous avons actuellement des technologies. La promesse est qu’on décroche progressivement de l’écran et qu’on recouvre une certaine liberté de mouvement. »
En savoir plus sur PatchXR.
Lire l’interview de Mélodie Mousset.