Les contrôleurs gestuels

 

Compte tenu de la finesse et de la fragilité de la perception auditive spatiale, il est primordial (selon mon expérience) de pouvoir contrôler les critères d'espace en temps réel, dans des actions qui associent étroitement et finement le geste et l'écoute.

Le contrôle du site de sources ponctuelles (masse-canal égale à 1 ou 2) dans les espaces à une ou deux dimensions des modules "surround" intégrés aux logiciels multipistes se fait généralement à la souris, ce qui est relativement approprié.
Par contre, pour le contrôle complet des
masses spatiales (aire, densité, ...), la modification de masses multiphoniques, les traitements multicanaux et bien sûr pour les dispositifs de projection s'étendant dans les trois dimensions, l'accés gestuel peut devenir problématique car il est nécessaire de pouvoir moduler de nombreux paramètres simultanément.

 

Périphériques standards

Par définition, la souris de nos ordinateurs, ou les pavés tactiles, ne proposent qu'un contrôle bidimensionnel, et, sauf cas particulier on ne peut en utiliser qu'un seul à la fois. Ceci les rend tout à fait adaptés au contrôle 2D des modules "surround" intégrés aux logiciels multipistes ou au plugins apparentés, mais un problème se pose néanmoins avec les dispositifs de projection qui s'étendent dans les trois dimensions, ou lorsque l'on souhaite contrôler plus finement la masse spatiale ou même simplement les deux canaux d'un fichiers stéréo. Les modes de symétrie stéréo proposés dans ce dernier cas par certains éditeurs ne fait que repousser le problème.
 
Cela dit, contrôle bidimensionnel ne veut pas dire forcément deux paramètres : il suffit que la position horizontale et verticale de la souris soit relayée par des processus d'interpolation de contrôleurs (à la manière de l'ancien Syter du GRM).
De nombreux
AcousModules de contrôle des masses spatiales ou de traitement sont basés sur de telles interfaces, mais c'est la Metasurface intégrée au logiciel modulaire Audiomulch qui représente à la fois l'application la plus simple à utiliser et la plus puissante pour contrôler les paramètres de ses modules ou de plugins VST.

 

 

Contrôleurs alternatifs 

D'autres périphériques informatiques peuvent être très utiles en tant que contrôleur gestuels, même s'ils ne sont pas destinés au contrôle du son.
Un joystick 3D ou une tablette graphique sensible à la pression offrent par exemple d'emblée un accès aux trois dimensions spatiales (X, Y, Z). De plus, en associant plusieurs contrôles dans un même geste ils permettent de retrouver une gestuelle plus fluide, plus "naturelle".
Un simple gamepad avec ses deux mini joysticks sera même plus intéressant que les gros joysticks de jeu.

Quelques logiciels modulaires comme Usine, Bidule ou Max/Msp sont capables d'exploiter pratiquement n'importe quel périphérique HID, et un certain nombre d'AcousModules répondent directement aux joysticks et gamepads standards (Windows).

En ce qui concerne les tablettes graphiques, même si certains logiciels comme Bidule ou Max/Msp peuvent offrir un support direct, il est plus efficace de passer par un logiciel de conversion MIDI comme MIDITab de Russel Borogove (freeware) ou surtout Tablet2MIDI de LiveLab qui permet de réaliser d'extraordinaires interfaces de contrôle graphiques. Couplé avec une tablette Wacom Intuos il est possible de contrôler jusqu'à six paramètres (X, Y, pression, inclinaison, orientation et rotation du stylet).
Pour Mac OS il y a
µMIDI Controller.


D'autre part, l'accélération probable du développement des interfaces dites "multitouch" autonomes ou intégrées à des ordinateurs portables va certainement bouleverser nos manières de travailler dans les années à venir (regardez la démo vidéo :
http://mrl.nyu.edu/~jhan/ftirtouch/).

 

 

Contrôleurs multitouch 

Le Lemur (Jazz Mutant) a popularisé le contrôle tactile sur petit écran, pendant que la Reactable en faisait la démonstration plus impressionnante.

Les tablettes et ordinateurs disposant d'une interface tactile multitouch sont maintenant omniprésents, et permettent, avec le logiciel approprié, de constituer des interfaces extrêmement efficaces sur une surface de 5" (smartphone) jusqu'à des écrans de 24" ou plus.

Depuis Windows 7, Usine permet de réaliser toutes les surfaces de contrôle que l'on peut désirer, qui fonctionnent aussi bien sur des tablettes de 7" à 100 euros, que sur le dernier PC avec multiples écrans tactiles, en passant par les convertibles, hybrides etc.
Celà représente à mon avis, et d'après mon expérience, de loin l'environnement le plus ouvert et aussi le plus économique pour contrôler nos multipistes (Reaper...), nos traitements et instruments.

Sur iOS, on est hélas limité pour l'instant aux 9,8" de l'iPad, ce qui permet tout de même de pouvoir contrôler quelques paramètres simultanément.
C'est l'application Lemur qui offre certainement le plus de possibilités, et la version Android permet de profiter de tablettes 12".

Il existe également des applications spécialisées pour rendre "multitouch" des logiciels qui ne le sont pas.
En fait, actuellement, dans les applications "pros", seuls Sonar parmi les multipistes et Usine dans sa version Windows supportent efficacement le contrôle multitouch.

 

 

Contrôleurs spécialisés 

Ceci inclue les "surfaces de contrôle" et autres pupitres de potentiomètres tellement à la mode aujourd'hui, ainsi que pédales, contrôleurs de souffle (Yamaha) etc...
C'est encore aujourd'hui la manière la plus simple et la plus efficace, à défaut d'être vraiment adaptée, pour accéder à de multiples paramètres simultanément. Le contrôle est précis, facilement accessible, mais hélas gestuellement "archaïque" dans le sens où il n'y a généralement aucun rapport entre le nature du geste et l'effet sonore. L'aspect le plus gênant reste la non corrélation entre différents contrôleurs sensés manipuler un même paramètre perceptif comme la position 3D. L'intégration de plus en plus fréquente de contrôleurs bidimensionnels (pads et joysticks) en fait néanmoins des solutions bien adaptées au contrôle de type "surround".

Il y a quelques années, le P5 Glove d'Essential Reality conçu pour les jeux vidéo, a vite été adapté et adopté pour le contrôle MIDI. Il dispose en effet, en plus des trois axes X, Y, Z, de cinq contrôleurs correspondant à la courbure des cinq doigts. Son système de détection infrarouge permet également d'analyser l'inclinaison et la rotation horizontale de la main. Malgré une "prise en main" délicate (il faut du temps pour trouver la bonne calibration et la bonne posture...), le système est très sensible (même un peu trop !).
Logiciels de conversion P5 Glove > MIDI :
-
P5Glove MIDI : assez sommaire et les contrôleurs MIDI sont préaffectés, mais il fonctionne en coordonnées absolues, ce qui est bien... Quelques AcousModules sont conçus en fonction de ce driver - Ross Bencina (PC)
-
P5 MIDI : assez fiable et contrôleurs librement affectables MAIS hélas en coordonnées relatives - Nicolas Fournel (PC)
-
GlovePIE : LE logiciel qui permet de tirer du P5 (et d'autres contrôleurs) tout ce qu'il peut donner, et en plus il permet d'en utiliser plusieurs à la fois - Karl Kenner (Win)
-
P5osc : en utilisation sur Mac avec PD, via osc... - Tim Kreger (MAC)

La Wiimote qui accompagne la nouvelle console de jeu de Nintendo est l'objet de convoitises de la part des musiciens. Ainsi, Karl Kenner l'a déjà ajoutée à la liste des périphériques reconnus par son GlovePIE, et plusieurs programmeurs proposent des petites applications sur Windows et sur Mac (40 €).

Le LeapMotion

Le Kinect

Enfin, le MétaInstrument conçu par Serge de Laubier (Puce Muse) représente un outil extraordinaire pour le contrôle des instruments MIDI et qui pourrait permettre de contrôler aisément tous les attributs de la masse spatiale (54 variables !). Hélas, sans parler de son encombrement, il est très cher...

 

 

Capteurs divers 

Les installations interactives nécessitent des dispositifs inventifs, adaptés au lieu et au propos. Cela va de capteurs de pression (dalles, tapis...) aux capteurs ultrasoniques, en passant par tout ce qui est imaginable... et réalisable.
A voir :
- le site de la société
Interface Z présente une quantité d'éléments à combiner recouvrant pratiquement toutes les circonstances
- l'Ircam a édité un
CD-Rom regroupant des articles et des démonstrations d'une bonne partie de ce qui existe dans le domaine des contrôleurs gestuels (http://www.ircam.fr/equipes/analyse-synthese/wanderle/Gestes/Externe/Interfaces.html)
- l'équipe qui a créé le logiciel de spatialisation
Egosound a également développé un système de contrôle intégré à un fauteuil : http://www.mshparisnord.org/themes/EnvironnementsVirtuels/00068AF0-001E7526
- voir également :
http://infusionsystems.com/catalog/index.php/cPath/24
- Reactable :
http://www.iua.upf.es/mtg/reacTable/?software
- les extraordinaires recherches de Jeff Han :
http://cs.nyu.edu/~jhan/ ... on imagine les applications !

 

 

Analyse vidéo du mouvement

Une solution particulièrement performante et d'une grande souplesse consiste à utiliser l'image vidéo fournie par une ou plusieurs caméras et à analyser son contenu pour obtenir des contrôles MIDI ou OSC.
Le procédé est maintenant ancien, et un groupe de musique électro-acoustique comme le Collectif & Compagnie à Annecy (maintenant MIA, voir IRISIS) a même été pionnier dans ce domaine.
Il existe actuellement une dizaine d'applications dédiées ou intégrant des modules de "tracking", et j'ai opté pour ma part pour le logiciel
Eyecon. Développé par Frieder Weiss, je l'ai utilisé entre autres dans le duo multimédia 4Hands (avec Bertrand Merlier) ainsi que pour des installations. Il bénéficie d'une excellente réactivité, d'une très grande souplesse dans l'organisation des zones de détection et de la programmation, et, ce qui ne gâte rien, d'une stabilité à toute épreuve...
Si ce genre d'outils est destiné à l'origine pour des situations scéniques, leur adaptation pour le contrôle manuel dans l'espace d'un studio ne pose pas de réel problème, excepté la gestion de l'éclairage, car ils sont évidemment très sensible aux variations de la lumière ambiante. L'utilisation en infra-rouge peut résoudre ce problème.

Voir Eyesweb (Windows, freeware) et Jitter + Max/Msp (Mac/Win, 850 $) qui permettent le traitement du son et de l'image. La série de plugins audio Hypno réalisée avec ce dernier environnement intègre des possibilités d'analyse basique d'une entrée vidéo, tout comme MidiWebcam de Pierre Couprie pour Mac OS, minimal mais suffisant pour un tracking simple XY(Z).