SOMA

Concept

Comme un sonar, SOMA cartographie les traces de nos souvenirs. À travers leur écho, il nous renvoie à notre histoire affective. La machine invite à un dialogue intime avec soi-même. La narration personnalisée, faite d'images et de sons abstraits, fonctionne comme un cocon pour le sens que chacun y projette.

Like a sonar, SOMA maps the traces of our memories. Through their echo, it reflects our emotional history back to us. The machine invites an intimate dialogue with oneself. The personalised narrative, made of abstract images and sounds, works like a cocoon for the meaning each person projects onto it.

Le biofeedback actif durant l'expérience prête à la machine une forme d'empathie virtuelle pour le visiteur. Le spectateur-acteur devient alors sujet au même titre que l'expérience. Le massage — excitation vive d'une chair engourdie pour permettre au sang d'affluer — s'exerce ici sur le muscle de la mémoire émotionnelle.

The active biofeedback during the experience lends the machine a form of virtual empathy for the visitor. The viewer-actor becomes subject just as much as the experience itself. The massage — a sharp stirring of numb flesh to let the blood flow — is exercised here on the muscle of emotional memory.

Le contenu emmène le visiteur dans un parcours en pleine nature, à la rencontre d'abstractions qui stimulent peurs, fantasmes, quiétude. SOMA utilise les codes de l'intrigue musicale et fait résonner sensations et sentiments par l'usage alterné de tensions, de résolutions et de ruptures. Ce que chacun projette sur l'expérience, suivant son caractère et son humeur, va la conditionner. Aujourd'hui, SOMA reste autant une recherche sur la perception et le comportement qu'une œuvre visuelle.

The content takes the visitor on a journey through wild nature, meeting abstractions that stir fear, fantasy and quietude. SOMA borrows the codes of musical intrigue, making sensations and feelings resonate through alternating tension, resolution and rupture. What each person projects onto the experience, according to their character and mood, will shape it. Today SOMA remains as much a study of perception and behaviour as a visual work.

« Le Tao que l'on peut nommer n'est pas le Tao éternel. »Lao Tseu

"The Tao that can be named is not the eternal Tao."Lao Tzu

Le dispositif

The apparatus

Une cabine, un fauteuil, trois capteurs et une boucle de rétroaction.

A booth, a chair, three sensors and a feedback loop.

Le visiteur s'assoit et pose son bras sur un accoudoir conçu à cet effet. Trois capteurs détectent sa présence et l'expérience démarre. La cabine, en bois reconstitué (2,7 × 1,4 × 2,2 m), est doublée de laine de verre et fermée par une porte acoustique. L'écran cylindrique en acrylique gris brillant génère un effet proche du kaléidoscope qui accentue l'immersion.

The visitor sits and rests their arm on a purpose-built armrest. Three sensors detect their presence and the experience begins. The booth, in reconstituted wood (2.7 × 1.4 × 2.2 m), is lined with glass wool and closed by an acoustic door. The cylindrical screen in glossy grey acrylic creates a near-kaleidoscopic effect that deepens immersion.

Schéma de la cabine SOMA vue de dessus — Plan de la cabine vue de dessus — projecteur, ordinateur, caisson de basse, capteurs, écran cylindrique et enceintes.

Le fauteuil en contreplaqué abrite le caisson de basse sous l'assise et les cartes électroniques reliées aux capteurs. Le projecteur Full HD et l'ordinateur sont logés au-dessus du siège, avec des ouvertures pour évacuer la chaleur.

The plywood chair houses the subwoofer under the seat along with the electronics linked to the sensors. The Full HD projector and computer sit above the seat, with vents to release heat.

Une caméra infrarouge (Kinect V2) descend à 30 cm du plafond et cadre le visage du visiteur. Le système observe l'évolution de ses constantes physiologiques et y réagit en temps réel.

An infrared camera (Kinect V2) hangs 30 cm from the ceiling and frames the visitor's face. The system watches their physiological signals evolve and responds in real time.

Pouls — Shader 3D

Pulse — 3D Shader

Oxymétrie

Pulse oximetry

Le taux d'oxygénation du sang donne la pulsation cardiaque en temps réel. La vidéo, projetée sur une plaque 3D, se déforme et se colore au rythme du cœur — deux fois plus lentement, pour favoriser la détente.

Blood-oxygen levels give the heartbeat in real time. The video, projected onto a 3D plate, warps and shifts colour to the rhythm of the heart — at half speed, to encourage relaxation.

GSR

Conductance de la peau

Skin conductance

Un léger courant (moins d'un volt) traverse deux doigts et mesure la variation de la sudation. Celle-ci varie avec l'excitation et donne une valeur d'intensité de l'émotion vécue.

A faint current (under one volt) passes through two fingers and measures changes in perspiration. It rises with arousal, giving a value for the intensity of the emotion being felt.

Kinect — Suivi facial

Kinect — Facial tracking

Apprentissage automatique

Machine learning

Les traits du visage sont suivis puis transmis à un classifieur entraîné, qui distingue quatre familles d'émotions : peur/surprise, joie, tristesse, colère/dégoût — la qualité de l'émotion.

Facial features are tracked then fed to a trained classifier that distinguishes four families of emotion: fear/surprise, joy, sadness, anger/disgust — the quality of the emotion.

Chaîne logicielle

Software chain

Arduino

Capteurs physiologiques

Physiological sensors

Met en forme les valeurs des capteurs en temps réel et les envoie au patch.

Formats the sensor values in real time and sends them to the patch.

Windows / Kinect

Suivi du visage

Face tracking

Récupère le flux infrarouge, l'étalonne et suit les points du visage.

Captures the infrared stream, calibrates it and tracks facial points.

Max / MSP

Centralisation

Central hub

Affiche la vidéo, joue le son, filtre les données et estime l'émotion.

Displays video, plays sound, filters the data and estimates the emotion.

External C++

Orchestration

Consulte les chemins narratifs et choisit le plan suivant selon l'émotion.

Reads the narrative paths and picks the next shot from the emotion.

Analyse de données

Data analysis

Ce que révèlent près de 5000 expériences.

What nearly 5,000 sessions reveal.

La dernière exposition, à Lille, s'est tenue sur plusieurs mois et a produit les données les plus complètes : près de 5000 expériences réussies. Les conditions de recherche pures n'étaient pas remplies, étant donné la complexité des images et des sons présentés ; le grand nombre de résultats permet toutefois d'observer des tendances claires dans le contexte de SOMA — sur l'engagement, l'excitation physiologique et l'efficacité de chaque plan.

The last exhibition, in Lille, ran over several months and produced the most complete data: nearly 5,000 successful sessions. The conditions of pure research were not met, given the complexity of the images and sounds presented; the large number of results nonetheless allows clear tendencies to be observed within the context of SOMA — on engagement, physiological arousal and the impact of each shot.

~5000

Expériences réussies

Successful sessions

Vidéos possibles
(~40 vues par session)

Possible videos
(~40 seen per session)

~4min

Durée moyenne d'une expérience

Average session length

Familles d'émotions classées

Classified emotion families

Distribution des durées d'expérience

Distribution of session durations

Nombre d'expériences · durée en secondes

Number of sessions · duration in seconds

Le pic à gauche révèle surtout les faux départs : le visiteur s'y reprend à plusieurs fois ou utilise les capteurs comme des boutons, enregistrant des fichiers trop courts (écartés de l'analyse). La seconde bosse, centrée autour de 240 secondes, montre qu'une forte proportion des visiteurs sont allés jusqu'à la fin de l'expérience.

The left-hand peak mostly reveals false starts: the visitor tries several times or uses the sensors like buttons, recording files too short to keep. The second hump, centred around 240 seconds, shows that a large share of visitors stayed to the very end.

GSR

Les pics de conductance sont le meilleur indicateur de l'excitation et de l'implication émotionnelle. La montée est rapide (2 à 4 s), la descente bien plus lente — d'où une lente pente ascendante sur la durée.

Skin-conductance peaks are the best indicator of arousal and emotional involvement. The rise is fast (2–4 s), the fall much slower — hence a gentle upward slope over time.

Apaisement

Settling

En fin d'expérience la courbe moyenne stagne ou redescend légèrement — signe d'un apaisement du spectateur après le pic d'intensité.

Towards the end the average curve plateaus or eases down slightly — a sign of the viewer settling after the peak of intensity.

Limites des capteurs

Sensor limits

La température monte avec le temps sans lien au contenu, et le rythme cardiaque évolue trop lentement pour suivre les images : seul le GSR donne un signal fiable et exploitable.

Temperature rises over time regardless of content, and heart rate evolves too slowly to track the images: only GSR yields a reliable, usable signal.

Les quinze plans les plus stimulants

The fifteen most stimulating shots

Parmi les 61 vidéos, voici celles qui ont le plus souvent provoqué un pic de GSR. Le son participe grandement à l'efficacité d'un plan : un simple chemin forestier devient angoissant dès que la bande-son installe la tension.

Among the 61 videos, these most often triggered a GSR spike. Sound contributes greatly to a shot's impact: a plain forest path turns menacing the moment the soundtrack builds tension.

Plan 03

Shot 03

Chemin sombre

Darkening path

Un plan de route ordinaire ; c'est le son qui amène tension et suspens sur ce chemin qui s'assombrit.

An ordinary road shot; the sound brings tension and suspense as the path darkens.

Plan 12

Shot 12

Le feu

Fire

Un feu qui se propage, le son en parfaite cohérence avec la progression des flammes.

A fire spreading, the sound in perfect coherence with the advancing flames.

Plan 16

Shot 16

Mouvement organique

Organic motion

Une forme indéfinissable dont le centre clair est peu à peu englouti ; le son tout aussi insaisissable.

An undefinable form whose bright centre is slowly swallowed; the sound just as elusive.

Plan 17

Shot 17

Vortex

Un vortex qui semble tourner dans les deux sens à la fois, désorientant le regard.

A vortex that seems to spin both ways at once, disorienting the eye.

Plan 20

Shot 20

Route puis arbre

Road, then tree

Un son angoissant ; la route bascule dans le noir, puis un arbre sombre surgit dans la brume.

An anxious sound; the road tips into black, then a dark tree looms through the mist.

Plan 21

Shot 21

Forêt magenta

Magenta forest

On avance en titubant dans une forêt brumeuse, le sol couvert de feuilles d'un magenta proche du sang.

Staggering through a misty forest, the ground strewn with leaves of a blood-like magenta.

Plan 27

Shot 27

Sous l'eau

Underwater

Des insectes se tortillent sous l'eau ; impossible de savoir s'il s'agit d'un être vivant ou de plusieurs.

Insects writhe underwater; impossible to tell whether it is one creature or many.

Plan 28

Shot 28

Sous l'eau, chaud

Underwater, warm

Le même plan que le 27, étalonné plus sombre et chaud — il a engendré près de deux fois plus de pics de GSR.

The same as shot 27, graded darker and warmer — it triggered nearly twice as many GSR spikes.

Plan 31

Shot 31

Vers de farine

Mealworms

Des vers de farine s'agitent dans des tons vert-ocre, si sombres que l'image en devient presque abstraite.

Mealworms squirm in green-ochre tones, so dark the image becomes almost abstract.

Plan 33

Shot 33

La tique

The tick

Une tique filmée en macro, étalonnée dans les mêmes verts ocrés, troublante de proximité.

A tick filmed in macro, graded in the same ochre greens, unsettling in its closeness.

Plan 35

Shot 35

Mâchoire de panthère

Panther jaw

Une mâchoire de panthère en très gros plan, aux gencives rougies.

A panther's jaw in extreme close-up, gums reddened.

Plan 38

Shot 38

La charge

The charge

Très court (2 s) : un troupeau de bisons charge vers la caméra, étalonné rouge et ocre, le son violent.

Very brief (2 s): a herd of bison charges the camera, graded red and ochre, the sound violent.

Plan 43

Shot 43

Forêt rougissante

Reddening forest

On avance dans une forêt froide qui rougit de plus en plus ; le son illustre cette instabilité.

Moving through a cold forest that reddens further and further; the sound echoes the instability.

Plan 46

Shot 46

Cheval inversé

Inverted horse

Le buste d'un cheval au pas, inversé et ralenti, couleur chair ; un mouvement animal sans objet clair.

A horse's body at a walk, inverted and slowed, flesh-coloured; animal motion with no clear object.

Plan 59

Shot 59

Le nuage

The cloud

Un chemin de forêt qu'un nuage assombrit, tandis que le son enfle, devient grave et ralentit.

A forest path darkened by a cloud, while the sound swells, deepens and slows.

Conclusion

Ce que l'abstrait fait au corps.

What abstraction does to the body.

En regroupant les vidéos selon des caractéristiques objectives, une comparaison post-hoc révèle quels traits font monter le GSR de façon robuste (p < 0,001, mêmes tendances à Maubeuge, Créteil et Lille). Ce qui active le corps, c'est l'image qu'on ne parvient pas à situer.

Grouping the videos by objective characteristics, a post-hoc comparison reveals which traits raise GSR robustly (p < 0.001, same tendencies across Maubeuge, Créteil and Lille). What activates the body is the image one cannot quite place.

LumièreLight LumineuxBright→SombreDark

VitesseSpeed CalmeCalm→RapideFastEffet maxStrongest

TempératureTemperature ChaudesWarm→FroidesCold

CouleursColours NaturellesNatural→ÉtrangesStrange

AbstractionAbstraction ConcretConcrete→AbstraitAbstract

ScèneScene IdentifiableIdentifiable→Non situéeUnplaceable

Le plus stimulant : une matière vivante, sombre et mouvante, dans une scène qu'on ne peut pas nommer.

Most stimulating: living matter, dark and shifting, in a scene one cannot name.

Détail révélateur — la matière organique reste, elle, d'autant plus efficace qu'on la reconnaît comme chair ou créature : c'est le couple « matière identifiable / scène insituable » qui trouble le plus. Les plans qui cumulent ces traits (vers, tique, mâchoire, charge de bisons) dominent le classement.

A telling detail — organic matter, by contrast, is all the more effective when recognised as flesh or creature: it is the pairing of "identifiable matter / unplaceable scene" that unsettles most. The shots stacking these traits (worms, tick, jaw, charging bison) top the ranking.

Ces régularités confirment l'objectif initial du projet : l'abstrait n'a pas besoin de récit pour agir — il agit d'abord sur le corps. Des images que l'on ne peut pas nommer agissent quand même, et de la même manière chez beaucoup. C'est le paradoxe : chacun projette un sens singulier, et pourtant, regroupées, ces images produisent des réponses physiologiques reproductibles. Le subjectif et l'objectif y cohabitent.

These regularities confirm the project's original aim: abstraction needs no narrative to act — it goes through the body first. Images one cannot name act all the same, and in much the same way across viewers. That is the paradox: each person projects a singular meaning, yet grouped together these images produce reproducible physiological responses. The subjective and the objective coexist.

Deux enseignements pour la suite : le traitement prime parfois sur le sujet — le plan 28 est le 27 ré-étalonné plus sombre, et il double le GSR ; et la perte de contrôle n'éloigne pas le spectateur — privé de choix, face à son intimité, il reste pourtant jusqu'au bout.

Two lessons for what follows: treatment sometimes outweighs subject — shot 28 is shot 27 regraded darker, and it doubles GSR; and loss of control does not push the viewer away — deprived of choice, faced with their own intimacy, they still stay to the end.

Presse

Press

Festival EXIT · MAC Créteil · 2015

Makery
« Soma explore la relation inconsciente du corps à l'image. Une expérience cinématographique immersive à la frontière de la psychothérapie, basée sur un principe d'éveil sensoriel aux ambitions quasi thérapeutiques. »

"Soma explores the unconscious relationship of the body to the image. An immersive cinematographic experience on the edge of psychotherapy, focused on a sensory awakening principle with almost therapeutic aims."
LireRead ↗
Télérama
« Ce sont bien mes émotions qui conditionnent la narration et le montage du film projeté. Les sons font vibrer le fauteuil et m'enveloppent. Guillaume Faure parle volontiers d'un massage du subconscient. »

"It is indeed my emotions that condition the narration and the editing of the projected film. The sounds make the chair vibrate and envelop me. Guillaume Faure willingly speaks of a massage of the subconscious."
LireRead ↗
Les Échos
« Charles Carcopino signe l'une de ses plus belles réussites avec cette exploration savante, poétique, artistique et ludique des nouvelles pratiques cinématographiques — orchestrer les images selon ses émotions avec Guillaume Faure Soma. »

"Charles Carcopino signs one of his most beautiful successes with this learned, poetic, artistic and playful exploration of new cinematographic practices — orchestrating images according to one's emotions with Guillaume Faure Soma."
LireRead ↗
Poptronics
« Plus troublant, SOMA place le spectateur au centre de l'installation mais le prive du choix de l'interaction. Doigts posés sur les capteurs, il voit défiler scènes, couleurs et sons sélectionnés par l'ordinateur selon ses réponses émotionnelles : sujet et objet se confondent. »

"More disturbing, SOMA places the viewer at the center of the installation but deprives him of the choice of interaction. Fingers on the sensors, he sees scenes, colors and sounds selected by the computer according to his emotional responses: subject and object merge."
LireRead ↗
La Croix
« Les expériences de cinéma sensible comme Soma de Guillaume Faure, qui fait défiler les images en relation supposée avec l'état émotionnel du visiteur, transforment celui-ci en cobaye de foire. Peut-être une manière de renouer avec les origines modestes du cinéma. »

"Experiments in sensitive cinema like Soma by Guillaume Faure — which scrolls images in supposed relation with the visitor's emotional state — transform him into a fairground guinea pig. Perhaps a way to reconnect with the modest origins of cinema."
LireRead ↗

Festival VIA · Maubeuge · 2015

La Voix du Nord
« Un photomaton de l'inconscient. Des images prennent forme selon les émotions du spectateur. L'impression d'être devant un kaléidoscope qui prend vie. »

"A photo booth of the unconscious. Images take shape according to the emotions of the spectator. The impression of being in front of a kaleidoscope which comes to life."
LireRead ↗

Une cabine, un fauteuil, trois capteurs et une boucle de rétroaction.

A booth, a chair, three sensors and a feedback loop.

Pouls — Shader 3D

Pulse — 3D Shader

GSR

Kinect — Suivi facial

Kinect — Facial tracking

Voir SOMA en mouvement.

SOMA in motion.

Ce que révèlent près de 5000 expériences.

What nearly 5,000 sessions reveal.

Distribution des durées d'expérience

Distribution of session durations

Les quinze plans les plus stimulants

The fifteen most stimulating shots

Chemin sombre

Darkening path

Le feu

Fire

Mouvement organique

Organic motion

Vortex

Vortex

Route puis arbre

Road, then tree

Forêt magenta

Magenta forest

Sous l'eau

Underwater

Sous l'eau, chaud

Underwater, warm

Vers de farine

Mealworms

La tique

The tick

Mâchoire de panthère

Panther jaw

La charge

The charge

Forêt rougissante

Reddening forest

Cheval inversé

Inverted horse

Le nuage

The cloud

Ce que l'abstrait fait au corps.

What abstraction does to the body.

Presse

Press