Des récits musicaux émotionnellement conscients by Bérengère

Des récits musicaux émotionnellement conscients Bérengère Morel

e-artsup Responsable de création

Des récits musicaux émotionnellement conscients

Mémoire professionnel présenté par Bérengère Morel Sous la direction de Nicolas Signarbieux, enseignant à e-artsup

2015-2016

e-artsup n’endosse pas la responsabilité du contenu développé dans ce mémoire. Il appartient à son auteur.

Merci

Je tiens avant toute chose à remercier Nicolas Signarbieux, enseignant à e-artsup, de m’avoir encadrée au cours de cette phase de recherche et d’analyse. Je le remercie pour son temps ainsi que pour les précieux conseils qu’il a su m’apporter. Ils m’auront permis d’aborder de la manière la plus objective et la plus constructive possible ce travail.

Merci également à Nia, de m’avoir accompagnée et pour nos longues discussion sur le sujet. Merci à Adèle, pour son soutien moteur, même de l’autre côté de l’Atlantique. Plus largement, merci à mon entourage qui m’a, de près où de loin, encouragée et qui m’a permis de mener ce travail à terme.

Remerciements

Abstract Abstract

The musical listening act is, to say the least, an abstract experience but undeniably one emotionally charged. Semeiologically, music can be perceived as a language, a narrative, that an artist wants to relay to us. Even we, don’t feel or percieve music the same way somebody else does, which depends on the context of the music. Every musical experience is singular and unique. The modern neuroscience proved that a major part of the human experience happens at an unconscious level. A person isn’t able to precisely explain what motivates his/her behaviour or daily consumption experiences. It’s a fact, the human being has always looked to enhance its abilities, and since a few decades the number of wearable connected devices has litterally exploded, so much that they’re now being assimilated as an extension of the human body. These technologies, linked to the “Quantified-Self“ movement, assume for most of them a real-time user data tracking : heartbeat, breathing rate, conductance of the skin, etc. Mostly used for fitness applications, or more recently for medical and well-being domains, this physiological data can also be representative of a well less obvious domain : the one of the emotions.

Résumé

L’écoute musicale est une expérience pour le moins abstraite, mais indéniablement chargée d’émotions. Sémiologiquement, une musique peut être perçue comme un langage, un récit, que veut nous transmettre un artiste. Nous même, ne ressentons et ne percevons pas une musique de la même façon qu’une autre personne et selon son contexte d’écoute. Chaque expérience musicale est donc singulière et unique.

La neuroscience moderne a prouvé qu’une majeure partie de l’expérience humaine a lieu à un niveau inconscient de l’esprit. Un individu n’est donc pas en mesure d’expliquer précisément ce qui motive son comportement ainsi que ses expériences de consommation quotidiennes. C’est un fait, l’homme a toujours cherché à augmenter ses capacités, et depuis quelques décennies le nombre d’objets connectés portatifs a littéralement explosé, si bien qu’on les assimile désormais à une extension du corps humain. Ces technologies, associées au mouvement de «Quantified-Self», assument pour la plupart un suivi de données de l’utilisateur en temps réel : rythme cardiaque, respiration, conductance de la peau, etc. Majoritairement utilisées pour des applications de fitness, ou plus récemment dans le domaine de la médecine et du bienêtre mental, ces données physiologiques peuvent également être représentatives d’un domaine bien moins évident : celui des émotions.

Résumé

Sommaire Introduction

La consommation musicale et son rapport aux émotions 16 Le challenge de mesurer les émotions Une seconde peau émotionnelle 36 Vers le grand projet 54 Une expérience sensorielle de consommation 66 Conclusion

Bibliographie

“ Where

“

words fail, music speaks.

Introduction Musique, Ă&#x2030;motion & Technologie

Introduction

Vous êtes vous déjà demandé pourquoi nous expérimentons la musique de manière si intense ? D’où viennent les émotions qui nous traversent lorsque nous en écoutons, et que connaissons nous réellement de cette expérience ? La musique est l’art consistant à combiner sons et silences au cours du temps. Depuis la préhistoire et dans toutes les sociétés humaines la musique a existé sous différentes formes. Désormais la musique fait partie intégrante de nos vies. Nous en écoutons quotidiennement et sa production, sa diffusion, et sa création sont devenus simples et accessibles, grâce entre autre à Internet et aux plateformes de streaming. L’offre que proposent ces plateformes est de plus en plus personnalisée, pourtant on connait très peu l’expérience réelle que constitue l’écoute d’une musique, et pour cause, c’est une expérience abstraite et individuelle dont les données sont difficiles à collecter. De quelle façon notre expérience d’écoute en ligne pourrait-elle être améliorée si nous étions capables de connaitre les émotions d’un consommateur de musique en temps réel ? Notre ère contemporaine porte justement une attention particulière aux émotions. C’est un fait, la technologie s’exporte des écrans d’ordinateurs et s’implante dorénavant dans les villes, les architectures, “L’ émotion est une des façons qu’à notre les espaces, les objets, mais également corps de décider ce qui importe. Quelles les corps. Ce changement engendre une sont les pièces auxquelles nous devons hausse progressive dans l’importance stratégique de l’émotion, l’empathie et le nous accrocher. Les meilleurs auteurs domaine relationnel. savent que l’émotion est une partie vitale

dans la manière de raconter une histoire.

Notre façon de concevoir des conteJe pense que les concepteurs de contenus n’a pas non plus cessé de changer nus créatifs ont un intérêt à être plus à de formes et de supports à travers le temps, mais son but est lui toujours resté l’écoute de l’émotion de leur audience.“ intact : celui d’émouvoir une audience. Cette Rosalind Picard, professeur au MIT volonté d’impacter est devenue d’autant Media Lab plus essentielle face à la saturation d’informations via les nouveaux médias. Pour citer Benjamin Hoguet, auteur interactif et transmédia,“l’émotion est 1 « Émotions et narration devenue une véritable monnaie d’échange dans notre économie interactive #1 », article extrait du 1 de l’attention” . livre « la Narration Réinventée Les communicants ont eux, toujours cherché à séduire par la conception, le récit, mais sans jamais avoir une mesure exacte de cet impact émotionnel sur l’audience, si ce n’est une fois le produit fini et par une mesure imprécise des réactions et impressions de son public. Mais qu’adviendrait-il si la technologie était capable de ressentir nos émotions, si elle devenait émotionnellement consciente ?

», de Benjamin Hoguet, https:// medium.com/interactivitetransmedia/emotions-etnarration-interactive-15f4ed19c839c#.3dot5snoo

Introduction

En réponse au constat que nos vies se digitalisent de plus en plus, on voit apparaître des technologies capables d’exploiter nos données physiologiques d’une manière assimilable à de l’intelligence émotionnelle : ces technologies ce sont les technologies portatives. Smartphones, montres intelligentes, bracelets intelligents, Google glasses, et bien d’autres, font parties de ces dispositifs qui constituent une extension de notre corps et de ses capacités. Ils nous accompagnent au quotidien et tendent à faire parties intégrantes de nos vies. Mais les données physiologiques que ces technologies recueillent, utilisées actuellement dans des applications du domaine médical ou celui du bien-être, peuvent également être représentatives de nos émotions, et ce en temps réel. Dans une ère où la conception devient de plus en plus transmédiatique et où les médias tendent à laisser le contrôle narratif aux spectateurs, est-il possible de concevoir une nouvelle forme de récit modulé par les émotions de son audience ? De quelle façon cette visualisation de données émotionnelles pourrait repenser l’expérience de consommation de musique en ligne ? Ma recherche portera sur les apports et les enjeux d’une connaissance en temps réel des émotions d’une audience dans le domaine de la musique et de l’écoute streaming. Je m’intéresserai dans un premier temps au marché de l’industrie musicale en ligne ainsi qu’aux liens intangibles qui assemblent musique et émotions. J’aborderais ensuite le challenge de la mesure d’une notion aussi abstraite que celle des émotions, tant sur le plan sociologique et éthique, que sur le plan technologique. Enfin mon étude portera sur le rôle essentiel que jouent les technologies portatives dans cette connaissance et dans cette accessibilité. Suite aux constats que j’établirai par ces recherches je m’appliquerai à entreprendre une prospection des différentes façons dont l’expérience d’écoute musicale en ligne pourrait se trouver réinventée grâce à ces mutations.

Comment repenser l’expérience de consommation musicale streaming grâce aux technologies émotives ?

Chapitre 1

La consommation musicale et son rapport aux émotions

L’expérience de consommation musicale streaming La musique : un stimulus sensoriel

ing us logie

strea stimul sĂŠmio

La consommation musicale et son rapport aux émotions

L’expérience de consommation musicale en streaming

Le streaming supplante le téléchargement

2 “Le streaming donne un coup de fouet au marché de la musique“, Le Monde, article de Alain Beuve-Méry, 3 fevrier 2015, http ://www.lemonde.fr/ economie/article/2015/02/03/ le-streaming-donne-un-coupde-fouet-au-marche-de-lamusique_4568606_3234.html

Le streaming est défini comme l’écoute de musique sans téléchargement. Alors que ce mode de consommation n’a que sept ans, sa croissance en 2014 était de 34%, ce qui constitue selon le syndicat, le prélude à un nouveau modèle économique prometteur2. Le marché physique représente encore 71 % du marché. Son repli de 11 % en 2014, tout comme celui du téléchargement à l’acte sont les deux facteurs qui expliquent une baisse généralisée de l’industrie du disque. Mais selon certains, cette baisse généralisée ne serait que le symptôme d’une restructuration de fond en faveur du streaming. «Le téléchargement s’effondre et le streaming monte en flèche, il y a bien un nouveau modèle qui est en train d’émerger», assure Thierry Chassagne, PDG de Warner Music France. De fait, en 2014, les courbes des revenus se sont inversées pour la première fois entre les deux modes d’écoute de musique dématérialisée en France. Le streaming a rapporté 73 millions d’euros en 2014 contre une recette de 54 millions d’euros pour le téléchargement. Le modèle de l’abonnement devrait à terme supplanter celui du téléchargement. Pour Pascal Nègre, le patron d’Universal Music France, «la musique est en train de connaître sa quatrième révolution numérique […] la musique change à nouveau de paradigme avec l’avènement du streaming qui consiste à payer pour un usage et non pour une possession».

Une expérience de consommation personnalisée

La plupart des services de streaming ont un catalogue très similaire. En effet la très grande majorité des artistes distribuent leurs productions sur toutes les plateformes. Il leur faut donc trouver d’autres moyens de se différencier afin d’inciter les utilisateurs à les choisir. Certains comme Pono Music et Qobuz concentrent leurs efforts sur le contenu Hi-Fi, une qualité sonore supérieure. D’autres encore choisissent de se dédier à la personnalisation et à la découverte musicale, dans une véritable démarche d’innovation. La stratégie algorithmique est simple : organiser un système de découvertes basé sur les précédents écoutes, recherches, playlists créées, et les habitudes de leurs amis

La consommation musicale et son rapport aux émotions

et followers. Les utilisateurs se verront alors suggérer des nouveautés, des artistes peu connus qui pourraient ainsi profiter un peu plus de la logique du streaming peu rémunératrice pour les amateurs. Cette alliance de la musique et de la technologie se développe, puisque plusieurs contrats sont signés entre Spotifyet Echonest, Rdio et TasteMakerX, Songza et Google, ou plus récemment Universal Music Group et Havas Media.3 Pour les sociétés spécialisées dans la musique, le but de ces alliances est la compréhension et l’analyse fine de données permettant, grâce aux milliards d’informations récoltées, le placement d’artistes, de partenaires ou de produits.

3 “Le futur du streaming est-il la personnalisation des services ?“, mybandnews, Article de Romy Roynard, 8 janvier 2015, http :// mybandnews.com/2015/01/ futur-du-streaming-ilpersonnalisation-services/

La musique : un stimulus sensoriel

Sémiologie de la musique

Au-delà de son support et de sa forme, qui ont subi des mutations majeures ces dernières décenies, il nous faut plus essentiellement comprendre ce qu’est réellement une musique. Tolstoï définissait l’art comme : «l’activité humaine par laquelle une personne peut, volontairement, et au moyen de signes extérieurs, communiquer à d’autres les sensations et les sentiments qu’elle éprouve elle-même». Pour lui, «dès que les spectateurs ou les auditeurs éprouvent les sentiments que l’auteur exprime, il y a œuvre d’art». Pour attester du pouvoir évocateur de la musique, intéressons nous à sa sémiologie, autrement dit à l’étude de ses significations, ses symboles et ses sens. Les structures de la musique et du langage ont en commun le caractère avant tout auditif du mode de communication, ainsi que son côté transcriptible. Au couple son et note correspondrait les concepts linguistiques de signifiant et de signifié. Jean-Jacques Nattiez en cherchant à bâtir les Fondements d’une sémiologie musicale, a ainsi ancré son étude dans l’analyse des correspondances symboliques que la musique établit de sa création jusqu’à sa réception4.

4 Sémioliogie de la musique https ://fr.wikipedia.org/ wiki/S%C3%A9miologie_de_ la_musique

Au-delà de leur structure, la musique et le langage ont également en commun leur déroulement temporel. La musique se développe dans le temps, et possède à la fois une structure construite au fur et à mesure de son déroulement, et des harmonies résultants de simultanéités de sons.

La consommation musicale et son rapport aux émotions

Le compositeur doit tendre à donner à la fois des balises, des points d’ancrage et à déstructurer l’écoute. En analysant la structure de l’expression musicale, on constate le présence d’un «lexique» et d’une «syntaxe» musicale, comme l’attestent les musiciens Heinrich Schenker et Milton Babbitt. Tout langage, y compris le langage musical, et c’est la théorie développée dans la vision sémiologique, est une combinaison d’éléments syntaxiques construits en fonction d’une linéarité. La musique s’écrit (mais également se conçoit) alors comme un système de signes. La musique s’organise bien autour de patterns, c’est-àdire de formes acquises culturellement, ou de schémas d’acquisition d’un ensemble organisé de préférences et/ ou d’habitudes, qui dégagent des lois de perception, que l’on retrouve notamment dans les travaux de Georg B. Watson. Ces rapprochements semblent pouvoir imposer un système de communication dont chaque musique ne serait qu’une des formes. Non seulement le compositeur cherche à exprimer une certaine vision immanente de son art, mais l’auditeur construit également par son écoute l’expressivité de la musique. Pour Jean Molino et Jean-Jacques Nattiez, fondateurs de la sémiologie musicale, il y a au moins deux niveaux de sémantique musicale : celui du compositeur, nommé poïétique ou poiesis («création»), et celui de l’auditeur, nommé esthésique («réception»). Jean-Jacques Nattiez dans ses Fondements d’une sémiologie musicale explique que le langage musical s’établit à la fois au niveau créatif que le compositeur cherche à exprimer, et à ce que le récepteur fait de la perception formelle, du sens, de la structure, ce qu’il appelle le niveau esthésique.

2L’expérience émotionnelle de l’écoute musicale 5 “Emotion and the Experience of Listening to Music, A Framework for Empirical Research“, doctor Degree of Matthew Montague Lavy, avril 2011, http ://www. hugoribeiro.com.br/bibliotecadigital/Lavy-Emotion_ Experience_of_Listening_ Music.pdf

# La réponse à un son5 Un son est un stimulus sensoriel, comme la vue, l’odorat, ou le toucher. Comme tous les autres stimuli, les sons peuvent varier d’intensité, de perceptible à intense, mais contrairement à la vue ou l’odorat, un son est difficilement évitable. Les chercheurs ayant étudié les réactions à un stimulus auditif intense ont constaté que cela suscite une excitation physiologique forte et entraînant une réponse physique du corps. Plus l’intensité du stimulus auditif est élevée plus la réaction l’est aussi. Notre réaction aux sons ne dépend pas uniquement de leur intensité, les sons varient aussi de timbres et de tonalités. Les humains sont rapidement capables de reconnaitre la source d’un son par son timbre.

La consommation musicale et son rapport aux émotions

De la même manière que pour l’intensité le corps réagit physiologiquement de façon automatique et inconsciente. # La réponse à des modèles La majorité du temps, différents sons provenant de sources différentes sont produits simultanément. Le vent qui souffle, une personne qui appelle, le feu qui brûle… ces informations acoustiques nous informent d’évènements physiques. Ce sont des indices, ils fonctionnent en tant que langage, comme l’alphabet, la grammaire et la conjugaison. Bregman explique que si nous sommes capables de réagir de manière individuelle à chacun de ces sons, il doit exister à un certain niveau une description mentale dans laquelle ils sont des représentations distinctes. # Les sons et les modèles en musique Si ces réactions ont lieu en réponse à des sons, il n’y a pas de raison de croire qu’elles seraient moins vraies si les sons étaient entendus dans un contexte musical. Un bruit soudain reste un bruit soudain que sa source soit une explosion dans une rue ou une grosse caisse de batterie dans un orchestre. En somme, les sons et modèles d’une musique évoquent des émotions et des réactions physiologiques du même ordre qu’entendu dans un contexte naturel. # La musique en tant que contexte Nous avons vu de quelle façon les sons d’une musique peuvent causer des réactions physiologiques chez un public simplement par le fait qu’ils sont des stimuli auditifs. Ainsi ils peuvent communiquer des signaux émotifs puissants. Pourtant le bruit soudain décrit plus haut ne nous alarme que dans le cas d’une situation de danger. Nous entendons donc les sons dans le cadre d’une expérience musicale, en clair dans un contexte. L’écoute d’un son, qu’il soit musical ou indiciel, est directement lié au contexte dans lequel se trouve l’auditeur : l’état psychologique, la “L’objet musical n’est jamais isolé, pas cadre extérieur (les conditions climatiques, l’heure...etc), la culture et les plus que ne le sont ses auditeurs et ses expériences vécues associées à des producteurs“- Feld, 1984 sons ou des lieux; tout cela fournit un cadre dans lequel les réactions physiologiques peuvent être interprétées et vécues. Sperber et Wilson ont à ce propos écrit en 1995 : «Un contexte est une construction psychologique, un sous-ensemble des hypothèses de l’auditeur sur le monde. Ce sont ces suppositions, plutôt que l’état actuel du monde, qui

La consommation musicale et son rapport aux émotions

affectent l’interprétation d’une expression. Dans ce sens, un contexte n’est pas limité en information sur l’environnement physique immédiat ou par les expressions précédentes : espoirs futurs, hypothèses scientifiques ou croyances religieuses, souvenirs anecdotiques, suppositions de culture générale, croyances d’un état mental de l’orateur, peuvent tous jouer un rôle dans l’interprétation.» Cette définition présente au final bien l’expérience que peut être l’écoute d’une musique, et de quelle façon la musique fonctionne par constructions psychologiques et associations mentales. Ces constats témoignent aussi de la nature individuelle et singulière qu’une expérience d’écoute constitue.

Un stimulus narratif ?

Il est indéniable que la musique a un fort pouvoir évocateur. Ainsi, en écoutant une musique on peut être transporté dans des récits émotifs de l’ordre de l’imaginaire. Le langage et les sons sont directement liés : le langage crée du récit, la musique aussi. Peut-on pour autant considérer la musique comme un stimulus narratif ? Et quelle est l’implication de ce pouvoir évocateur dans la réponse émotionnelle de l’expérience d’écoute musicale ? Nous aborderons ces questions dans la seconde partie de notre recherche analytique.

Conclusion Dans cette partie nous avons ainsi pu entrevoir l’intime lien existant entre le domaine de la musique, du langage, et celui de l’émotion, et de quelle façon la musique peut entraîner un fort stimulus émotionnel, rendant l’expérience de l’écoute musicale très intense et communicative. Cette expérience justement, tend à devenir exclusivement streaming avec le marché de l’écoute en ligne sans téléchargement qui est en train de supplanter celui du téléchargement établit par Apple. Désormais on paye un abonnement pour consommer. La tendance de consommation est aussi à la personnalisation de contenus, et les plateformes de streaming cherchent de plus en plus à établir un marketing contextuel, en essayant de prédire les besoins de leurs utilisateurs selon leurs données personnelles et contextuelles. Comment l’expérience de consommation musicale pourrait alors être améliorée si nous étions capables de connaître les émotions des consommateurs en temps réel ?

La consommation musicale et son rapport aux émotions

« La musique exprime ce qui ne peut s’exprimer avec des mots et sur quoi il est impossible de se taire » - Victor Hugo

Figure 1 Photographie de Vinyls

Chapitre 2

Le Challenge de mesurer les émotions

Un tour d’horizon Une méthode complexe

n e exe

horizo mesu comp

Le Challenge de mesurer les émotions

Un tour d’horizon La recherche sur les émotions a progressé de manière significative, incluant des domaines tels que la psychologie, l’anthropologie, la biologie, la philosophie, l’histoire et la sociologie. Salvatore Iaconesi, artiste et ingénieur italien, explique dans son article sur le sujet6 que ces recherches ont toujours suscité de nombreux débats et opposé des théories de pensée : universalistes et relativistes, biologie et culture, nature et culture, matérialisme et idéalisme, positivisme et interpretivisme, individuel et social, corps et esprit, etc. Afin de mieux comprendre les conclusions et théories actuelles concernant les émotions, il est important de regarder les hypothèses et découvertes qui ont été faites du XIXe siècle à aujourd’hui. J’ai choisis dans cette optique de présenter les travaux de cinq chercheurs qui ont à mon sens marqué des tournants cruciaux dans la compréhension de cette étude.

Les Travaux de James-Lange

Les premiers questionnements sur les émotions semblent avoir été posés au XIXe siècle avec l’essor de théories telle que celle de James-Lange. Cette dernière s’appuie sur une hypothèse développée par deux chercheurs, William James et Carl Lange, selon laquelle l’émotion est une prise de conscience (une interprétation) de nos réactions corporelles face à une situation. Elle combine donc des facteurs cognitifs et des facteurs physiologiques (modifications corporelles). Cette théorie a été largement critiquée et remise en question au cours du temps, comme l’on été les nombreuses autres théories sur les émotions en concurrence à l’époque. Les théoriciens modernes se sont appuyés sur les travaux de JamesLange pour proposer l’hypothèse selon laquelle l’émotion est modulée à la fois par la rétroaction physiologique ainsi que par certains autres critères annexes. 26

Les Travaux de Paul Ekman

Au début des années soixante, Paul Ekman, un psychologue de recherche a construit une preuve convaincante de l’existence d’au moins six émotions humaines universelles, exprimées de façon identiques chez chaque être humain, quel que soit leur âge, leur sexe ou leur origine culturelle. Il a décodé ces expressions et les a décomposé en combinaisons de quarante-six mouvements individuels, appelés «unités d’action». À partir de ce travail il a établi le Facial Action Coding System, ou FACS, une classification de cinq cent pages de mouvements de visage. Cette taxonomie a été en usage depuis des décennies auprès des universitaires et des professionnels, des

Le Challenge de mesurer les émotions

Figure 2 / Left Portrait de William James Figure 3 / Right Portrait de Carl Lange

animateurs aux policiers intéressés par la subtilité de la tromperie. Raffi Khatchadourian, auteur de l’article du New Yorker «We know how you feel» 7 affirme que la majorité des entreprises actuelles étudiant les émotions utilisent les travaux de Paul Ekman. Les contradicteurs de Ekman, et notamment les spécialistes des sciences sociales, soutiennent que le contexte joue un rôle dans la lecture des émotions bien plus important que ce que sa théorie l’affirme. Cependant les ordinateurs, dénué de cette notion contextuelle, semblent supporter ses conclusions.

6 “Wearing emotions : physical representation and visualization of human emotions using wearable technologies“, Salvatore Iaconesi, Université de Rome la Sapienza 7 “We Know How You Feel“, The New Yoker, Magazine du 19 Janvier 2015

Le Challenge de mesurer les émotions

Figure 4 Image prise lors de la conférence TED de Rana el Kaliouby, “Human face is a window into our emotions“

Les Travaux de Rosalind Picard & Rana el Kaliouby

Rosalind Picard et Rana el Kaliouby sont les co-fondatrices de l’entreprise Affectiva, entreprise qui a vu le jour dans le Lab du MIT et dont l’ambition est d’apporter l’intelligence émotionnelle à nos expériences numériques. Leur plateforme, pionnière des applications numériques liées à l’émotion dans le domaine de l’entreprise, du divertissement, de la communication vidéo et de l’éducation en ligne est utilisée par de nombreuses sociétés pour mesurer l’engagement des consommateurs. Picard et Kaliouby voient l’énorme potentiel à rendre les technologies émotionnellement conscientes. Elles sont à l’origine d’un monde où nos appareils pourraient ressentir nos émotions et réagir de manière sensée, de la même façon qu’un ami intelligent le ferait. # Kaliouby / Des humains experts aux technologies expertes Dans la continuité des travaux de Paul Ekman, Rana Kaliouby développe des algorithmes de détection des émotions à partir de l’étude des expressions faciales. Ses travaux représentent à ce jour la plus large base de données de

Le Challenge de mesurer les émotions

l’émotion au monde. 12 milliards de données émotionnelles ont jusqu’à présent été recueillies à partir de l’étude de 2.9 millions de visages volontaires de 75 pays. «Le visage humain est une fenêtre vers nos émotions», c’est de cette façon que Kaliouby introduit ses travaux lors de sa conférence à TED8. Elle affirme qu’en lisant les visages et ses nombreuses expressions nous interprétons des émotions et de cette façon nous nous connectons et communiquons spontanément. Ainsi, en scannant des unités d’actions faciales certains ordinateurs sont désormais capables de discerner des variations imperceptibles par l’homme. De cette façon ces machines peuvent enregistrer des expressions si brèves et infimes qu’elles sont même inconnues de la personne qui les a produites. Il a été démontré à ce propos que l’analyse de ces micro-expressions pourrait prédire lorsqu’une personne va décliner une offre financière, ce qui laisse apparaitre l’immense potentiel des applications émotionnellement conscientes sur le plan commercial…

8 “Human face is a window into our emotions “/ Conférence TED de Rana el Kaliouby, mai 2015

Figure 5 (Bas) Images extraites de la vidéo “Rosalind Picard - Reading Emotions Through Affective Computing (Future of StoryTelling 2014)“

Le Challenge de mesurer les émotions

9 “Toward tech that can understand how we’re feeling “/ données tirées de l’article du Blog TED du 28 mai 2015

Ses travaux mettent en lumière plusieurs points-clés important dans l’analyse de ces émotions 9 : • Il y a des différences selon le sexe. En effet les femmes tendent à être plus expressives que les hommes. Elles sourient plus souvent et plus longtemps que les hommes. • Il y a des différences culturelles. Les résultats diffèrent entre les pays. • Il y a des différences d’âge. Les personnes de 50 ans ou plus sont 25% plus émotives que les jeunes. • Nous sommes expressifs tout le temps. Nous montrons des signes d’émotion même assis, seul face à des appareils. Kaliouby précise à ce propos «nous exprimons des émotions lorsque nous envoyons des emails, lorsque nous commandons en ligne, même lorsque nous remplissons nos impôts.» Alors que les travaux d’Ekman nécessitaient une analyse lente, contraignante et élitiste, Affdex, le logiciel conçu par Kaliouby, est automatisé par des algorithmes de capture et d’identification d’émotions en réaction à des stimuli visuels. Il est également facile d’utilisation, puisqu’il ne nécessite aucune installation. Une simple webcam suffit à son fonctionnement. Elle marque donc la transition entre l’expertise humaine et l’expertise technologique.

Figure 6 (Bas) Image du logiciel Affdex extraite de la vidéo “Rosalind Picard - Reading Emotions Through Affective Computing (Future of StoryTelling 2014)“

Rana el Kaliouby insiste souvent sur le fait que cette technologie sait lire les expressions faciales mais pas les esprits. On peut néanmoins distinguer un certain nombre de corrélations désignant l’analyse émotionnelle par scanner comme une ouverture sur l’inconscient.

Le Challenge de mesurer les émotions

# Picard / de l’Informatique Affectif aux mesures physiologiques Tous les travaux réalisés par Rana el Kalioudy ont été ins10 “Affective Computing“, pirés par sa collègue et mentor Rosalind Picard, dont les Rosalind W Picard, 1995, MIT Media Lab travaux ont marqué l’origine de la branche moderne de l’informatique. Elle est en effet à l’origine de l’article fondateur de 1995 sur l’Informatique Affectif10, qui a donnée naissance au domaine de “Quel est le meilleur moyen de mesurer science informatique portant le même les émotions ? La mesure classique est nom.

de demander directement aux personnes comment elles se sentent, mais on se rend compte que c’est filtré par beaucoup de choses. L’idée de l’Informatique Affectif était de donner aux ordinateurs la compétence d’intelligence à comprendre les émotions humaines. “- Rosalind Picard

La notion d’Informatique Affectif est définie comme l’étude et le développement de systèmes et d’appareils ayant les capacités de reconnaître, d’exprimer, de synthétiser et modéliser les émotions humaines. C’est un domaine de recherche interdisciplinaire couvrant les domaines de l’informatique, de la psychologie et des sciences cognitives qui consiste à étudier l’interaction entre technologie et sentiments. Il est composé de quatre types de technologies : celles concernant le discours émotionnel, celles en lien avec la détection d’émotion facial, celles analysant les mouvements corporels et enfin celles en charge de la surveillance physiologique.

Son travail au MIT Media Lab consiste à concevoir de nouveaux capteurs pour que les machines comprennent nos émotions, à créer de nouvelles techniques pour que les machines puissent les évaluer, mais également à créer des machines apprenant à exprimer des émotions en réponse aux émotions qu’elles reçoivent d’un être humain. Alors que Kaliouby s’attache à lire les expressions du visage, Picard s’intéresse plus largement au corps humain et à la façon dont le suivi et l’étude de ses données physiologiques, aussi minimes et brèves soient-elles, peuvent être représentatives d’émotions imperceptibles. Les signes physiologiques principaux pouvant être analysés sont : le pouls (et ainsi l’afflux sanguin), la réponse galvanique de la peau, et l’électromyographie faciale.

Le Challenge de mesurer les ĂŠmotions

Le Challenge de mesurer les émotions

Figure 7 (Gauche) Portrait de Rosalind Picard Figure 8 (Droite) Bracelet «Embrace» / LED de notification d’alerte Figure 9 (Bas) Technologie portative avec suivi d’AED

Rosalind Picard est à l’origine d’appareils de toute sorte, comme par exemple une souris d’ordinateur capable de mesurer la frustration de son utilisateur en analysant ses réponses physiques. Le plus prometteur de ses appareils en date semble être le capteur Q qui une fois relié au corps est capable d’enregistrer des réactions telles que celles de la conductance de notre peau, aussi appelé système nerveux sympathique, ou activité électrodermale (AED), facteur le plus représentatif de l’état émotionnel d’une personne.

Le Challenge de mesurer les émotions

Figure 10 (Droite) Madeline Gannon et son projet Quipt, un contrôleur qui permet d’intéragir physiquement avec des robots industriels

Une méthode complexe

Des données aux émotions

# Détection et reconnaissance d’informations émotionnelles L’étape de la détection est réalisée soit grâce à des capteurs passifs qui enregistrent des données de l’état physique d’un individu, soit à l’aide d’algorithmes de détection d’expressions faciales. La traduction de ces informations nécessite en revanche une extraction de modèles significatifs au sein des données prélevées, un langage de balisage des émotions. # Une Cartographie des émotions Cette étape est réalisée à partir de méthodes d’apprentissage appliquées aux machines qui traitent alors différentes modalités telles que la vitesse de reconnaissance, ou la détection d’expression spécifiques, etc. Pour que les machines soient capables d’interpréter les données détectées et reconnues sous forme d’émotions il leur faut des instructions, une cartographie à laquelle se référer. Il n’existe cependant aucun langage de balisage des émotions standard, même si plusieurs ont été proposés aucun n’a fait l’unanimité des chercheurs ou a été conçu de façon suffisamment générique.

Le danger de l’Informatique Affectif

Il est évident qu’une communication entre personnes est bien plus complexe que la relation que nous avons entretenue avec nos machines jusqu’à maintenant. Cette dernière a toujours été limitée à des formes conscientes et directes. Nous avons toujours eu à fournir une commande ou une série de commandes aux machines dans le but qu’elles accomplissent une tache précise. Lorsque nous communiquons entre individus au contraire, nous prenons en compte bien plus que ce qui est explicitement exprimé,

en se reportant à notre instinct et grâce à ce que nous connaissons de la personne avec qui nous communiquons. De plus, l’Informatique Affectif met en exergue des problématiques d’ordre éthique qui ne manque pas de nous rappeler les romans d’Isaac Asimov et ses recherches sur l’intelligence artificielle. En effet, ces mutations technologiques peuvent paraitre inquiétantes et on peut poser la question de l’intrusion excessive. Est-ce que nous souhaitons réellement que nos ordinateurs, smartphones, ou même voitures sachent si nous sommes heureux ou tristes, et puissent y réagir de manière intuitive ? # Une mesure imprécise Le modèle d’information proposé par Picard pose plusieurs problèmes. Pour commencer il traite les émotions de manière objective, et mécanique. Cela réduit l’émotion à être une suite de signaux psychologiques distincts considérés comme formalisable et mesurable. Les recherches de Picard et de ses adhérents ont été critiqué dans la mesure où leur approche cognitive et pragmatique de mesure de l’émotion n’est pas vraiment compatible avec une expressivité humaine qui se réfère elle à une interaction sociale. Par exemple, imaginons deux individus dans le même état physique, mais nommant leur état émotionnel différemment; ou, à l’inverse, deux personnes décrivant leur état émotionnel de la même façon, mais dans un état physique différent. Parmi les signes physiologiques pouvant être analysés par des capteurs intelligents, beaucoup sont exploités pour des applications de mesure du stress ou d’activité cardiaque. Si ces mesures peuvent en effet mettre en lumière le stress, elles peuvent aussi indiquer une gamme d’autres émotions ou activités. Comme l’exprime le New York Times dans un de ces articles, «Physiologiquement, il n’y a quasiment aucune différence entre le stress d’une deadline de travail et l’excitation de regarder

Le Challenge de mesurer les émotions

votre équipe de sport préférée 11» ce qui pose donc la question de la contestabilité du balisage et de la cartographie. Ce à quoi Rosalind Picard a elle-même ajouté : «C’est difficile de déterminer objectivement le stress de quelqu’un dans le monde réel en tenant compte des variations, régimes, styles de vie, médication, et autres facteurs environnementaux propre à chaque individu. Si vous voulez vous éduquer sur la variabilité humaine, mesurez le stress.»12 Ces limites s’avèrent être des problématiques majeures dans une démarche d’Intelligence Affective qui veut apporter un quotient émotionnel aux systèmes digitaux, puisqu’il n’existe actuellement aucune façon méthodique d’implémenter ces notions de manière programmée.

Conclusion La mesure de l’émotion et l’intégration de cette connaissance à des interfaces technologiques sont sans aucun doute des entreprises complexes et abstraites. Il est compliqué de formuler des conclusions formelles sur le sujet. Cependant, on peut attester de progrès considérables dans

l’étude de ce domaine ces dernières décennies. Nous sommes désormais capables d’attribuer de manière relativement précise des constats physiques à des émotions, ce qui laisse présager des perspectives très encourageantes pour de nombreux domaines. Admettons maintenant que cette connaissance ne nécessite plus aucune expertis mais qu’elle soit disponible à tout moment et en tout lieu, comment ces mutations pourraient permettre de repenser en profondeur des domaines comme celui de l’écoute musicale en streaming ?

11 “Physiologically, there is not much difference between the stress of a work deadline and the excitement of watching your favorite sports team “citation extraite de l’article du 16 novembre du New York Times / Taking the (Often Imprecise) Measure of Stress 12 “It is hard to objectively determine someone’s stress in the real world — accounting for individual variation, diets, lifestyles, medication and other environmental factors. If you want to learn about human variability, measure stress. “citation extraite de l’article du 16 novembre du New York Times / Taking the (Often Imprecise) Measure of Stress

Chapitre 3

Une seconde peau émotionnelle

L’avènement et la banalisation des technologies portatives Du“Soi Quantifié“aux technologies empathiques Quelles applications ? Les appareils

atif i té ir érience tion

por sui san mir exp cré

Une seconde peau émotionnelle

L’avènement et la banalisation des technologies portatives Les objets connectés peuvent prendre des formes diverses, des technologies portatives et voitures, aux téléviseurs, frigos, miroirs, et robots du quotidien. Kaliouby pense que pour changer positivement nos vies, ces appareils doivent être conscients de leur environnement. Pour améliorer significativement nos quotidiens et nos “Humankind has always been driven by comportements ils doivent percevoir et être en accord avec nos émotions. a desire to augment our natural abilities

in order to better adapt to and control our environments.“- Scott Lachut, PSFK Labs

13 “And while we might not be quite ready to fully embrace this new era, we’re probably not as far off as we may think.“, The Future of Wearable, Intel / Citation traduite 14 “The Mood-Aware Internet of Things“, article du blog d’Affectiva, http ://www. affectiva.com/blog/the-moodaware-internet-of-things/

15 “Gartner Says 4.9 Billion Connected“Things“Will Be in Use in 2015“, article du November 11, 2014, http ://www.gartner. com/newsroom/id/2905717

Le monde a toujours été fasciné par un futur où les humains et les machines ne font qu’un, univers souvent exploré en science fiction, d’Isaac Asimov et Philip K. Dick à William Gibson. Que ce soit au travers des améliorations haute-technologie qui restaurent la vue ou des implants qui améliorent nos capacités de stockage et de processus de l’information, ces avancées marque le début d’une nouvelle étape où technologie et biologie cohabitent. «Et bien que nous ne soyons pas entièrement prêt à embrasser cette nouvelle ère, nous n’en sommes probablement pas aussi loin que nous le pensons.»13.

Le marché des objets connectés

Comme le souligne Rana el Kaliouby dans son article sur «l’Internet des objets émotionnellement conscients»14, le nombre d’appareils connectés sur et autour de nous est en train d’augmenter de manière exponentielle. L’entreprise américaine de conseil et de recherche dans le domaine des techniques avancées Gartner, prévoit que 4.9 billion d’objets connectés seront utilisés en 2015, plus de 30% de plus qu’en 2014, et qu’ils atteindront 25 billions en 202015. Gartner ajoute que l’impact disruptif de ces objets connectés sera ressenti à travers toutes les industries et tous les secteurs d’activité.

Des objets connectés aux technologies portatives

Sur le plan technique, des avancées considérables ont été faites ces dernières décennies : l’amélioration de la capacité des puces, des batteries, la précision des capteurs. Tout cela a permis aux appareils de devenir plus petits, plus rapides, et plus fonctionnels. Parallèlement à ces transformations techniques, la progression naturelle de la forme de ces appareils marque aussi leur glissement de nos bureaux et

Une seconde peau émotionnelle

poches à des places subtilement dispersées sur nos corps et qui tendent à fusionner avec. Ces technologies portatives conduisent progressivement leurs utilisateurs à repenser leur relation avec la technologie. Cela introduit de nouvelles formes d’informatique qui impactent la façon dont nous vivons, travaillons, et nous socialisons.

Du «Soi Quantifié» aux technologies empathiques La notion de «Soi Quantifié» (ou «Quantified Self» en anglais) définit un mouvement qui incorpore la technologie dans l’acquisition de données sur le quotidien d’une personne, en terme de gestion (ex. nourriture consommée, qualité de l’air), d’état (ex. humeur, niveaux d’oxygène du sang), et de performance (mentale et physique). Le Soi Quantifié est la connaissance personnelle de soi par le suivi technologique.16 Gary Wolf, journaliste, s’exprime à ce sujet lors d’une conférence à TED Cannes, «Il y a quelques années, mon partenaire Kevin Kelly et moi avons remarqué que les gens se soumettaient à un régime de mesures quantitatives et de suivi personnel qui dépassaient largement l’ordinaire. Les gens surveillaient leur nourriture via Twitter, les couches de leurs enfants sur leur iPhone. Ils faisaient des journaux détaillés de leur dépenses, leurs humeurs, leurs symptômes, leur traitements.»17. Cette mutation sociale est due à des facteurs technologiques, tel que l’accessibilité et la diffusion des appareils mobiles, les améliorations en terme de stockage et d’analyse des données, ainsi que par les mêmes facteurs à l’origine de l’avènement des technologies portatives. Nous savons maintenant que ces nouveaux outils sont progressivement en train de changer la définition du «soi». Cette pratique du Soi Quantifié a naturellement conduit les concepteurs à intégrer des interfaces empathiques aux nouvelles technologies. Ces interfaces sont empathiques dans la mesure où elles sont capables de mesurer des éléments du comportement et/ou des sensations de l’utilisateur. Elles permettent ainsi une interactivité forte avec leur environnement, en temps réel ou en temps différé, et ce indépendamment d’une intervention manuelle sur un dispositif ou un quelconque terminal18.

16 Selon la définition du “Quantified Self “de Wikipedia

17 “A few years ago, Kevin Kelly, my partner, and I noticed that people were subjecting themselves to regimes of quantitative measurement and self-tracking that went far beyond the ordinary. People were tracking their food via Twitter, their kids’ diapers on their iPhone. They were making detailed journals of their spending, their mood, their symptoms, their treatments.“, Traduction de la citation de Gary Wolf à TED Cannes, juin 2010

18 Selon la définition d’une “Interface empathique “de Wikipedia

Une seconde peau émotionnelle

Quelles applications ? Ayant dors et déjà acquis une place privilégiée dans les industries de la santé et du fitness, les technologies portatives sont largement utilisées par les masses sur une base quotidienne. Ces utilisateurs du «Soi Quantifié» incorporent ces appareils dans une démarche d’acquisition et de suivi de données de certains aspects de leur vie, incluant leur taux d’oxygène dans le sang, leur taux de respiration, et même leurs humeurs. Je présente ici un tour d’horizon des différentes applications qui incorporent de près ou de loin une démarche d’informatique affective, c’est à dire des utilisations qui sont faites ou qui peuvent être faites de l’acquisition de données émotionnelles. Évidemment cette liste ne fait pas office de présentation exhaustive des applications du marché et je me réserve la liberté de mettre en avant certains exemples au détriment de certains autres.

le domaine de la santé physique et de la médecine

Dans le domaine médical et celui de la santé en général, les applications sont dors et déjà relativement nombreuses. Leur nombre ne cesse d’augmenter et on prend de plus en plus conscience de l’enjeu informatif que peuvent représenter nos appareils portatifs connectés. Ces avancées mettent en lumière la quantité incroyable d’informations que nos technologies ne mettaient jusqu’alors pas à profit, et dont l’enjeu préventif s’avère médicalement capital.

# Health Health est une application de fitness récemment lancée par Apple et pré-installée sur les nouveau iPhones. En regroupant des données des autres applications et appareils, elle peut effectuer un suivi du poids, du taux d’oxygène, du sommeil, et même de la saturation en oxygène du sang. Ces informations peuvent être utilisées pour construire des profils émotionnels. Des chercheurs à Dartmouth ont même démontré que les Smartphones peuvent être configurés pour détecter le stress, la solitude, la dépression, et la productivité. # Embrace Embrace est l’un des produits conçus par empatica, entreprise de Rosalind Picard. Il prend la forme d’un bracelet intelligent et a principalement pour but d’aider les utilisateurs qui ont besoin d’alertes d’état de santé. En effet, Embrace est capable de détecter et signaler des changements significatifs dans l’activité électrodermale, les mouvements, ou la température de celui qui le porte, changements qui ont lieu en cas de crises. Des produits tels qu’Embrace servent notamment à améliorer le quotidien de malades atteints d’autisme, ou d’épilepsie, et peuvent ultimement sauver des vies.

Une seconde peau émotionnelle

Figure 11 Interfaces et logo de l’application Health

Figure 12 Présentation du bracelet et de l’interface de l’application Embrace

Une seconde peau émotionnelle

# Tech Tats Mis au point par la start-up Chaotic Moon, ces Tech Tats ne ressemblent pas vraiment aux tatouages traditionnels : nettement plus épais, ils intègrent des composants électroniques et biométriques capables de fournir des informations comme la température corporelle, le rythme cardiaque, le niveau de stress, etc. Autre particularité de ces Tech Tats, la présence de minuscules ampoules LED qui peuvent servir d’indicateur de notifications (lorsque par exemple la pression sanguine est trop forte). Bien sûr, les informations récupérées par ces tatouages électroniques peuvent ensuite être transmises à un smartphone. Mais là où le projet de Chaotic Moon va plus loin, c’est dans la «peinture» de ces tatouages bien particuliers qui est dite «électroconductive», qui permet d’alimenter le tatouage en énergie (les capteurs ne demandent que très peu d’électricité pour fonctionner). Dans un premier temps, Chaotic Moon prévoit de fournir ses Tech Tats à l’armée, pour vérifier la santé des soldats par exemple; le secteur médical pourrait aussi trouver un avantage à ce type de capteur corporel. Son utilisation par le grand public semble plus incertaine, il faudrait avant cela qu’il soit accoutumé à l’idée de placer à même la peau des composants électroniques «invasifs».

Figure 13 Photographie d’un Tech Tat

Une seconde peau ĂŠmotionnelle

Une seconde peau émotionnelle

Miroir émotionnel & bien-être personnel

Le site U.S.News19 soutient que la prochaine vague d’objets connectés portatifs délaisse le domaine du fitness en faveur de celui de la santé et du bien-être mental. En effet, si certains appareils permettent d’encourager l’exercice et la perte de poids, il n’y a jusqu’à maintenant que très peu d’objets sur le marché qui abordent la question du temps où l’on est statique. Comment crée t-on des habitudes plus saines pendant ces périodes? Les gens sont stressés. Si l’on s’en tient à la dernière enquête concernant «le Stress en Amérique» 20 réalisée par l’Association de Psychologie Américaine, les sondés estiment leur niveau de stress à 4.9 sur une échelle de 1 à 10 (avec 1 étant peu ou pas stressé, et 10 étant un lourd état de stress). Fait le plus préoccupant serait que 42% de plus de 3,000 adultes sondés considèrent qu’ils ne font pas assez pour gérer leur stress, et 20% qui n’effectuent aucune activité pour soulager ce stress . En éclairant les utilisateurs sur certains modèles malsains et en les aidant à convertir ces constats en actions, ces nouveaux appareils ont le potentiel d’impacter positivement l’humeur, le niveau de stress, et les comportements indique Pamela Rutledge, qui dirige le centre de Recherche en Psychologie des Medias à Newport Beach, Californie. Cette démarche tournée vers l’intérieur est intéressante pour notre recherche puisqu’elle confirme que l’acquisition de données émotives sur l’utilisateur via ces appareils est bien possible. # Being Being est une montre émotionnellement intelligente développée par l’entreprise asiatique Zensorium qui analyse les humeurs grâce à un capteur qui mesure le rythme cardiaque et la pression sanguine. Alliant ces données avec celle de l’accéléromètre, elle cartographie les humeurs

de l’utilisateur en quatre zones différentes - stressé, excité, normal, ou calme, et alerte celui-ci quand elle perçoit des changements dans ces données l’aidant ainsi à se relaxer. Seul bémol, Being n’est pas encore disponible à l’achat. # Les téléphones intelligents de Samsung et du MIT Des chercheurs chez Samsung ont développé un téléphone intelligent qui détecte les émotions des gens. Plutôt que de s’intéresser aux capteurs physiologiques, le téléphone déduit l’état émotionnel de l’utilisateur par la façon qu’il a d’utiliser son téléphone. Il surveille par exemple certaines données telles que la vitesse à laquelle il tape, la fréquence à laquelle les touches «retour» et «symboles spéciaux» sont pressées, à quel point le téléphone s’agite. Hosub Lee, chercheur à Samsung Electronique en Corée du Sud explique que ces mesures lui permettent de stipuler si l’utilisateur est heureux, triste, surpris, anxieux, énervé, ou bien même lassé. Le smartphone peut ne pas être directement

Une seconde peau émotionnelle

Nous regardons ces outils comme pointant vers l’extérieur, comme des fenêtres, et je voudrais simplement vous inviter à les regarder comme pointant vers l’intérieur et devenant ainsi des miroirs. De cette façon, lorsque nous penserons à les utiliser pour obtenir des améliorations systématiques, nous songerons également à l’utilité qu’ils peuvent apporter à l’évolution personnelle, à la découverte personnelle, la conscience ainsi qu’au savoir de soi. - Gary Wolf, journaliste

Figure 14 Photographies de deux personnes portant le casque Emotiv

19 « Wearable Technology Gets Emotional », article de Anna Medaris Miller, le 9 juillet 2015 http://health.usnews.com/ health-news/health-wellness/ articles/2015/07/09/wearabletechnology-can-now-detectyour-emotions 20 ibid

considéré comme une technologies portatives dans la mesure où on ne l’a pas toujours sur soi, mais des études récentes ont prouvé qu’un smartphone peut être capable de mesurer nos rythmes cardiaque et respiratoire même sans contacts direct. En effet, des chercheurs du MIT qui travail sur ce projet appelé BioPhone expliquent que l’accéléromètre de l’appareil pourrait être en mesure de capturer les micromouvements de notre corps résultant du battement de notre coeur et de nos mouvements respiratoires, même si notre téléphone se trouve dans notre poche ou dans un sac que nous portons. Évidemment cela implique que l’utilisateur ne soit que très peu en mouvement lui même pour détecter ces mouvements. # Le Casque Emotiv Le casque Emotiv est un casque à électro-encéphalogramme. Il ne nécessite aucune préparation préalable et son utilisation sans fil est relativement intuitive. Il permet entre autre de contrôler des objets virtuels avec son esprit, mais le nombre de

ses applications ne cesse d’augmenter. Ce qui est intéressant avec Emotiv c’est la capacité qu’il offre à l’utilisateur d’enregistrer son activité cérébrale. Il peut ainsi enrichir le système de détection et améliorer sa précision. Une fois que ces «pensées» sont enregistrées, elles peuvent être assignées à n’importe quelle plateforme informatique, application, ou appareil. Tan Le, la fondatrice d’Emotiv explique par exemple que le casque peut être utilisé dans le domaine du jeu, où les couleurs, lumières, sons et effets pourraient répondre dynamiquement à notre état émotionnel pour améliorer notre expérience en temps réel. La neuroplasticité, qui est notre capacité cérébrale à nous adapter à nos environnements, est également un point que le casque Emotiv espère améliorer. En effet, à partir d’un certain âge, cette plasticité diminue. Emotiv peut dans ce cas permettre d’améliorer les performances mentales et le bien-être de ces personnes.

Une seconde peau émotionnelle

L’Émotion comme Futur de l’Expérience Client

Si les applications dans le domaine de la loin en déclarant que dans le futur, les santé et du bien-être sont nombreuses, technologies communiqueront et traduiil est important d’analyser ce processus ront les émotions de leur propriétaire, d’acquisition de données d’une manière donnant aux entreprises la chance de plus large, du point de vue de l’expérience répondre avec des services pertinents client notamment. En effet dans un monde par micro-segmentation marketing. gouverné par la technologie, les caractéDe cette manière chaque produit et chaque ristiques de fond d’un individu sont souservice seraient personnalisés et en temps vent ignorées. Sur une base quotidienne, réel. Graduellement, les technologies les décisions d’affaire sont prises en se portatives ont séduit les entreprises pour basant sur des données et des analyses se différencier de leurs compétiteurs, majoritairement collectées en ligne, au valoriser leur image de marque et ultitravers des actions des consommateurs. mement augmenter leurs revenus. Dans Malheureusement il est difficile de faire une recherche conduite par Avangate, une la part des choses préentreprise de logiciels, il “Nous sommes dans une ère de flux sans cisément. Si l’on peut est supposé que près de 70 précédent en terme de comportement utimesurer un intérêt millions de dollars seront lisateurs, d’attentes clients, et de business pour une marque on ne investis dans la publicité models, créée par des technologies qui peut en revanche pas portative en 2018.23 bouleversent les commerces établis et savoir si cet intérêt est qui en fraient de nouveaux. L’origine positif ou négatif, inforIdentifier et suivre les comde cette ère est l’interaction symbiotique mations qui seraient portements utilisateurs de trois développements technologiques d’une valeur immense fondateurs : les appareils mobiles, les lorsque l’on parle de Les mouvements, les signes services de clouds et les analytiques c o m m u n i c a t i o n . Les vitaux , le comportement du de Big Datas. “- Kurt Marko, analyste émotions qui régissent consommateur permettront en technologies les actions des consomaux annonceurs d’anticiper mateurs pourraient être la donnée la plus sa réaction lorsqu’il est confronté au mespuissante et la plus important qu’il sage publicitaire. Les entreprises seront soit, mais elle n’a jamais vraiment été également en mesure de mieux comprendre comptabilisée à ce jour. les démarches d’achat des consommateurs selon les emplacements des produits et les Un nouveau degré d’analyse et étapes qui le mènent à acheter. d’interaction temps réel Des chercheurs du KAIST (Korea’s Advances Le site Wired explique que l’explosion Institute of Science and Technology) sont des Big Datas permet aux marques de notamment en train de développer un comprendre leurs consommateurs mieux capteur capable d’enregistrer la «chair de que jamais 21 . D’ici 2020, le site Oracle poule» sur la peau d’un utilisateur, ce qui permettrait en temps réel de connaitre leurs estime que les données digitales auront réactions face à une offre. augmentées de 4.300% 22 . Wired va plus

21 « Beyond Wearables: New Frontiers in Interactive Tech », article du site Wired http://www.wired.com/insights/2015/02/ beyond-wearables-new-frontiers-ininteractive-tech/

22 « Improving the Customer Experience Through Big Data Analytics », article de Michael Abramow, Mars 2014 http://www.gartner.com/newsroom/ id/2905717

23 « Wearable technology: In the advertising industry », article de Zensorium Wearable Technology, du 13 octobre 2015 http://blog.zensorium.com/wearabletechnology-in-the-advertising-industry/

Une seconde peau émotionnelle

# Affdex La plateforme libre d’accès mise en place par la société Affectiva offre de nombreuses possibilités d’applications. Elle est notamment utilisée par la chaine américaine CBS à son Laboratoire de Las Vegas, où ils testent l’impact de leurs nouveaux programmes en exploitant les réactions faciales d’une audience. L’équipe de Rana el Kaliouby a également testé Affdex en 2012 durant les élections présidentielles en analysant plus de 200 personnes regardant des images de débats ObamaRomney, et a conclu que le logiciel était capable de prédire les votes avec une exactitude de 70%. Les conférences vidéo sont un autre exemple d’application à partir d’une traduction émotive. En effet, les

gens utilisent de plus en plus des services de vidéo-conférence en ligne mais aucune donnée n’est capturée dans une démarche analytique. Pourtant, il s’avère qu’utiliser une plateforme telle qu’Affdex pourrait déterminer précisément si oui ou non la ou les personnes en ligne sont intéressés par votre offre et tendent à l’accepter ou la décliner, et ce avant même qu’il(s) ne vous en fasse part.

Figure 15 (Haut) Image de l’interface d’Affdex

Une seconde peau émotionnelle

Figure 16 Photographies de l’expérience «feelthereel» de XOVIA et Saatchi&Saatchi aux Festival des Lions Cannes

# feelthereel Le bracelet XOX est un bracelet en silicone contenant des capteurs biométriques qui captent certaines données physiologiques du corps humain en écoutant ses variations. Il mesure les niveaux d’excitation de son propriétaire via un spectre de couleurs LED, le rouge étant l’état le plus haut niveau d’excitation. L’information est traitée et diffusée sans fil. L’entreprise créatrice du bracelet XOX, XOVIA Ltd, a travaillé en 2014 avec l’agence mondialement connue Saatchi & Saatchi pour le lancement de leur plateforme technologique. Dans une immense salle des Lions Cannes, Festival international de la créativité, chaque personne est munie d’un bracelet XOX. Alors qu’ils diffusent le Showreel de l’évènement, les émotions des utilisateurs sont projetées dans leur dos en temps réel sous la forme d’une visualisation de données créée par l’artiste Marshmallow laser feast en collaboration avec le collectif berlinois Elektropastete. Benjamin Males, le co-inventeur de la technologie XOX a commenté à propos de cette initiative : «Nous donnons au corps un vocabulaire en dessinant ses émotions. Nous sommes capables d’ouvrir une porte vers nos âmes et obtenir un flux direct de nos réponses émotionnelles». Tom Eslinger, Directeur social à Saatchi & Saatchi a ajouté qu’en dehors du challenge technique, l’intérêt de cette expérience résidait aussi dans la technologie portative du XOX qui a permis pour la première fois à l’audience d’être co-créateur simplement par son action d’être spectateur.

Une seconde peau ĂŠmotionnelle

Une seconde peau émotionnelle

Une Nouvelle Ère Créative

Émotion et Création sont deux sphères intimement liées. Une création n’a de sens que portée par une démarche émotive. Les applications utilisant des données émotives en temps réel dans le domaine de la création sont à ce jour peu nombreuses, il y a pourtant un vrai enjeu à repenser ce domaine en utilisant les émotions, leur lecture et leur traduction.

I believe that human emotions come with corresponding waves of energy that we carry within. They feel my vibe, as if my energy is echoing off them. - Lisa Park

# L’utilisateur comme créateur Le modèle commun à ces créations est qu’au delà de vouloir immerger plus intrinsèquement l’utilisateur dans la démarche créative, on cherche à lui laisse l’entier contrôle de celle ci - il devient lui même le créateur d’une oeuvre où les pinceaux sont ses émotions.

Figure 17 Eunoi II, photographies de Lisa Park et des vasques de sa performance artistique

# Eunoia II Lisa Park, une jeune artiste New-Yorkaise est à l’origine du projet Eunoia II. Assise au centre de ce qui semble être un jardin zen dans une salle épurée, elle est capable de contrôler quelques 48 vasques d’eau avec la seule force de ses ondes cérébrales - via un casque EEG relié à des bols d’eau intelligents qui captent les dites ondes. Les 48 vasques qui l’entourent représentent les 48 émotions que Spinoza recense dans son livre Ethica. On y retrouve par exemple la frustration, l’excitation, la méditation et la dévotion. Chacune de ces émotions est illustrée de manière différente par les vibrations émises par les flasques. Les vibrations répondent aux stimuli nerveux de Park via un algorithme, et représentent ses émotions en autant de mouvements qui se dessinent sur l’eau.

«J’ai commencé à travailler avec des capteurs et des casques EEG parce que je cherchais à répondre à cette question: comment je peux transformer une énergie invisible et les émotions qu’elle véhicule en un résultat visible par tous. Lorsque je ressens certaines émotions (de la colère, de la tristesse ou de la joie) j’imagine qu’elles sont comme des petites vagues qui se répandent en moi, après tout, nous sommes composés à plus de 60% d’eau. Avec Eunoia II, j’ai voulu faire une oeuvre qui représente ce qui se passe en moi.» explique l’artiste.

Une seconde peau ĂŠmotionnelle

Une seconde peau émotionnelle

Figure 18 Images extraites de la vidéo de présentation de l’expérience visualisation du processus de transcription et images des participants

# Sense 8 Brainwave Symphony - Netflix Afin de promouvoir sa nouvelle série originale «Sense 8», Netflix a décidé de créer une symphonie avec le cerveau de 8 personnes différentes. En effet la série repose sur l’idée que 8 personnes à travers le monde ont la possibilité de se connecter entre elles, pour ainsi profiter des capacités des uns et des autres, tout en vivant leur existence respective. Pour imager cette connexion le service de VOD a équipé 8 personnes d’un casque à EEG afin de capter les ondes de leur cerveau et les retranscrire en une symphonie collaborative.

Les appareils Les appareils connectés portatifs sont nombreux sur le marché. Dans le cadre de mon sujet, certains viennent cependant à sortir du lot. Ici les critères que j’ai valorisés en vue de mon grand projet sont la pertinence, l’accessibilité, ainsi que le prix. La pertinence est déterminée en fonction des capacités techniques de l’appareil, et de son aptitude à effectuer une mesure émotionnelle précise de l’utilisateur. Le critère d’accessibilité est fixé d’une part en étudiant la croissance des ventes de l’appareil, il faut veiller à ce que le projet puisse toucher un maximum de personnes et non pas une minorité exclusive. Ce critère est également établie selon l’accessibilité technique de la technologie. Certains appareils restent encore très complèxes d’utilisation et semblent être encore réservés à une sphère de techniciens.

Chapitre 4

Vers le grand projet

Placer le consommateur dans un nouveau système où il est acteur L’écoute musicale comme une expérience émotionnelle narrative

thèses r eur tion lisation

hypo acte créa narr visu

Vers le grand projet

Introduction Nous avons grâce à cette première étape de recherche pu analyser l’environnement macro-économique des industries de la musique en ligne ainsi que celui des technologies émotives. Nous avons pu attester de l’avènement des technologies portative grâce à l’essor des objets connectés et des Big data dans le monde. Cette croissance est également reliée au phénomène de «Soi Quantifié» que nous avons pu mettre en lumière. Tout porte donc à croire que leur présence sur le marché n’est pas transitoire mais est bien l’indice d’une mutation sociale et technologique. Leur présence et leur utilisation n’étant pas encore bien banalisées, tout indique que leurs applications vont se diversifier et venir embrasser des domaines jusqu’alors insoupçonnés : entre autre celui des émotions. La connaissance des émotions en temps réel ainsi qu’en tout lieu pourrait amener à profondément repenser les domaines liés à la création, et à la transmission émotive, tel que celui de la musique. Ce dernier justement, est en train de s’émanciper du modèle de téléchargement qu’avait mis en place Apple pour adopter une forme de consommation en streaming plus ouverte, où l’on ne paye plus une possession, mais un abonnement pour consommer librement. Les offres proposées par ce type de services sont de plus en plus personnalisées et de plus en plus pertinentes, et pour cause, on connaît de plus en plus de données contextuelles de l’utilisateur. Cela permet de mieux connaître ses besoins et donc de lui faire de meilleurs suggestions. Pour établir une solution à notre problématique initiale, et en tenant compte de cette première partie de recherche, je vais à présent rédiger des hypothèses de résolution. Grâce à une analyse du corpus je confirmerai ou infirmerai ces hypothèses, qui me serviront à ébaucher par la suite mon grand projet.

Figure 19 (Droite) espace de travail

Vers le grand projet

Placer le consommateur dans un nouveau système où il est acteur

La connaissance et l’utilisation nouvelle des émotions présage que nous entrons dans une ère de monétisation des émotions

Nous avons présenté précédemment l’émotion comme le futur de l’expérience client. Pour comprendre ce phénomène ainsi que la volonté de nombreuses marques d’en faire l’acquisition, il faut comprendre la valeur que représente l’émotion dans une phase d’hyperconsommation de contenus dans laquelle sont rentrés nos sociétés occidentales # La fonction sociale des émotions est en train de changer

24 “Évolution de la société : quel avenir pour les émotions ? “, de Klaus Scherer

25 “Les Binet - The Future Of Advertising Research“, interview vidéo, https://www.youtube.com/ watch?v=e1FzbPklq0Y

Nous exprimons nos sentiments différemment, c’est une certitude. Alors que leur connaissance restait abstraite et de l’ordre du privé jusque là, la notion émotive est rapidement en train de s’implanter dans tous nos médias et toutes nos interfaces. Les mass media, comme la télévision ou les Internets, utilisent de plus en plus un matériel chargé émotionnellement pour susciter l’intérêt du public et l’inciter à consommer. Ainsi, comme l’explique Klaus Scherer pour la Revue européenne des sciences sociale24, il semble que l’analyse systématique des évènements ait été remplacée par des interviews où l’aspect émotionnel est accentué et où la contagion émotionnelle s’effectue par l’empathie. Comme exploré dans la première partie du mémoire Les Binet, responsable efficacité de l’agence de Communication Adam&EveDDB, déclare 25 que la publicité de demain se focalise non pas sur comment les gens répondent à la publicité à un niveau rationnel conscient mais bien plus au niveau inconscient caractérisé par les émotions : l’inconscient cognitif. Le nouveau Marketing s’efforce donc de comprendre les motivations inconscientes des consommateurs, et ce grâce à des nouvelles technologies capables de capter des données d’ordre biométrique. Cette transition est en train de s’effectuer de manière insidieuse et déjà de nombreuses d’entreprises investissent dans des outils de suivi émotionnel de leurs consommateurs pour mieux évaluer leurs besoins; l’émotion est la nouvelle monnaie marketing à posséder.

Vers le grand projet

Le besoin expressif en hausse offre au consommateur la possibilité de se redéfinir

26 ibid 24 Dans sa revue sur l’avenir des émotions26 Klaus Scherer parle de l’impact des nouvelles technologies de communication sur l’expression émotionnelle où il constate une augmentation de l’expressivité et “Une des particularités de ce type d’indu besoin expressif dans les interacteractions est la possibilité́ offerte au tions interpersonnelles. Il explique participant de se redéfinir “- Klaus Scherer cette fluctuation par les changements dans les règles de conduites sociales que nous avons présentés précédemment. Il met aussi en lumière dans sa recherche une utilisation et une expression des émotions plus libre et désinhibée.

# Quels enjeux y a t-il a redéfinir le statut du consommateur ? Il y a quelques générations de cela, nous consommions majoritairement ce que nous produisions. À mesure que la création et la production sont devenues des spécialisations à part entière, le consommateur s’est progressivement détaché de ce processus jusqu’à n’y avoir plus aucune action et aucun contrôle. La problématique de cette situation est qu’il n’a plus eu d’autre choix que de faire confiance au créateur / producteur pour que celui-ci opère d’un point de vue altruiste. Désormais il n’existe plus un seul élément dans nos modes de vie qui n’implique pas la consommation. L’aspect à nuancer d’une perspective d’intelligence émotionnelle dans nos interfaces et nos appareils, est que l’information qu’on y trouve est nécessairement teintée. Même avec le medium actuel le plus immersif qui soit, le contrôle de l’utilisateur sur sa navigation est illusoire. Prenons le cas des moteurs de recherches par exemple. Les résultats d’une recherche y sont filtrés selon la requête émise, mais également par ce que le moteur de recherche estime que vous cherchez sur la base de votre profil émotionnel et de vos précédentes recherches. Ces résultats dépendent également de leur référencement et de ce qui ai payé à Google par l’annonceur. Le risque de ne traiter plus qu’avec des informations filtrées est que nous ne serions plus capables de prendre des décisions qui nous sont propres. Dès lors il existe un vrai enjeu éthique à ce que le consommateur se réapproprie le processus créatif / de production.

Vers le grand projet

# Consommation de contenus VS Création Intuitive de contenus

27 « Exploring consumer motivations for Creating UserGenerated Content », de Terry Daugherty, Matthew S. Eastin, et Laura Bright, 2008

Les mutations liées aux avancées technologiques du Web 2.0 ont permis l’émergence de ce qu’on appelle de la Création Intuitive de contenu (de l’anglais «User-generated Content» ou UGC)27 . Ce terme se réfère au contenu médiatique créé et/ou produit par le public de masse plutôt que par des professionnels rémunérés. Les Internets ont ainsi embrassé une nouvelle notion de consommateur-créateur grâce à des sites et des plateformes tels qu’Etsy et Kickstarter, qui permettent la création et le financement de contenus pour les amateurs. Selon le site Kickstarter justement, plus de 751 millions de dollars ont été engagés dans des financements depuis le lancement du site en 2008, le résultat de 48,000 projets financés avec succès.

Mais le financement n’est qu’un des aspects de cet essor créatif de masse. L’argent serait inutile s’il n’existait pas des outils facilitant ce processus de création de façon accessible et sans tenir compte de leur niveau de compétences. Bien que la création et la dissémination de contenus aient été constantes depuis des décennies, le potentiel pour un consommateur ordinaire de communiquer et influencer 28 “Introduction To Intuitive une audience de masse est un phénomène récent. Nous Content Creation“, article de blog, Intel, http://iq.intel.com/ sommes au milieu d’une nouvelle ère de la créativité où introduction-to-intuitivedu contenu est sans cesse produit, diffusé et partagé dans content-creation/ l’espace numérique, avec par exemple 100 heures de vidéo téléchargées à chaque minute uni“If you can put your hands inside the quement sur YouTube28 .

computer and handle digital content you can express ideas more completely. “ - Jinha Lee, Étudiante au MIT

Les consommateurs contemporains sont actifs et veulent maîtriser leurs expériences médiatiques. Ils tiennent à contrôler leur consommation, et les audiences font face à l’opportunité de modeler les contenus médiatiques à leur image. La technologie va devenir de plus en plus accessible, contribuant à créer un espace d’information modulable personnalisé. Comme l’explique Terry Daugherty, Matthew S. Eastin et Laura Bright dans leur article de recherche «Exploring consumer motivations for creating Usergenerated Content», le contrôle des producteurs de messages sur les consommateurs semble remis en question par les contenus génératifs et intuitifs qui représentent un changement de pouvoir potentiel au sein de l’industrie. Le Web peut représenter un medium plus puissant que les médias traditionnels dans la mesure où les consommateurs peuvent désormais non seulement consommer, mais également interagir, contrôler, créer, et distribuer du contenu médiatique. Finalement, l’ambition d’un système

Vers le grand projet

de Création Intuitive de contenus est celui d’engager les consommateurs dans une expérience médiatique active. Néanmoins, si la démocratisation de l’information combat l’unicité et l’aspect pyramidal de l’offre et la demande, on peut se questionner sur la pertinence du contenu et de l’espace d’information que constitue le Web s’il n’est plus géré par aucun spécialiste mais par tout à chacun ? # «Push-Product» VS «Pull-Client» Au-delà des avantages liés à la technologie il y a un aspect dont on parle moins, mais qui est capital : le digital modifie en profondeur les interactions et fait de la valeur de la relation avec les clients l’élément le plus important pour les entreprises. Nous avons vu qu’avec le Big Data, les entreprises cherchent à mieux connaître leurs clients dans l’objectif de mieux leur vendre leurs produits. Le problème selon Stéphane Mallard29, du pôle Innovation et Stratégie de la Société Générale, c’est que cette approche se trompe de sens : on se met côté produit et on cherche à le pousser vers le client (Push Product). Le digital va obliger les entreprises à changer totalement d’approche et à se mettre du côté client, à se mettre à leur place, dans leur peau pour comprendre au mieux leur besoin et si le produit de l’entreprise est exactement ce dont le client a besoin, lui vendre. Si ça n’est pas le cas, lui dire avec honnêteté et transparence que les produits de l’entreprise ne lui correspondent pas. C’est un changement radical de posture, puisqu’en adoptant cette attitude on créé une relation de confiance solide avec le client. Ce qui veut dire qu’à l’avenir il reviendra solliciter l’entreprise. C’est une opportunité pour les entreprises de développer des produits toujours plus en concordance avec les besoins réels des clients.

29 « Stéphane Mallard : L’Intelligence Artificielle et le deep learning vont révolutionner le monde », article du FintechMag, 3 décembre 2015, Intel, http://fintech-mag.com/ stephane-mallard-societegenerale-lintelligence-artificielleet-le-deep-learning-vontrevolutionner-le-monde/

Toujours selon Stéphane Mallard, l’entreprise doit prendre conscience qu’elle n’a aucun intérêt à chercher à vendre à tout prix ses produits, mais plutôt qu’elle doit accompagner la réflexion de ses clients et bâtir la confiance. Petit à petit, les clients vont distinguer les entreprises les plus transparentes, en qui ils peuvent avoir confiance et décideront de ne solliciter que celles-ci. C’est ce qu’on appelle le «Pull Client» par opposition au «Push Product». Au final, derrière l’enjeu expérienciel de repenser la consommation musicale en ligne, il y a aussi un vrai enjeu sociétal de renouer le dialogue et rétablir la confiance entre le consommateur et le producteur. Pour repenser intimement l’expérience de consommation musicale streaming il faut donc, selon moi, engager le consommateur dans une expérience médiatique active et le rendre acteur de ce qu’il consomme.

Vers le grand projet

L’écoute musicale comme une expérience émotionnelle narrative

Consommer, un acte créatif ?

30 « Production & Consumption of Music », livre édité par Alan Bradshaw et Avi Shankar

Lorsque nous consommons nous vivons une expérience sensorielle, nous exprimons des données émotionnelles sur notre interaction avec le produit / service / contenu que nous utilisons. Ces données émotionnelles compilées servent aux marques et aux entreprises à élaborer et concevoir les prochains produits et contenus que nous allons consommer. Ultimement et via nos émotions, en consommant du contenu en ligne nous avons toujours participé à créer. Alan Bradshaw et Avi Shankar déclarent30 que la musique peut être considérée comme un modèle social dans lequel la consommation et la production coexistent et se constituent mutuellement. # L’implication de l’émotion dans le processus décisionnel de la consommation Il a d’abord été théorisé que le processus de prise de décision était de l’ordre du rationnel, et qu’il ne laissait que peu de place aux émotions. Par la suite a été soutenu que les émotions agissaient en réalité comme des occurrences irrationnelles qui déformaient le raisonnement. La majorité des théories et recherches actuelles à ce sujet s’accordent sur le fait que les émotions jouent un rôle essentiel dans le processus de prise de décision.

31 Selon l’article « Emotions in decision-making » de Wikipédia 32 « Decisions Are Emotional, not Logical: The Neuroscience behind Decision Making », article de Jim Camp, http://bigthink. com/experts-corner/decisionsare-emotional-not-logical-theneuroscience-behind-decisionmaking

Loewenstein et Lerner discernent deux types d’émotions impliquées dans ce processus 31 : celles anticipant les futures émotions et celles réellement vécues à l’instant de la consommation . Le neuroscientifique Antonio Damasio a lui étudié il y a quelques années le cas de personnes atteintes de dommages au cerveau dans la partie responsable de la génération des émotions32. Il a découvert qu’au delà du fait de ne pas être capables de ressentir des émotions, ils n’étaient pas non plus capables de prendre des décisions. Ils étaient capables de décrire parfaitement ce qu’ils devraient faire sur un plan logique, mais impuissant face à des prises de décision même simples, comme décider quoi manger. Puisque l’émotion est en grande partie engagée dans le processus décisionnel de la consommation on peut émettre l’hypothèse que l’émotion est impliquée dans le processus de production de contenus. Les producteurs s’efforcent à générer un besoin chez le consommateur pour l’amener à acheter, de la même façon que la consommation induite des

Vers le grand projet

émotions des consommateurs dicte aux producteurs quoi créer. En interprétant l’expérience sensorielle auditive que la musique nous fait vivre, on pourrait comprendre les vrais mécanismes de cette consommation et les vraies attentes des consommateurs. Il faut faire prendre conscience aux consommateurs de l’outil créatif qu’ils ont toujours possédé sans jamais l’exploiter : leurs émotions.

La Musique est une expérience de récit

La citation ci-contre est un extrait “I think I have experienced your symphode la lettre qu’a écrite Schönberg ny. I felt the struggle for illusions; I felt the après avoir entendu la première pain of one disillusioned; I saw the forces performance de la troisième symof evil and good contending; I saw a man phonie de Mahler. Ce que révèle de fondamental cette lettre c’est que in a torment of emotion exerting himself l’impact de la musique dépasse le to gain inner harmony. I sensed a human contexte immédiat de l’expérience. being, a drama, truth, the most ruthless Son interprétation, sa consomtruth “- Arnold Schönberg à Mahler,1904 mation est capable d’évoquer des concepts complexes et abstraits. Incarnés dans cette symphonie existent quelque part des protagonistes subissant des épreuves et des peines, pouvant lutter, qui sont humains. En s’appuyant sur ce constat, Matthew Montague Lavy déduit dans sa thèse de doctorat33 que cette symphonie, et la musique plus en général, ne sont pas que des sons et des motifs entendus dans un contexte musical, mais bien un monde narratif à part entière. Littéralement, l’idée qu’une symphonie puisse être un récit est paradoxale. Pourtant, et comme évoqué en première partie de mémoire, la musique peut être assimilée à un langage, une suite de code expressif. Selon la définition du théoricien Labov (1972), un récit est une séquence de propositions associées à une séquence d’évènements; ainsi si deux d’entre elles se suivent l’une l’autre selon une succession temporelle, cela peut constituer un récit. De cette définition, nous pouvons donc désormais associer la musique à un récit. En 1993, Gerrig décrit un monde narratif comme un lieu où un public peut être transporté par une histoire, ou même simplement par une idée ou un concept, ce qui vient bien confirmer que l’on peut considérer l’expérience d’écoute musicale comme tel.

33 « Emotion and the Experience of Listening to Music - A Framework for Empirical Research », thèse de Matthew Montague Lavy, Jesus College, Cambridge http://www.hugoribeiro.com. br/biblioteca-digital/LavyEmotion_Experience_of_ Listening_Music.pdf

L’impression de récit vient également du fait que lorsque l’on écoute de la musique, on adopte un mode d’écoute narratif. Ce n’est pas le récit en tant qu’objet qui

Vers le grand projet

importe en somme, mais le récit comme mode de pensée. Les mondes narratifs dont parle Garrig n’émergent pas d’un texte, mais bien d’un processus mental. De la citation ci-contre de Edward Branigan, professeur d’études filmiques et médiatiques, on peut statuer qu’un récit n’est jamais complètement inhérent à une musique. On y trouve certes une structure émotionnelle définit par son auteur, mais le récit musical est bien constitué par une représentation sensible propre à chaque personne qui l’écoute. Une même musique peut être interpretée d’une façon infinie de fois.

“narrative is a perceptual activity that organises data into a special patterns which represents and explains experience“ - Branigan, 1992

Matthew Montague Lavy présente à ce propos dans sa thèse l’avis d’un psychologue en musique qui suggère que la considération de récits dans la musique non pas comme objets, ou propriétés, mais comme propriété émergente du processus d’écoute pourrait fournir un outil puissant pour comprendre les dynamiques et la nature cohérente de l’expérience qu’est celle d’écouter de la musique. La question de la musique comme récit étant posée, on peut se demander comment la perception de ce récit a lieu à l’écoute d’une musique. Lakoff et Johnson affirment en 1980 que la structure cohérente de l’expérience musicale est établie grâce à la notion de métaphores. Toujours selon eux si nous entendons un récit dans la musique c’est bien parce qu’à l’écoute de la musique nous la conceptualisons en termes de récit, avec la narration elle-même agissant comme une métaphore de la façon que l’ensemble puisse être compréhensible.

Une problématique de design

Le rôle du designer est primordial dans notre problématique. Il doit accompagner l’utilisateur dans la prise de conscience de ses émotions et de leur valeur et l’accompagner dans “Artistic expression clarifies turbulent la compréhension de ses enjeux. emotions.“- John Dewey Pour que l’utilisateur puisse interpréter ses données physiologiques et ainsi ses émotions en temps réel, il est nécessaire d’effectuer un véritable travail de transcription et de clarification. Dans cette optique le designer doit rendre visibles et compréhensibles aux yeux de l’utilisateur ses données biométriques.

Vers le grand projet

Les meilleures visualisations de données sont celles qui ont la capacité de montrer ce que vous n’auriez pas vu en consom“turning the invisible layer of emotions mant simplement les données, into a visible and explorable graph“ celles qui racontent une histoire. - Lydia van der Spek Elles présentent les données de manière à ce qu’on puisse les interpréter et ainsi les comprendre. Transformer les données en symboles accessibles permet de les clarifier et surtout de les révéler. # Rendre les émotions visibles Plusieurs projets ont cherché à explorer l’inconscient émotionnel afin de le rendre visible et lui permettre de s’exprimer. Pour décrire des données émotionnelles il y a donc un double enjeu à utiliser la visualisation; d’une part, la figuration permet de rendre intelligible des concepts abstraits tels que les émotions, d’autre part, la figuration permet de traduire et d’incarner des données physiologiques parfois imperceptibles.

Figure 20 Exemples de visualisations de données liées à l’émotion

Chapitre 5

Une expérience sensorielle de consommation

Un clip biométrique Derrière les images L’abstraction Inspirations

ctif e rer ole ations

inter voya géné sym inspi

une expérience sensorielle de consommation

Un clip biométrique

Concept

Selon la définition du Larousse, un clip est un court métrage vidéo, illustrant une chanson. Comme démontré précédemment, on peut considérer l’expérience de consommation musicale comme étant une expérience de récit, celui-ci étant en quelque sorte l’interprétation émotive de l’auditeur en réponse à une musique. Chaque auditeur réagit et interprète différemment une musique, de la même façon qu’une personne peut avoir des interprétations différentes d’une même musique selon leur contexte d’écoute; c’est donc une expérience individuelle, singulière, et unique dans le temps. Ma proposition de solution pour repenser la consommation musicale sur les plateformes en ligne, consiste en la retranscription visuelle et temporelle de cette expérience sensible, et ce sous la forme d’un clip musical biométrique. Il est biométrique dans la mesure où il est généré et modulé par les données physiologiques de l’auditeur, et donc par expansion, par ses émotions. En choisissant une musique, et par son acte de consommation, un auditeur pourra visualiser le récit de ses émotions en réponse au stimulus qu’est la musique, et de cette façon être immergé d’une façon nouvelle dans l’expérience de la consommation. Cette expérience veut permettre d’impliquer plus profondément les consommateurs dans un acte d’écoute en ligne qui est devenu aussi simple qu’insignifiant. Alors que la musique était vécue comme une expérience spirituelle il y a quelques décennies, il est maintenant rare de ne pas écouter de la musique en faisant autre chose. L’auditeur a avec le temps, détourné son attention du but initial de la musique, celui de communiquer, d’émouvoir. Pour que l’expérience soit intéressante il faut que l’utilisateur y prenne entièrement part, il ne doit pas seulement entendre mais écouter, vivre le morceau. Au-delà du questionnement immersif que pose l’expérience, elle veut aussi mettre en lumière les perspectives de la connaissance en temps réel des émotions dans l’industrie de la musique en ligne. À ce jour un nombre important de consommateurs indiquent être prêts à délivrer leurs données physiologiques si cela peut leur permettre d’accéder à des offres plus pertinentes et personnalisées. Mais si l’on connaît ce que chacun consomme, il n’y a à l’heure actuelle aucun moyen de savoir pourquoi une personne

une expérience sensorielle de consommation

a consommé un contenu en ligne. La preuve en est que certaines vidéos virales sur les plateformes de streaming vidéo tel que Youtube ont été visionnées des millions de fois, mais pourtant ne récoltent que très peu d’appréciations positives. Cette donnée qui permettrait d’accéder à l’expérience réelle vécue du consommateur, c’est l’émotion. Dans une démarche de personnalisation cette connaissance pourrait servir à détecter des structures musicales plus à même de nous émouvoir ou au contraire nous désintéresser, et selon un contexte donné, proposer à chaque auditeur des playlists hautement sophistiquées. Enfin, et de façon plus globale, l’expérience veut illustrer l’implication qu’a toujours eu la consommation dans l’acte créatif, ici le clip. Cette implication du consommateur n’a pas à être passive, elle peut aussi permettre son émancipation et valoriser une consommation ouverte et transparente avec les diffuseurs. # Physiologiquement interactif Pour repenser l’expérience en ligne il nous faut engager plus intensément et plus activement le consommateur et le rendre acteur de ce qu’il consomme ; la solution interactive était en ce sens logique. Cette proposition me semble intéressante, dans la mesure où cette interaction est ici physiologique. Nous sommes donc impliqués d’une manière intrinsèquement puissante qui dépasse notre conscience. Ce sont nos émotions qui régissent l’expérience, ce sont elles les protagonistes de l’œuvre visuelle. # Un voyage émotif Puisque le récit sera de l’ordre de l’exploration émotionnelle, sa narration et sa représentation pourront illustrer le voyage. Si nos émotions sont actrices de l’œuvre notre conscience en est elle majoritairement spectatrice, c’est pourquoi l’utilisateur pourra prendre part dans un voyage contemplatif au coeur de son subconscient. L’immersion sera amplifiée par un travelling avant du début à la fin de la musique qui nous fait avancer dans l’univers symbolique de nos émotions. La progression s’arrête quand l’expérience musicale prend fin. Cette immersion visuelle comme choix de mise en scène exprime également l’introspection implicite du voyage.

une expérience sensorielle de consommation

Allier marketing expérientiel et sensoriel, ou comment stimuler pour séduire

# Le Marketing expérientiel Des expériences présentes ou passées peuvent provoquer dans l’esprit d’un consommateur de fortes émotions capables de diminuer l’aspect logique d’un achat au profit de notions plus subjectives. Il lui sera alors plus difficile de résister à l’attraction d’une marque. On sait que le consommateur répond de manière positive à des stimuli qui font appel à ses cinq sens plutôt qu’à sa logique. Plus on agit sur ses sens, plus le lien créé sera émotionnellement fort.

Figure 21 Exemple de marketing expérientiel - Sprite Shower

C’est un marketing qui se développe de plus en plus chez les marques voulant se différencier de leur concurrents, non seulement au travers de camapagnes physiques mais également, et c’est plus récent, sur le Web. Ces dispositifs en ligne permettent ainsi de toucher le consommateur dans son action de navigation, mais aussi plus profondément, en faisant appel à ses émotions liées à ce moment.

une expérience sensorielle de consommation

# Le Marketing sensoriel Le marketing sensoriel est une technique marketing qui sollicite un ou plusieurs des cinq sens du consommateur. Cette nouvelle approche marketing engage le consommateur dans une démarche positive, permettant d’établir un lien durable avec la marque au travers d’une expérience sensorielle unique. Le marketing sensoriel met l’accent sur le vécu des individus : émotions, sens, imaginaire, interactions entre le consommateur et son environnement. - 82 % des personnes interrogées lors d’un sondage pensent que l’événementiel expérientiel est la forme de communication la plus susceptible de conduire à l’achat dans le sens où elle permet d’anticiper le plaisir de consommation. - 66 % d’entre eux déclarent que le marketing expérientiel modifie positivement leur opinion sur la marque. - 9 consommateurs sur 10 pensent que tester le produit via une expérience est la meilleure façon d’obtenir de l’information sur la marque. - 8 consommateurs sur 10 ayant vécu une expérience de consommation positive en ont parlé autour d’eux.34 Le marketing sensoriel permet ainsi à une marque de se différencier de ses concurrents, fidéliser ses clients, et améliorer sa notoriété grâce au bouche à oreille.

34 Données extraites de l’article “13 exemples de marketing sensoriel réussi et raté“, de Gabriel DabiSchwebel, le 26 juin 2013 https ://www.1min30.com/ content-marketing-inboundmarketing/13-exemples-demarketing-sensoriel-reussi-etrate-5507the-mood-awareinternet-of-things/

# Établir un ou des partenariats Un ou des partenariats peuvent être envisagés pour crédibiliser l’expérience. Le projet peut ainsi être imaginé dans le cadre d’une opération de marketing sensoriel pour une plateforme de streaming musical par exemple. Pour encourager les utilisateurs à utiliser leurs outils de personnalisation, ou même simplement pour conserver l’intérêt et la visibilité de leurs utilisateurs grâce à l’aspect ludique de l’expérience.

une expérience sensorielle de consommation

Derrière les images L’expérience s’articule en trois étapes techniques fondamentales : la captation, la transcription symbolique, et l’architecture.

La captation

La captation représente l’acte de récupérer des données biométriques de l’utilisateur par l’intermédiraire d’une technologie. Comme abordé précédemment, les technologies sont capables d’interpréter nos émotions à partir de l’analyse de différents facteurs physiques : l’expression de notre visage, le rythme cardiaque, la température du corps, le flux sanguin, la conductance cutanée ou encore l’activité cérébrale. Leur pertinence à déterminer nos émotions n’est bien évidemment pas la même pour tous ces facteurs. À ce jour, l’activité électrodermale (EDA) permettant de mesurer la conductance cutanée, l’électroencéphalogramme (EEG) pour la mesure de l’activité cérébrale, ou bien encore le suivi facial, semblent les plus aptes à des mesures émotionnelles précises. Les technologies permettant ces trois types de mesure ne sont en revanche pas toutes abordables et banalisées. Dans le cadre d’une campagne de marketing expérientiel et/ou sensoriel, la pertinence de la mesure sera à allier au facteur d’accessibilité technique de l’expérience, car l’expérience doit être réalisable pour le plus grand nombre. Pour pouvoir ensuite accéder aux données récupérées par l’appareil il faut accéder à ce qu’on appelle une API, qui constitue l’interface de programmation de l’application utilisée.

La transcription

Une fois les données physiologiques récupérées il va falloir les transcrire pour pouvoir les interpréter. Pour cela il va falloir dégager des motifs caractéristiques de chaque émotion que nous cherchons à étudier. Ainsi, à chaque fois que l’activité enregistrée affichera des valeurs contenues dans un des motifs, alors c’est que le consommateur ressent l’émotion associée au motif. Cette transcription sera effectuée grâce à des algorithmes.

une expérience sensorielle de consommation

L’architecture

Une fois ces associations effectuées il va falloir leur construire un cadre, un endroit pour s’exprimer. Autrement dit, créer l’architecture de l’expérience. Pour cela nous allons avoir recourt à ce que l’on appelle du Design Génératif (ou «Creative Coding» en anglais). # L’art génératif On peut le décrire comme une forme d’expression artistique capable de produire des œuvres uniques et imprévisibles, en fonction de règles prédéfinies. Mozart utilisait déjà ce principe pour générer aléatoirement de la musique à l’aide de dés, technique très populaire en Europe au XVIIIème siècle. Aujourd’hui cette forme artistique s’exprime principalement avec des algorithmes. # Reproduire l’aspect aléatoire de la nature Concrètement, l’artiste/codeur crée donc un cadre dans lequel il laissera le programme s’exprimer de façon aléatoire. Il devient l’architecte d’une création graphique singulière qu’il verra se créer sous ses yeux et dont il ne pourra pas définir à l’avance l’aspect final. Le design génératif permet ainsi de respecter la nature singulière et personnelle de l’expérience de consommation musicale. L’intérêt étant que la narration soit impactée le moins possible par des interventions externes.

Figure 22 Outils techniques

une expérience sensorielle de consommation

Figure 23 Différents exemples de travaux liés à l’abstraction

une expérience sensorielle de consommation

L’abstraction Puisque ma proposition de récit est une visualisation d’émotions j’ai assez naturellement orienté mes pistes créatives vers des univers visuels de l’ordre de l’abstrait et de l’onirique. Pour communiquer et retranscrire les états émotionnels par la visualisation, je compte également m’appuyer sur leurs aspects symboliques, grâce à la sémiologie. La sémiologie représente l’étude et l’utilisation des signes. Un signe peut être une icône (image ressemblante), un indice (fragment), ou bien encore un symbole (qui produit des significations dans ses quatre types de manifestation que sont la couleur, la texture, la forme, ainsi que l’orientation). En somme, il me faut codifier par l’abstraction et le symbolisme chacune des émotions afin que le récit visuel de mon expérience puisse être lisible et compréhensible.

une expérience sensorielle de consommation

Inspirations

Resonance

L’une de mes références visuelles principale est le projet «Resonance» de l’agence parisienne Studio Noir dont voici des visuels ci contre. Réalisé pour l’Orchestre de Paris, il s’agit d’une expérience Web interactive nous invitant à voyager au cœur d’une Symphonie classique pour y jouer le rôle du chef d’orchestre. Conçu sur le principe de la synesthésie, l’expérience retranscrit la musique jouée en composantes visuelles. L’internaute y interagit grâce aux mouvements de sa baguette, ici son curseur.

une expérience sensorielle de consommation

Figure 24 Images d’interfaces de l’expérience «Resonance» et de son univers graphique

une expérience sensorielle de consommation

The US open sessions

La société IBM a collaboré avec le musicien et producteur James Murphy sur un projet appelé «IBM U.S Open Sessions». Dans ce projet, James a travaillé à transcrire en temps réel les données collectées des matchs en cours, via le Cloud IBM, en musique. Chaque match a donc sa musique, et chacune des musiques est également associée à des animations génératives s’animant au même rythme que son match.

une expĂŠrience sensorielle de consommation

Figure 25 Images de lâ&#x20AC;&#x2122;US Open Sessions Interface web et installation

Conclusion Retour sur mĂŠmoire et sur la proposition de grand projet professionnel

Conclusion

Dans cette conclusion nous effectuerons un rappel du contexte macro-économique de l’objet de ce mémoire, puis nous expliquerons comment, grâce à la solution proposée en deuxième partie, nous espérons répondre à la problématique du dossier de recherche. Dans l’introduction nous nous interrogions sur l’expérience sensorielle d’une écoute musicale et sur son pouvoir évocateur. Pourtant, nous avions reconnu en connaître très peu de la nature de cette expérience émotive. Face au constat que nous entrions dans une ère de l’émotion et que son suivi en temps réel semblait possible grâce à l’avènement des technologies émotives, nous posions la question suivante : comment repenser en profondeur l’expérience d’écoute musicale en streaming ? Nous nous sommes dans un premier temps concentré sur l’étude du contexte environnemental de chacun de ces domaines afin de définir objectivement les opportunités et les risques de chaque sphère. En réalisant cette étude nous avons constaté que les domaines de la musique, de l’émotion, mais également de la technologie, pouvaient se rejoindre dans une même démarche. Plus précisément nous avons établi que la musique représente un stimulus émotionnel puissant et que le marché de l’écoute en ligne est en passe de devenir majoritairement streaming, avec un fort intérêt pour l’offre personnalisée. Nous avons aussi pu mettre en lumière les avancées de ces dernières décennies en terme de connaissance émotionnelle et d’informatique affective. Ainsi nous avons constaté que la notion émotive intégrait de plus en plus nos interfaces ce qui laissait présager des technologies émotionnellement conscientes, si ce n’est intelligentes. Nous avons cependant pu remarquer la difficulté d’une telle mesure et son aspect encore imprécis. Enfin nous avons pu attester de l’avènement des technologies portatives grâce à l’essor des objets connectés et des Big data dans le monde. Parallèlement à cet essor, on voit s’implanter dans les habitudes sociales une notion de mesure et le suivi de données d’activité personnelles, venant une fois de plus confirmer la tendance précédente. Face à ces multiples constats j’ai effectué une prospection de ce à quoi pourrait ressembler la réponse à la problématique «Comment repenser l’expérience de consommation musicale en streaming grâce aux technologies émotives ?». Pour cela j’ai soulevé plusieurs hypothèses. La première était que pour réinventer l’expérience musicale en streaming, il fallait placer le consommateur dans un nouveau système

Conclusion

où il était activement impliqué et où il devenait créateur. Nous avons pu confirmer cette supposition en mettant en lumière le besoin expressif en hausse des consommateurs et la possibilité de se redéfinir que cela lui offrait. La seconde hypothèse de l’étude analytique de corpus était que pour repenser son utilisation, il fallait considérer l’écoute musicale comme une expérience émotionnelle narrative. Nous avons à ce propos démontré le fort pouvoir évocateur narratif de la musique, permettant à notre imaginaire de créer des récits fictifs. Ces récits d’interprétation sensoriels sont dictés par notre cognitif inconscient, nos émotions. Enfin nous avons pu introduire la dernière partie de notre mémoire en expliquant pourquoi cette problématique était une problématique de design, par l’enjeu que représentait la visualisation et l’exploitation de données abstraites. En troisième et dernière lieu, nous avons introduit un projet de clip biométrique pour répondre à notre problématique initiale. Ce clip serait une expérience Web physiologiquement interactive qui inviterait l’auditeur à voyager au cœur de ses émotions pendant le temps de l’écoute. Ainsi, ce voyage serait représenté sous la forme d’un récit immersif individuel et singulier représentant la réaction émotionnelle de chaque consommateur à l’écoute d’une musique, son interprétation en somme. Chaque consommateur aura donc une expérience émotionnelle de consommation différente. Les émotions de l’utilisateur seront extraites en temps réel, via un appareil portatif assumant un suivi émotif, puis transcrites, et enfin générées sous une forme abstraite et symbolique dans un cadre architectural établi. Cette expérience veut impliquer plus profondément les consommateurs dans un acte d’écoute en ligne qui est devenu aussi simple que banal. Pour que l’expérience soit particulière il faut que l’utilisateur y prenne entièrement part, il ne doit pas seulement entendre mais écouter, vivre le morceau. L’expérience veut aussi mettre en lumière les perspectives de la connaissance en temps réel des émotions dans l’industrie de la musique en ligne. Effectivement, cette compréhension pourrait permettre la détection de modèles musicaux plus à même de nous émouvoir, et donc de nous être recommandé par les plateformes de musique en streaming. Plus largement, l’expérience veut encourager une consommation active de l’auditeur, et valoriser un fonctionnement plus transparent entre diffuseurs et consommateurs.

Conclusion

Dans le cadre d’une campagne de marketing expérientiel et sensorielle, cette expérience de visualisation narrative pourrait à mon sens, permettre de repenser la consommation de musiques streaming en attirant l’attention des consommateurs sur l’enjeu spécifique de la connaissance en temps réel des émotions, et de quelle manière cela pourrait améliorer la qualité de leur expérience en ligne. Si cette expérience se révélait concluante, on pourrait imaginer bien d’autres applications liées à la création que des technologies émotionnellement intelligentes pourraient venir repenser. Pourquoi ne pas envisager des récits dont la structure narrative s’organiserait en temps réel en fonction de la réponse émotionnelle de son auditoire ? Une nouvelle forme de Motion Design intelligent ?

Merci.

Bibliographie Les références de cette bibliographie sont organisées dans l’ordre de leur apparition dans ce mémoire

Bibliographie

« Émotions et narration interactive #1 », article extrait du livre « la Narration Réinventée », Benjamin Hoguet, https://medium.com/interactivite-transmedia/emotions-et-narration-interactive-1-5f4ed19c839c#.3dot5snoo “Le streaming donne un coup de fouet au marché de la musique“, Le Monde, article de Alain Beuve-Méry,

3 fevrier 2015, http ://www.lemonde.fr/economie/ article/2015/02/03/le-streaming-donne-un-coup-de-fouetau-marche-de-la-musique_4568606_3234.html

“Le futur du streaming est-il la personnalisation des services ?“, mybandnews, article de Romy Roynard,

8 janvier 2015, http ://mybandnews.com/2015/01/ futur-du-streaming-il-personnalisation-services/

“ Sémioliogie de la musique ”, la définition Wikipedia, https ://fr.wikipedia.org/wiki/S%C3%A9miologie_de_la_musique “Emotion and the Experience of Listening to Music, A Framework for Empirical Research”, doctor Degree of

Matthew Montague Lavy, avril 2011, http ://www.hugoribeiro.com.br/biblioteca-digital/Lavy-Emotion_Experience_ of_Listening_Music.pdf

“Wearing emotions : physical representation and visualization of human emotions using wearable technologies”, Salvatore Iaconesi, Université de Rome la Sapienza

“We Know How You Feel”, The New Yoker, Magazine du

19 Janvier 2015

“Human face is a window into our emotions”, Conférence TED de Rana el Kaliouby, mai 2015

“Toward tech that can understand how we’re feeling”,

article du Blog TED du 28 mai 2015

“Affective Computing”, Rosalind W Picard, 1995, MIT

Media Lab

“Taking the (Often Imprecise) Measure of Stress”, article du 16 novembre, New York Times, http://well.blogs. nytimes.com/2015/11/16/taking-the-often-imprecise-measure-of-stress/?smid=tw-share “The Future of Wearable”, Piers Fawkes

Bibliographie

“The Mood-Aware Internet of Things“, article du blog d’Affectiva, http ://www.affectiva.com/blog/ the-mood-aware-internet-of-things/ “Gartner Says 4.9 Billion Connected“Things“ Will Be in Use in 2015 ”, article du November 11, 2014, http ://www.

gartner.com/newsroom/id/2905717

“Quantified Self ”, définition de Wikipedia, https:// fr.wikipedia.org/wiki/Quantified_self

“Interface empathique”, définition de Wikipedia, https:// fr.wikipedia.org/wiki/Interface_empathique

« Wearable Technology Gets Emotional », article de Anna Medaris Miller, le 9 juillet 2015 http://health.usnews.com/health-news/ health-wellness/articles/2015/07/09/ wearable-technology-can-now-detect-your-emotions

« Beyond Wearables: New Frontiers in Interactive Tech »,

article du site Wired http://www.wired.com/insights/2015/02/ beyond-wearables-new-frontiers-in-interactive-tech/

« Improving the Customer Experience Through Big Data Analytics », article de Michael Abramow, Mars 2014 http://www.gartner.com/newsroom/id/2905717

« Wearable technology: In the advertising industry », article de Zensorium Wearable Technology, du 13 octobre 2015 http://blog.zensorium.com/ wearable-technology-in-the-advertising-industry/

“Évolution de la société : quel avenir pour les émotions ?”,

de Klaus Scherer

« Exploring consumer motivations for Creating UserGenerated Content », de Terry Daugherty, Matthew S.

Eastin, et Laura Bright, 2008

“Introduction To Intuitive Content Creation», Intel, http:// iq.intel.com/introduction-to-intuitive-content-creation/ « Production & Consumption of Music », livre édité par Alan Bradshaw et Avi Shankar

Bibliographie

« Stéphane Mallard : L’Intelligence Artificielle et le deep learning vont révolutionner le monde », article du FintechMag, 3 décembre 2015, Intel, http://fintech-mag.com/ stephane-mallard-societe-generale-lintelligence-artificielle-et-le-deep-learning-vont-revolutionner-le-monde/

« Emotions in decision-making » de Wikipédia, https:// en.wikipedia.org/wiki/Emotions_in_decision-making

« Decisions Are Emotional, not Logical: The Neuroscience behind Decision Making », article de Jim Camp, http://

bigthink.com/experts-corner/decisions-are-emotional-not-logical-the-neuroscience-behind-decision-making

« Emotion and the Experience of Listening to Music - A Framework for Empirical Research », thèse de Matthew Montague Lavy, Jesus College, Cambridge http://www. hugoribeiro.com.br/biblioteca-digital/Lavy-Emotion_ Experience_of_Listening_Music.pdf

“13 exemples de marketing sensoriel réussi et raté“, article de Gabriel Dabi-Schwebel, le 26 juin 2013 https ://www.1min30.com/content-marketing-inboundmarketing/13-exemples-de-marketing-sensoriel-reussi-etrate-5507the-mood-aware-internet-of-things/ Autres

«Emotions and Decision Making», pour «the Annual Review of Psychology», Jennifer S. Lerner, Ye Li, Piercarlo Valdesolo, Karim Kassam - Harvard University «Faces of Product Pleasure: 25 Positive Emotions in Human-Product Interactions», article universitaire de Pieter M. A. Desmet

«EEG Emotions recognition», thèse de Master de

Stian P. Kwaale, Norvegian University of Technology and Science

«Estimation de la réponse émotionnelle», DESS d’Evelyne Chaptas, ENSSIB / Université Claude Bernard Lyon I

« Design Génératif & Expérimentations Interactives»,

Alexandre Rivaux, Digital Lab S01