Kerinska+IMAGES

Échanges poétiques entre texte et image dans l’art numérique Nikoleta Kerinska 1 Textures du numérique. Février 2010

___________________________________________________________________________

« Diriez-vous que le corps est l’image tandis que le texte est l’âme1 ? » Cette question posée par Jean-Luc Nancy suggère une réflexion sur la nature du texte et de l’image, dans une relation comparative et en même temps différentielle ; elle nous servira comme point de départ de notre analyse. La relation étroite, mais opaque, entre le texte et l’image, ainsi que les possibilités d’échanges poétiques entre eux sont devenues l’une des obsessions de l’art d’aujourd’hui. Dans le domaine de l’art numérique, en vertu de ses spécificités opérationnelles, ce thème s’annonce comme le point névralgique des recherches actuelles. Certaines créations numériques, comme Riot de Mark Napier2 ou Form Art de Alexei Shulgin3, sont des exemples par excellence de l’échange productif entre le texte et l’image dans des projets d’art numérique.

Notre idée est d’interroger le texte considéré comme une structure génératrice d’images, et l’image comme une texture porteuse du visible et du tactile.

Ces deux systèmes dépliés dans le régime numérique deviennent des codes intermédiaires, susceptibles de transformations constantes. L’image et le texte, souvent retrouvés dans des échanges plus que fructueux, sont aussi les deux moyens privilégiés de l’art numérique. Comment opèrent-ils et selon quels types de transitions, dans le cas précis de l’art numérique ? Quelles alternatives le numérique propose-t-il aux rapports au texte et à l’image, du point de vue de la perméabilité et de la fluidité des données dites numériques ? Peut-on affirmer que le texte et l'image, dans certaines œuvres numériques, incorporent les concepts à la fois de structure et de texture ?

Notre but est d’examiner ces questions à partir de l’analyse de deux projets d’art numériques : Toucher4 de S. Bouchardon, K. Carpentier, S. Spenlé et The

J.-L. Nancy, Au fond des images, Paris, éd. Galilée, 2003, p. 130. http://www.potatoland.org/riot 3 http://www.c3.hu/collection/form 4 http://www.to-touch.com 1 2

1

Wanderer5 du groupe SD Vila. Le numérique dans ces cas est considéré comme un milieu d’expérimentations artistiques, et peut être envisagé comme un véhicule d’idées qui opère entre le virtuel et le fictionnel.

Texte et image en régime numérique Actuellement, le texte et l’image comme sujet d’étude et de création dépassent largement les bornes de leurs domaines d’origine, en se transformant en thèmes complexes que nous ne pouvons aborder qu’à partir d’une délimitation préliminaire du terrain de réflexion. Par conséquent, il nous semble nécessaire de revisiter la signification de la conjoncture image et texte en régime numérique. Il s’agit de toutes les créations de ce genre qui sont conçues par le biais des techniques assistées par ordinateur. Dans le cas présent, l’expression régime numérique a un sens restrictif – elle fait référence aux images et aux textes qui n’existent qu’en milieu numérique. Autrement dit, les images et les textes produits numériquement et destinés à l’imprimerie, à la télévision et à la vidéo ne sont pas pris en compte, puisqu’une fois ôtés du milieu numérique, ils perdent leurs caractéristiques les plus significatives.

En utilisant l’expression régime numérique, nous souhaitons désigner l’ensemble des conditions qui définissent la création, la manipulation, la transmission, le stockage et la visualisation de l’image et du texte opérés à l’aide de l’ordinateur. Sans porter un intérêt particulier à la technologie numérique du point de vue pratique, nous admettons qu’elle est la base matérielle qui nous permet de considérer l’image et le texte en régime numérique comme une catégorie singulière, celle des signes décrits par des données d’information. Ainsi, le régime numérique désigne surtout le mode existentiel du texte et de l’image comme des flux d’information.

D’une manière générale, l’univers numérique est un univers constitué d’informations codées et son essence peut être très bien saisie dans la phrase de Sven Spiker : « l’information est tout simplement ce qui n’a pas deux significations, tout ce qui n’est pas équivoque6 ». À partir de cela, nous pouvons définir l’univers numérique comme un univers formel dans lequel tous les objets ont une description univoque et où toutes les actions correspondent aux opérations exactes.

La nature logico-mathématique de l’univers numérique présente une structure concrète qui détermine l’organisation des éléments et les rapports entre eux. Dans cette structure, toute commande exprime une volonté, entraîne une réponse et déclenche une série de choix et de possibilités.

Pour discuter le statut du texte numérique, Jean-Pierre Balpe explique qu’ « un signe linguistique n’existe que par le signifiant graphique ou phonique qui le http://www.luzcom.com.br/andarilho/abstract.htm S. Spieker, « L’image électronique dans l’espace : Jeffrey Shaw avec Ilya Kabakov », in L'art a-t-il besoin du numérique ?, J.-P. Balpe, M. d. Barros (dir.), Cachan, éd. Hermès science, Lavoisier, 2006, p. 46.

5 6

2

donne à lire » et il ajoute que « l’informatique remet précisément en cause cette composante matérielle du signe7 ». Autrement dit, une fois qu’il est possible de manipuler le corps du texte, de le reproduire et d’intervenir tantôt au niveau des graphèmes, morphèmes, ou syntagmes, tantôt au niveau des signes graphiques et para-linguistiques, sa structure se déplie vers une mutabilité et un dynamisme typiques des systèmes numériques.

Il ne s’agit plus d’une structure qui résulte de l’écriture traditionnelle, mais d’une structure dans laquelle chaque signe peut présenter un lien potentiel vers un autre texte, vers une image ou un signe sonore. Ainsi, le mode d’écriture influencet-il directement le mode de lecture : le texte en régime numérique offre à son lecteur de multiples choix, il lui propose de choisir son parcours en cliquant sur des liens, le lecteur fait ainsi sa propre lecture. Le texte devient alors un tissu nonlinéaire, rhizomatique, multidimensionnel, dans lequel comme l’indique Pierre Lévy « toute lecture est un acte d’écriture8 ».

Le texte numérique, non-linéaire, est bel et bien connu sous le terme d’« hypertexte ». Le préfixe « hyper » exprime à juste titre l’idée d’une complexité du plus haut degré, liée aux possibles déploiements de la structure textuelle. Balpe définit le texte informatique comme : « mobile, engendrable, instantané, interactif, délocalisé9 ». À cette description, nous pouvons ajouter que le texte informatique est toujours un hypertexte potentiel, c’est-à-dire un tissu de signes mutable, interactif, ouvert et interconnecté, qui se configure et reconfigure comme une métastructure en fonction des interventions de ses lecteurs et de leurs dispositifs numériques.

De son côté, l’image en régime numérique est avant tout l’expression d’une opération logique exécutée par l’ordinateur, elle est la matérialisation sur l’écran d’une description mathématique. Lev Manovich décrit l’image numérique comme une image qui consiste en deux niveaux : le premier comprend sa surface visible sur l’écran et le deuxième fait référence au code sous-jacent exécuté par l’ordinateur10.

Autrement dit, l’image numérique est en même temps une structure décrite par le langage mathématique et une texture composée de points lumineux. Éphémère et instantanée, l’image numérique est constamment recomposée dans ses modes de visualisation. Son format peut être facilement manipulé sur l’écran de manière à ce qu’au cours de chaque visualisation une nouvelle composition se configure. Malgré le cadre concret de l’écran et le format prédéfini de l’image, ses dimensions et proportions deviennent des données souples et incertaines. Cette perte du format fixe de l’image, et par conséquent de son centre en termes géométriques, l’ouvre vers une texture malléable, dans laquelle le détail est d’une importance impérative et dont l’unité dernière est le pixel. Ainsi nous J.-P. Balpe, « Présentation », in L'Imagination informatique de la littérature, J.-P. Balpe, B. Magné, A. Abeillé (dir.), Paris, éd. Presses universitaires de Vincennes, 1991, p. 14.

8 P. Lévy, http://hypermedia.univ-paris8.fr/pierre/virtuel/virt3.htm 9 J.-P. Balpe, op. cit., p. 15.

10 L. Manovich, The language of new media, Massachusetts, éd. Massachusetts Institut of Technology, 2001, p. 289.

7

3

pouvons affirmer que l’image numérique du point de vue de sa description correspond à un code exact ; nonobstant, du point de vue de sa surface visuelle, elle n’est jamais la même.

C’est exactement en fonction de ce caractère intermédiaire que Jacques Lafon appelle l’image numérique une « surface interface11 ». « Surface », car elle s’exhibe sur l’écran dans toute potentialité de son apparence ; « interface », car elle rend possible la communication entre l’intérieur et l’extérieur, entre le monde logique de la machine et la réalité phénoménologique de l’homme. La métaphore qui correspond à cette image selon Lafon est celle de l’« ange ». Un ange est un être intermédiaire, qui communique entre le monde des hommes et celui des Dieux, de même l’image numérique est cet « ange-image », « messager entre le monde sensible et le monde intelligible12 ».

Il s’agit donc d’une image qui dépasse les bornes du visuel pour incorporer dans son mode existentiel le code. Le code conserve toute l’information nécessaire pour que l’image existe ; grâce à lui, l’image devient un objet numérique qui peut exister dans la mémoire de la machine sans être évoquée sur l’écran, c’est-à-dire sans prendre une forme visuelle. En considérant ces particularités de l’image en régime numérique, nous pouvons affirmer qu’elle est à la fois une structure et une texture.

Ouvertures poétiques Les deux œuvres d’art numérique concernées par notre réflexion sont notamment Toucher, publiée dans le numéro 2 de la revue de littérature hypermédiatique BlueOrange et signée par Serge Bouchardon, Kevin Carpentier et Stéphanie Spenlé, et The Wanderer, développée par le groupe artistique SD Villa sous la coordination de l’artiste multimédia Anna Barros. Ces projets interpellent notre attention par l’intérêt qu’ils portent au texte comme matière artistique, ainsi qu’au rapport entre texte et image comme échange poétique. Leurs modes fonctionnels nous offrent également la possibilité d'interpréter et d'analyser les concepts de texture et de structure dans la perspective de l'art numérique. Le logos, dont la matérialisation est l’écriture d’un texte, est le sujet privilégié de ces quêtes artistiques.

Toucher – le logos tangible L’acte de toucher suscite le sens, le contact physique, le frémissement de la matière, en somme la sensation de texture. Transposé dans l’univers numérique, le toucher est une expérience, quoique paradoxale, et un défi lancé aux principes de la perception. L’idée de toucher une image ou une interface en ligne, c’est-à-dire d’avoir une sensation de matière, nous amène à réfléchir sur la texture produite numériquement.

11 12

J. Lafon, Esthétique de l'image de synthèse, Paris, éd. L'Harmattan, 1999. p. 16.

J. Lafon, Ibid., p. 16.

4

La notion de texture numérique se fait particulièrement présente dans l’œuvre numérique Toucher. Le parcours ludique débute par le dessin d’une main qui nous invite à la toucher ; au bout de chaque doigt une marque digitale une fois effleurée nous suggère des actions : mouvoir, caresser, taper, étaler, souffler, frôler. Ces verbes sont écrits dans la paume de la main comme des présages ; chacun est un lien vers un tableau dans lequel une lecture poétique s’établit. Si nous commençons par le pouce, c’est le tableau Mouvoir qui s’ouvre avec la question : « qu’est-ce qui me touche quand tu me touches ? », c’est le début d’un texte engendré à partir d’une structure malléable de questions et de réponses, qui se composent et décomposent pendant notre interaction avec les mots. Les gestes transforment les graphèmes en taches qui bougent, et dans ces mouvements de nouvelles phrases se forment. Nous suivons le texte, il y a presque un dialogue, ou plutôt un monologue intime qui se configure ; une maille textuelle dans laquelle le sens se métamorphose en images, qui retournent vers le sens. C’est la lecture cyclique d’un texte dans lequel on se perd.

Chaque tableau propose une façon différente de toucher. Dans le tableau Caresser, par exemple, le toucher est une révélation : lorsque l’on bouge la souris, au fur et à mesure, un tissu cellulaire forme une silhouette qui pousse des soupirs sensuels.

C’est un corps que l’on touche ; en le touchant, on le dessine, on le fait exister ; c’est lui qui répond aux gestes lorsqu’on le caresse. La notion de texture numérique prend ainsi forme, l’interface devient ellemême cette texture à la fois lumière et matière simulée lorsqu’on interagit avec elle.

Serge Bouchardon, Kevin Carpentier, Stéphanie Spenlé, Toucher, 2009, œuvre interactive sur Internet, http://www.to-touch.com © S. Bouchardon, K. Carpentier, S. Spenlé

Ensuite, la souplesse du geste est mise en contraste dans le tableau Taper. Un texte se déplie devant nous pour être lu, mais le vol futile d’une mouche nous empêche de le suivre. La mouche survole le texte, en éparpillant des graphèmes qui s’y superposent, qui se mélangent avec lui. Une couche se forme. C’est une texture visuelle, irrégulière et mobile, composée de signes graphiques, qui se tisse devant nous yeux. Il faut frapper la mouche, il faut la chasser pour atteindre le texte. Quand on frappe, on entend un bruit de verre cassé, quelque chose se brise ; cette sonorité évoque une toute autre notion de matérialité. Nous nous retrouvons devant une texture numérique au plein sens du terme, une texture simulée ou plutôt qui simule.

Superposés, le texte, l’image et le son s’entrelacent pour constituer l’idée d’une texture inter-médiale, autrement dit, un tissage de médias différents.

5

Par ailleurs, l’œuvre se déplie dans des interfaces qui sollicitent le spectateur : images constituées par les mouvements de la souris et leurs correspondances sonores ; phrases volantes et sensibles au souffle ; signes qui répondent aux mouvement de notre corps. C’est une œuvre qui évoque le geste de toucher. Cet acte devient ainsi synonyme de l’acte de lecture. Toucher implique de lire une interface, de la découvrir en essayant ses potentialités poétiques, alors on touche avec son regard, avec son expiration et surtout avec son esprit. C’est là où l’expérience ludique s’accomplit pour faire valoir la phrase de Mitchell : « S’il n’y avait plus d’esprits, il n’y aurait plus d’image, qu’elles soient mentales ou matérielles13 ».

Le sens courant du terme texture dans l’art fait référence à « la qualité visuelle qui permet d’identifier un matériau » et elle décrit à la fois l’apparence de l’objet représenté et la propriété de la surface du tableau14. Ces deux significations du terme texture précisées par Anne Beyaert comme la « chair du monde » ou « chair de la peinture15 », dans le cas de l’image numérique se retrouvent réunies par le concept de simulation. Il faut rappeler que d’un côté l’image numérique est une texture-lumière tissée dans la grille de pixels de l’écran, d’autre part elle peut être aussi un modèle censé incorporer dans sa structure d’autres codes expressifs. Ces codes expressifs ont pour but la simulation de la matérialité, et leur développement est directement lié à la notion de texture comme quelque chose de perceptible par les sens. La simulation numérique comprend le plus souvent trois niveaux de réalisation : visuel, sonore et tactile16. Selon notre compréhension, la texture numérique du point de vue artistique peut être définie comme la notion qui regroupe ces indices de matérialité aperçus lorsque l’on interagit avec une image numérique.

The Wanderer – le logos vivant Le verbe anglais wander peut être traduit en français comme se balader, traîner, errer ou parcourir, par conséquent un wanderer est quelqu’un qui se promène, qui se balade – un aventurier, un voyageur, un flâneur. Dans le cas présent, le flâneur est un être numérique, qui vit, évolue et se développe en ligne. Les espaces qu’il parcourt sont à la fois virtuels et fictionnels : il existe effectivement sur le réseau Internet comme un être interconnecté, alors que conceptuellement son espace d’action est la langue portugaise, où il constitue des rapports associatifs entre différents mots, qui nous amènent vers l’idée du parcours fictionnel.

The Wanderer est un d’un projet d’art défini par ses créateurs comme work in progress, dont la proposition artistique est l’élaboration d’un logiciel capable de générer automatiquement des mots et de les organiser ensuite en forme de tissu W. J. T. Mitchell, Iconologie. Image, texte, idéologie, Paris, éd. Les prairies ordinaires, 2009, p. 56.

A. Beyaert, « Texture, couleur, lumière et autres arrangements de la perception ». http://www.erudit.org/revue/pr/2003/v31/n3/008439ar.html#no1 15 A. Beyaert, Ibid.

16 La simulation olfactive est expérimentée dans certaines installations hors ligne, mais elle reste assez rare.

13 14

6

textuel. Les principes selon lesquels opère le logiciel sont établis à partir des lois génétiques primaires, à savoir : accouplement, sélection, survie et mort. La première composition textuelle traitée par le logiciel est constituée de 100 mots suggérés par quelques internautes. Connectés sur le site du projet, les internautes écrivent aléatoirement des mots qui correspondent à leurs expériences émotionnelles ce jour-là. Ces mots sont analysés par le logiciel en terme de préfixe et de radical, et mis en relation pour produire ainsi la première génération de mots nouveaux. Les mots les plus souvent écrits par les internautes, sont les mots qui survivent, de façon analogique à sélection naturelle. Par conséquent, ils deviennent la base génétique de la procréation, alors que les mots moins écrits tombent dans l’oubli progressivement jusqu’à disparaître. De cette manière, à l’aide d’algorithmes imitant la génétique, le logiciel est capable de produire des textes évolutifs17.

L’enjeu esthétique de ce projet est de générer de nouveaux mots sans compromis avec ceux qui existent déjà dans la langue vernaculaire du Brésil. Il s’agit donc d’une expérience autour de la sonorité de la langue portugaise, ainsi que d’une possibilité de construction des signifiés amplifiés et associatifs qui ont pour principe la logique de combinaisons de préfixes et radicaux grecs et latins. The Wanderer est un organisme langagier qui établit une analogie entre l’évolution du langage et de la vie naturelle en mettant en évidence le concept de structure. Les principes de l’organisation cyclique de la vie et la manière dont est formé un ensemble naturel sont utilisés pour manipuler une langue naturelle en respectant la logique de sa structure.

SD Vila, sous la coordination d’Anna Barros, The Wanderer, 1999-2000, œuvre interactive sur Internet, http://www.luzcom.com.br/andarilho/abstract.htm © SD Vila, Anna Barros

Dans un premier moment, le texte est envisagé comme un système de signes composant un tissu narratif. Dans ce tissu narratif, chaque mot est un univers de sens, dont les nombreuses acceptions déclenchent des potentialités poétiques. Une association avec la description de Jean Brun peut être faite : « tout mot est une constellation, d’une part parce que comme elle il est composé d’étoiles visibles et invisibles dont l’ensemble se détache sur un ciel qui n’est autre que celui du langage, et d’autre part parce que la lumière qu’il répand a mis, elle aussi, des siècles pour parvenir jusqu’à nous, après avoir parcouru des espaces au sein desquels elle revêtit des colorations multiples18 ». Ainsi, le texte se présente comme une possible cartographie de l’insaisissable firmament appelé langage.

17 18

Grupo SD Vila, The wanderer, Anais, X Encontro nacional de ANPAP, San Paulo, 1999, vol. 2, p. 209.

J. Brun, L'Homme et le langage, Paris, éd. P.U.F., 1985, p. 30.

7

Dans un deuxième moment, le texte se déplie comme un corps, il est l’apparence, la présence visuelle de cet être numérique. Modélisées en trois dimensions, les lettres, telles des cellules, se regroupent pour composer les mots, moitié rouges moitié noirs. Il y a un spectacle du sens visuel, du contraste et de la couleur. Cela rappelle l’affirmation de Barthes selon laquelle le texte est après tout « un objet, perceptible par le sens visuel19 ». Néanmoins, dans ce cas, le texte est une structure vivante, qui change constamment, qui dépasse le lisible pour aller chercher ses principes de lecture vers l’image. À mesure que les caractéristiques visuelles du texte se superposent à sa structure narrative, nous pouvons affirmer qu’il y a un texte qui devient image dans le sens où une logique différente s’impose. D’après la thèse de Gottfried Boehm, l’image possède une logique propre. Il la définit ainsi : « Par logique, nous entendons l’engendrement cohérent de sens à partir d’authentiques moyens iconiques. Et pour explication, j’ajoute que cette logique est non prédicative, ce qui veut dire qu’elle n’est pas formée sur le modèle de la proposition ou d’autres formes langagières. Elle n’est pas parlée mais réalisée en étant perçue20. » Le texte est ainsi saisi comme image, comme ce qui se montre, qui s’exhibe.

Ces œuvres posent des questions diverses : où est la limite entre le littéraire et le visuel ? Y a-t-il des principes communs entre la lecture d’un texte et une image ? Est-il possible de parvenir à une définition des genres des œuvres numériques en ligne malgré leur hétérogénéité ? Ces questions impliquant un débat plus vaste resteront ici ouvertes. Tout en ayant conscience qu’il n’est pas possible d’épuiser la problématique de l’échange entre texte et image en régime numérique, non plus que leurs rapports aux concepts de structure et texture, nous terminerons avec deux observations : 1. Le texte, dans les projets d’art numérique, est susceptible d’assumer diverses formes de présentation. Il révèle ses potentialités visuelles en imposant ainsi d’autres manières de lectures et de jugement. Visuellement malléable et capable de fournir des lectures non-linéaires, le texte numérique se penche vers ses origines sémantiques, à savoir le verbe latin textere, dont la signification littérale est « tramer, entrelacer21 ». Il s’ouvre vers une méta-structure, qui se déplie dans plusieurs directions pour construire un tissu fluide et perméable. Fluide pour pouvoir assumer la forme de son contenu et pour s’échapper à l’aide de ses propres liens ; et perméable pour sa capacité d’incorporer des signes ontologiquement différents tels les images et les sons.

R. Barthes, « Théorie du texte », http://asl.univ-montp3.fr/e41slym/Barthes_THEORIE_DU_TEXTE.pdf [consultation : 11/11/2009].

20 G. Boehm, « Par-delà le langage ? Remarques sur la logique des images », Trivium, n°1, 2008. http://trivium.revues.org/index252.html [consultation : 28/06/2009].

21 A. Rey, Dictionnaire historique de la langue française, Paris, éd. Le Robert, 2006, vol. 3, p. 3810.

19

8

2. De son côté, l’image est cet être fugace qui résulte du double mouvement entre structure et texture et qui est capable de simuler la notion de matérialité. A partir de cette idée, nous pouvons développer l’hypothèse de l’image comme une texture inter-médiale, qui s’engage à fournir une dimension tangible dans les ambiances virtuelles en entremêlant des médias divers. Il s’agit d’une texture qui rend possible l’échange entre les univers physique et virtuel, une texture-membrane.

Le texte et l’image, dans les projets d’art numérique, évoluent à la fois comme des gestes, porteurs du sensible et du poétique et comme des calculs, porteurs de l’abstraction pure du langage mathématique. Ils nous parlent alors par la voix antagonique de leurs natures : l’image par sa potentielle textualité et le texte par ses qualités d’objet visuel.

___________________________________________________________________________ Sauf mention contraire, tous les textes et toutes les images sont assujettis aux lois sur le copyright (propriété de l’auteur).

Si vous voyez sur ce site des images dont vous détenez les droits, veuillez nous en faire part, elles seront retirées du site immédiatement.

Pour citer cet article, indiquez cette adresse : http://reelvirtuel.univ-paris1.fr/index.php?/revue-en-ligne/n-kerinska/

9