DOKUMENTATION FABIAN LAFFITTE
SEARCHING FOR THE SOUL
POTENTIAL FOR GENERATING JEWELLERY IN AI
DOKUMENTATION
XS Schmuck
Künstlerisch-gestalterische Bachelorarbeit FS 2023
Hochschule Luzern Design & Kunst
Mentorinnen:
Anina Schenker
Thai Hua
Ilona Schwippel
Christoph Zellweger
Fabian Laffitte
Lindenhausstrasse 15d
6005 Luzern
Tel. 078 710 30 22
fabianlaffitte@hotmail.com
MOTIVATION ERSTE VERSUCHE HYPER CHRONICLES AUKTION GENERATIVEADVERSARIALNETWORKS PRÄSENTATION FAZIT DANK 8 10 24 28 32 54 60 62
Schmuck braucht Seele, sagt Fabian Laffitte, aber wie sucht man nach der Beseeltheit von mit künstlicher Intelligenz generierten Bildern? Fabian hat es probiert, legt seinen Prozess offen und zeigt seine Erkenntnisse als kuratierte Inszenierung von 2 ½ dimensionalen Reliefs. Ist kein Schmuck, sagt er, aber er sieht Potenzial. Sein Misstrauen gegenüber der Zufälligkeit, der Banalität und Inhaltslosigkeit der Tools überwiegt. Ohne künstlerische Intention, sagt er, offeriert KI unendlich viele Oberflächen, die uns auf der Suche nach Seele und Essenz eher ablenken als hinführen.
MOTIVATION
8
An Weihnachten hat mein Cousin am Familientisch von ChatGPT erzählt, einer textgenerierenden künstlichen Intelligenz, und wir haben alle auf seinem iPad absurde und ernste Themen ausprobiert. Das hat mich sofort fasziniert und tagelang beschäftigt. Ich habe gewusst, dass künstliche Intelligenz in vielen Bereichen des Alltags vorkommt, aber ich hatte mich noch nie aktiv damit auseinandergesetzt und wenig von benutzerfreundlichen Programmen gehört. Zu dieser Zeit schien das Thema KI-Programme jedoch in allen Bereichen zu explodieren und ich entdeckte immer mehr KI-generierte Inhalte auf meinem Instagram. Dadurch wurde mein Interesse an künstlicher Intelligenz weiter geweckt und es kristallisierte sich langsam heraus, dass ich in meiner Bachelorarbeit mit künstlicher Intelligenz arbeiten wollte.
Meine erste Intention für diese Arbeit war die Suche nach einem Weg zur Schaffung einer Co-Working-Beziehung mit künstlicher Intelligenz. Die Bachelorarbeit und mit ihr meine Intention haben sich ständig verändert und sie wurde so zu einer prozessorientierten Arbeit sowie einer persönlichen Auseinandersetzung mit dem Wert der von der KI generierten Bilder. Die folgende Dokumentation zeigt meine Suche nach der Beseeltheit von Bildern und Objekten.
9
ERSTE VERSUCHE
10
Meine ersten Berührungen mit einer bildgenerierenden künstlichen Intelligenz hatte ich mit der KI Midjourney. Mit Midjourney kann man mit Prompts, das sind Textbefehle, mit Bildern und Prompts oder nur mit Bildern verschiedene neue Bilder erzeugen. In diesem Kapitel zeige ich einen Teil meiner ersten Versuche auf, die ich mit dem Programm erstellt habe.
11
Text Prompts: Keine
Bild Prompts:
Text Prompts: Variations, necklace, silver, shiny, polished, realistic, only chain, studio photography, modular chain,
Bild Prompts:
14
Design Recycling
Für die folgenden generierten Bilder habe ich drei Ausschnitte aus meiner Kollektion, die ich im zweiten Semester erstellt habe, verwendet. Diese Ausschnitte wurden in Midjourney in verschiedenen Kombinationen eingespeist, teilweise auch in Verbindung mit Textprompts.
Text Prompts: Ring
Bild Prompts:
Text Prompts: Keine
Bild Prompts:
15
Text Prompts: Wavy silver melted transforming to spikey ends, a lot of empty space, realistic contamporary jewelry sculpture, 8k, studio fotoshooting, symetric, frontal, plain backround, emptyspaces between the silver looking like color eyes
16
Zeichnung am iPad
Für diese Experimente habe ich zunächst mithilfe rein textbasierter Prompts ein Objekt generiert, das meinen Vorstellungen weitgehend entsprach. Anschliessend habe ich das generierte Bild auf dem iPad bearbeitet und erneut in Midjourney eingespeist.
Text Prompts: Keine
Bild Prompts:
Text Prompts: Keine
Bild Prompts:
17
18
Skizze Original
Skizze Original
Bei folgendem Versuch wollte ich aus sehr einfachen Strichzeichnungen Schmuck Skizzen generieren lassen.
Text Prompts: Jewelry design, hyper realistic, stable diffusion, silver, brushed
Bild Prompts:
Skizzen Varianten generiert aus den Originalen
19
Text Prompts: Round white sphere with extrem smooth flockfiber texture in front of green
Background without shadows
Bild Prompts: Keine
20
Material Experiment
Mit der Zeit hatte ich Schwierigkeiten damit, einfach nur zufälligen Output zu generieren, ohne viel daraus zu lernen. Also beschloss ich, simpel aufgebaute, physische Objekte zu suchen um sie möglichst genau mit KI zu visualisieren. Ich versuchte auch Objekte darzustellen, welche ich im Kopf hatte. So erforschte ich Möglichkeiten, genauer mit KI zu arbeiten und diese besser anleiten zu können.
Text Prompts: Ultra realistic, styrofoam structured, bone very simple stick shape, light pale background
Bild Prompts: Keine
21
Text Prompts: Silver sculpture
Bild Prompts:
Text Prompts: Keine
Bild Prompts:
22
Richtlinien
Bei der Arbeit mit Midjourney ist mir aufgefallen, dass die Anwendung sehr schnell abbricht, wenn irgendwo in einem Bildprompt “zu viel” nackte Haut vorkommt. Ich habe dann versucht, Bilder von Geschlechtsteilen mit anderen Referenzen zu generieren. Diesen Ansatz wollte ich bewusst nicht weiter vertiefen, da ich damit einen neuen, sehr grossen Teilbereich des Themas KI eröffnet hätte. Ich habe diesen Vorgang als gute Übung empfunden, wiederum genauer zu verstehen, wie KI angeleitet werden muss um gewünschte Resultate zu erzielen.
Text Prompts: Silver sculpture
Bild Prompts:
Text Prompts: Silver sculpture
Bild Prompts:
23
HYPER CHRONICLES
Alle Bilder mit Prompts in Midjourney generiert
Hyper Chronicles
Mit dieser Idee entstand mein erster kuratorischer Versuch mit dem Thema KI. Der Plan war Folgendes.
Ich wollte antik aussehende Bilder generieren, in denen Menschen zeitgenössisch konnotierten Schmuck tragen. Im Ausstellungskontext sollte ein Ort der Verwirrung entstehen, an dem poetische, physisch erstellte und gefälschte Überbleibsel des Konzeptschmucks präsentiert werden. Fragmente des, für diese Zeit, zu futuristisch aussehenden Schmucks sollten in Vitrinen ausgestellt werden, um einen Hinweis auf die Echtheit
Text Prompts: Old photography, black and white portrait, from the end of the 19th century before the 20th century, Young woman of the early 1890s, has a futuristic necklace from the 21th century, young moderne jewelry with highfashion style in style of virgil abloh, balenciaga jewelry, contemporary jewelry in style of contemporary art sculptures. The girl is sad and poor extreme contrast, shadows, hyper details, portrait, photography, black and white film, medium format camera, sharp focus on face, hyper realistic, ray tracing, global illumination, ambient light, a lot of grain, blurry
Text Prompts: Old style picture, slightly yellowed, woman wearing large experimental art sculpture on the head, Alexander McQeen Headpiece
Bild Prompts:
26
der erfundenen Geschichte zu geben. Durch die physischen Fragmente sollte das Storytelling betont und Verwirrung erzeugt werden. Meine Arbeit beschrieb somit eine fiktive Geschichte des Konzeptschmucks und wann dieser zum ersten Mal auftrat. Die Geschichte wurde verzerrt und neu geschrieben, und es wurde eine Aussage darüber gemacht, was passiert, wenn man nicht mehr Reales von Fiktivem unterscheiden kann. Die Problematik mit diesem Konzept bestand darin, dass ich als Autor der Arbeit keine klare Position hatte. Wie hätte ich mich in der Ausstellung dargestellt? Als hypotetischer Schmuckhystoriker? Autor einer fiktiven Schmuck Geschichte?
Text Prompts: Old photography, woman, elizabethan era, jewelry that looks like a modern sculpture, sculpture jewelry, geometric jewelry
Text Prompts: Old photography, woman, elizabethan era, jewelry that looks like a modern sculpture, sculpture jewelry, geometric jewelry
27
AUKTION
Generiertes Schmuckstück
Physisches Schmuckstück
Aufgefüllt mit Photoshop KI
Generiertes Schmuckstück
Auktion
Der Prozess der kuratorischen Möglichkeiten ging weiter. In diesem Experiment stellte ich die generierten Bilder in einen neuen Kontext. Ziel war es, mich an eine installative Ausstellungssituation heranzutasten, die meine relevanten Fragen am besten veranschaulicht. In dieser Situation sollten die Betrachtenden nicht mehr getäuscht werden und ich als Autor sollte mit meinen Aussagen eine prominentere Rolle einnehmen. Ich wollte eine Auktionssituation imitieren und die generierten Bilder als Schmuckstücke zu verkaufen. Der Trick dabei war, dass die Besucher*innen
30
der Ausstellung ein physisches Schmuckstück erwarteten, um dann mit einem Papierdruck mit Broschierung überrascht zu werden. Die Broschierung war ein erster Versuch, die generierten Bilder zu Schmuck zu machen. Der Wert der generierten Bilder im Vergleich zu antikem Schmuck, der Geschichte in sich trägt, wurde so in Frage gestellt. Dieser erste Versuch das Bild in ein physisches, tragbares Objekt zu transferieren war enteuschend, jedoch erbrachte dies eine sehr wichtige Erkenntnis: Dies war der falsche Ansatz, die generierten Bilder zu Schmuck zu machen. Der Transfer in die nächste Dimension müsste besser begründet werden.
31
GENERATIVE ADVERSARIAL NETWORK
32
Irgendwann wusste ich nicht mehr weiter. Die Bilder, die ich erzeugte, lösten in mir nichts mehr aus. Mit zunehmender Bekanntheit der bildgenerierenden KI und den überall zu sehenden Ergebnissen begann mich die immerzu gleiche Ästhetik zu langweilen. Ich suchte nach einer Möglichkeit, wieder Spass an der Arbeit zu haben und eine Spannung in den Bildern erzeugen zu können. Ich beschloss, mit eigenen Datenbanken zu arbeiten und mich von Midjourney abzuwenden. Dies in der Hoffnung, die Variabeln besser in der Hand zu haben und vielfältigere Resultate erzeugen zu können. Mit der Webseite Runway ML habe ich eine Möglichkeit gefunden, meine eigene KI zu trainieren, indem ich das Modell “Generative Adversarial Network” (GAN) benutzte. Im Anschluss aufgeführt, sind meine Experimente mit GAN’s bezüglich Form und Ästhetik von Schmuckähnlichen Objekten. Die Suche nach der Wertigkeit von generiertem Schmuck ging in die nächste Phase.
«Generative Adversarial Networks» bestehen aus zwei neuronalen Netzen, dem Generator und dem Diskriminator, die gegeneinander arbeiten. Der Diskriminator wird mit einer grossen Menge von Bilddaten trainiert. Wenn wir davon ausgehen, dass das Ziel ist, ein GAN zu entwickeln, welches Bilder von Ringen generieren soll, würden wir den Diskriminator mit sehr vielen Bildern von Ringen füttern und ihn trainieren, indem wir ihn alle Attribute wie Materialien, Farben, Formen usw. von Ringen lernen lassen. Wenn der Diskriminator ausreichend trainiert ist, kommt der Generator ins Spiel. Der Generator beginnt mit der Erzeugung des ersten «falschen» Bildes eines Ringes, das dem Diskriminator vorgelegt wird. Der Diskriminator entscheidet nun, ob es sich bei diesem Bild um ein «echtes» Bild handelt (aufgrund seiner erlernten Fähigkeit, einen Ring zu erkennen) oder ob es sich um eine «Fälschung» des Generators handelt. Der Diskriminator entlarvt den ersten «falschen» Ring und diese Information wird nun an den Generator weitergegeben. Mit dieser Information ändert der Generator selbstständig sein Verhalten und versucht es mit einer verbesserten Version einer «Fälschung» beim Diskriminator. Dieser Vorgang wird so lange wiederholt, bis der Generator ein Bild erzeugt, das als «echt» deklariert wird. In diesem Szenario erhält der Diskriminator die Information, dass er getäuscht wurde und ändert sein Verhalten, um «Fakes» besser zu erkennen.
33
DATEN BANK SCHMUCK
DATENBANK SCHMUCK
© Victoria and Albert Museum, London
Erster Lauf 900 Bilder 3000 Steps
dritter Lauf 1500 Bilder 3000 Steps
Steps
GAN SCHMUCK
fünter Lauf 781 Bilder 6000 Steps
38
GAN Schmuck
Ich habe eine Datenbank mit Bildern von Schmuck zusammengestellt, der mindestens 100 Jahre alt ist. Dafür habe ich 1500 Bilder aus der Museumdatenbank von Victoria and Albert Museum, London verwendet. Mein erster Versuch war es, mit den generierten Bildern, so nah wie möglich an echten Schmuck heranzukommen. Dafür habe ich den Datensatz und die Trainingszeit immer wieder angepasst und definiert. Die vier Bilder unten, wurden mit einem Datensatz von 781 Bilder mit 6000 Steps trainiert. Es war sehr spannend, aber ich wollte noch eine weitere Variable hinzufügen, um den Schmuck mehr zu verfremden.
39
GAN X-RAY
42
Gan X-Ray
In diesem Versuch spies ich einerseits Schmuckbilder, wie auch Röntgenbilder von Händen in eine GAN ein. Durch diese Mischung erhielt ich ganz neue Ergebnisse. Mich interessierte hier vor allem den Schnittpunkt zu erforschen, ab wann ein Bild als Schmuck gelesen wird. Die Röntgenbild-Datenbank ist auf Kaggle öffentlich zugänglich.
43
GAN FLOWERS
46
Gan Flowers
Hier mischten sich nun Blumen- und Schmuckbilder. Die Blumen-Datenbank ist auf Kaggle öffentlich zugänglich.
47
ARTBREEDER
50
Artbreeder
In dieser KI ist es möglich, verschiedene Bilddatensätze, genannt “Gene”, miteinander zu kombinieren und auf Bildern anderer Nutzer*innen aufzubauen. Diese Gene stellen einzelne GANs dar, die mit beliebig vielen anderen GANs kombiniert werden können. Während ich mit diesem Programm begann, Bilder zu generieren und parallel an meinen eigenen trainierten GAN Modellen zu arbeiten, erlangte ich wieder Freude an meiner Arbeit und den entstehenden Bildern. Es entstanden Abbildungen von Schmuck, die eine lustvolle Lebendigkeit ausstrahlten.
51
52
53
PRÄSENTATION
54
Ich begann, eine Sammlung von Bildern aus meinen verschiedenen Experimenten mit meinen eigenen GANs und denen von Artbreeder zusammenzustellen. Ich habe mich gefragt, wie und ob ich sie in ein physisches Objekt umwandeln kann. Schnell wurde klar, dass ich die Bilder nicht in Objekte umwandeln wollte. Aber ein reines Bild war mir nicht genug. Ich fragte mich: Was sind diese Bilder? Wie werden sie zu „echtem“ Schmuck? Sind sie schon Schmuck? Ich habe entschieden, dass sie Potenzial für Schmuck innetragen und ein Teil eines Prozesses darstellen.
Es ist meine finale Installation entstanden, die Teil des Konzepts ist und die widerspiegelt, wo ich nach diesem langen Prozess gelandet bin. Die gewählten Bilder sind auf eine Folie aufgezogen und in einem Verfahren über angedeutete 3D-Erhebungen tiefgezogen worden. Die Reliefs stehen für das Potential, welches diese Bilder haben, zu Schmuck zu werden. Die Objekte werden in ihrem rohen Zustand belassen und das Tiefziehverfahren ist sichtbar. Diese Entscheidung habe ich deswegen getroffen, um auf die prozesshaftigkeit meiner Arbeit hinzudeuten. Die Objekte sind an einem Tuch angebracht und erheben sich in die Luft, dies spricht für die Möglichkeiten, welche das Arbeiten mit KI in sich birgt. Ein offener Prozess ist installativ dokumentiert und wiederspiegelt den Schnittpunkt, wo ich Potential für beseelten und relevanten Schmuck sehe. Die Chaise Longue repräsentiert Langlebigkeit und verweist auf eine vergangene Epoche, in der die Schmuckstücke meiner Datenbank entstanden sind, die ich verfremdet habe und aus denen ich Neues geschaffen habe.
55
56
57
58
59
FAZIT
60
Das Ziel meines ersten Vorhabens war es meine Position als Gestalter mit KI zu definieren. Während des Projektprozesses wurde immer klarer, dass mit einem Werkzeug, das in der Lage ist, extrem schnell viel Output zu generieren, klare Entscheidungen getroffen werden müssen. Die Frage nach meiner Position erweiterte sich schnell zu der Frage, was für mich ein generiertes Bild mit Wert bedeutet. Diese grosse Frage spiegelt sich in meinem Titel “SEARCHING FOR THE SOUL” wider. Genauso schwierig wie diese Frage vollständig zu beantworten, ist es den Begriff der Seele zu definieren. Die Seele kann sehr individuell beschrieben werden. Deshalb ist diese Suche nach der möglichen Seele von KI-generierten Bildern eine sehr persönliche Arbeit geworden. Ich suchte nach Bildern, die eine Seele besitzen und in mir eine emotionale Reaktion hervorrufen können - Etwas, wonach ich seit dem Beginn dieses Studiums nun immer in Schmuck oder in Bildern suche. Dieses schwer fassbare Gefühl ist der Grund, warum ich Dinge immer wieder betrachten und besitzen möchte. Solche Dinge besitzen für mich einen emotionalen Wert. Diese Art des Suchens nach Sinn mit der eigenen Arbeit kann anstrengend sein und hat in diesem Fall zu einem unerwarteten Endergebnis geführt. Als ich mein Studium begann, hätte ich nie gedacht, dass mein Abschlussprojekt zu einer konzeptionellen Kunstinstallation wird. Dies zeigt, dass ich eine bedeutende persönliche Transformation in meiner Art kreativ zu Arbeiten durchlaufen habe.
61
DANKE
62
DANKE
An meine Eltern Margrit Seifried Laffitte und Claudio Laffitte, meiner Schwester Valeria Laffitte, meiner Freundin Jenny Christen und meinen Freunden für ihre bedingungslose Unterstützung und Geduld.
An Salome Bruggisser und meine Dozent*innen Thai Hua, Ilona Schwippel, Anina Schenker und Christoph Zellweger für ihren Rat und ihre Unterstützung
An Raisa Durandi für die zwei Fototage
An die Werkstattbeaufsichtigten der HSLU
An Barbara Bucher und Roger Duvoisin für die Chaise Longue
An meine Klasse, welche mir mit anregenden Gesprächen und Meinungen Hilfe leistete:
Nicole Eugster
Christiane Stock
Benedict Haener
Jenny Christen
Lea Tschanz
Tobias Bieri
Josephine Meylan
Kaja Saxer
63
