Gesture Interaction with Gesture Angelina Barkschat Bachelor Thesis Muthesius Kunsthochschule Industriedesign Sommersemester 2014
2
Gesture Gesture Interaction with Gesture Angelina Barkschat Bachelor Thesis Muthesius Kunsthochschule Industriedesign Sommersemester 2014 Betreut von: Prof. Frank Jacob Jens Ewald Fabian Hemmert Prof. Dr. Norbert M. Schmitz
4
Danksagung Auf diesem Wege möchte ich mich für die zuverlässige Unterstützung bei Prof. Frank Jacob, Jens Ewald, Fabian Hemmert, Chris Engler und Prof. Dr. Norbert Schmidt bedanken. Weiter Dank gilt meinen Freunden Daniel Hofmann,
Daniel
Krawutschke,
Lukasz
Ry-
binski, Jan-Niclas Matthes, Markus Albrecht, Mona Schünemann, Katharina Lüftner, Hannes Werner, Cedric Berndt, Anna-Lena Neugebauer, Sina Malin Carstensen, Melissa Vogel, Tatjana Liese, Callum Gordon, Morgan Hartley und Noemi Hartley; für hilfreiche Ratschläge, Geduld und Freude am Schauspielern.
6
Inhalt
8
Einführung
10
Definition von Gestik
12
Warum gestikulieren wir?
13
Parallele Entwicklung von Sprache und Gestik
14
Gestischer Ursprung der Sprache
15
Primatenforschung
16
Gesten – ritualisierte Handlungen
17
Klassifikation von Gesten
18
Referentielle, Performative und Diskursive Gesten
19
Wahrnehmung
20
Verhältnis Gestik und Sprache
22
Gesten sind Zeichen von Intelligenz
24
Politik
25
Körper entlarven
26
Übersicht der praktischen Untersuchung
28
Schienenapparat an der Hand
30
Analoges Versuchsmodell an einer Hand
32
Versuchsmodell an einer Hand mit Flexsensor
34
Versuchsmodell an einer Hand mit Leap Motion
38
Zwischenfazit
40
Musiksteuerung durch Gesten
42
Digitale Visualisierung mit der Leap Motion
46
Untersuchung von drei Bereichen der Sinne mit der Leap
48
Faszination Gestik – Jens Ewald
50
Visualisierung als stützendes Erklärungs-Element
52
Integrieren von Grafiken in vorhandenen Diskussionen
54
Versuch mit mehreren Probanden
60
Argumented Reality
64
Versuchsexperiment: Erklärende Diskussion
68
Unterschied zwischen natürlichen und angepassten Gesten
70
Charakter Gestik
76
Gesten bedienen sich einem Muster
78
Genauere Darstellung von Gestenbildern am Beispiel
82
Design von Gestenbefehlen
88
Quellenangabe
8
Einführung „Mit Gebärden kann man alles unmissverständ-
re Betrachtung dieses Themenkomplexes. Im
lich ausdrücken. Worte können trügerisch sein,
Rahmen meiner Arbeit möchte ich mich dem
aber die Pantomime ist notwendigerweise ein-
Thema sowohl auf theoretische, als auch auf
fach, klar und direkt.“1
experimentelle Art und Weise nähern, um so
Diese Aussage lässt sich gleichlautend auch
diverse Situationen zu dokumentieren und zu
auf Gesten anwenden. Gesten treffen wir in un-
analysieren. Die hierbei gewonnenen Erkennt-
serem täglichen Leben nahezu immer an. Eine
nisse sollen jedoch keinen Anspruch auf eine
Konversation ohne Mimik und Gestik würde auf
universelle Lösung von Problemen, ganz gleich
uns befremdlich werden. Doch hierbei tun sich
welcher Art, erheben. Sie sollen lediglich eine
diverse Fragen auf: Was sind Gesten? Wozu sind
Grundlage und einen Anstoß zum Nachdenken
sie geeignet? Wozu nicht? Warum benutzen wir
über diverse zukünftige Produktideen sein.
sie? – All diese Fragen erfordern eine genaue-
1
Rückle, Horst; „Körpersprache verstehen und deuten“. Falken, Niedernhausen, 1991, S. 49.
10 Definition von Gestik Der Begriff „Gestik“ lässt von dem lateini-
(orig. „deliberate expressive movement“).5 In
standen wird, gehört zu diesen Aktionsfeldern,
schen Wort „gestus“ ableiten und bedeutet in
der Encyclopedia Americana definiert Hayes die
da der unterschiedliche Klang der Sprache un-
etwa „Mienenspiel, Gebärdenspiel";2 wissen-
Gestik als „jede bewusste oder unbewusste Kör-
terschiedliche Ausdrucksmöglichkeiten ermög-
schaftlich wird dieser Begriff allerdings anders
perbewegung, außer den Vokalisierungsbewe-
licht. Der Klang der Stimme des Sprechers ist
definiert. Nach Nöth werden Gesten als das
gungen, durch die wir entweder mit uns selbst
somit ebenfalls eine Form der Gestik.8
„Ausdruckspotential [des Menschen] mittels der
oder mit anderen kommunizieren".6 Demnach
Den Sprachklang in diese Betrachtung mit ein-
liegt bei Noeth, Kendon und Hayes der Focus
zubeziehen würde jedoch zu weit führen, denn
3
Arme, der Hände und des Kopfes“ verstanden. Somit besteht der Bereich der Gesten aus dem
der Gestik auf bewussten Bewegungen mit dem
im Allgemeinen assoziieren die meisten Men-
Zusammenspiel von Körpersprache, Mimik, und
Ziel, die verbale Kommunikation zu unterstüt-
schen mit dem Begriff Gestik den Gebrauch von
jedweder anderen nonverbalen Kommunikation.
zen.7
Armen und besonders Händen. Gesten jedoch
Im engeren Sinne sind Gesten nach Kendon
Gestik schließt somit ein weites Spektrum an
ausschließlich auf die Bewegungen von Armen
auch als „Körperhandlungen nichtsprachlicher
Aktionsfeldern ein: Ausdruck des Gesichtes (Mi-
und Händen zu beziehen wäre dennoch falsch;
Art, mit der Absicht etwas zum Ausdruck zu brin-
mik), Haltung des Kopfes und Rumpfes, sowie
zum Verständnis einer Geste ist auch häufig die
gen“4 zu verstehen. Hier prägt er den Ausdruck
jegliche Haltungs- und Bewegungsgesten. Auch
Mimik ein Schlüsselelement.
von deliberativer ausdrucksfähiger Bewegung
der Klang der Stimme, der als vokale Geste ver-
Ein Beispiel ist die Drohgeste (siehe Seite 11).
Die gestreckten Finger allein könnte auch darauf hinweisen, dass die Person von etwas beeindruckt ist, drohen uns aber noch nicht. Erst der gesenkte Kopf betont die Aggression, die uns vermuten lässt, dass die Person droht.9 Die häufigsten und stärksten Ausdrucksformen, derer sich der Mensch zur Signalisierung der nonverbalen Kommunikation bedient, sind dennoch die Bewegungen von Händen und Armen.10 Daher wird diesem Part der Verständigung der meiste Raum in dieser Theorie Arbeit eingeräumt.
2
3
Vgl. Chalmann, Elena; Thiel, Sebastian (Hg.): Sprache |
5
Ebd. von b).
Gestik, Bielefeld,2002, S. 2.
6
Hayes, Encyclopedia Americana in: Ebd. von a).
Nöth, 2000 in:
7
Ebd. von b).
a) Chalmann, Elena; Thiel, Sebastian (Hg.): Sprache |
8
Vgl. Ganzer Absatz nach: Ebd von a), S. 3.
Gestik,
b) Reineke, Wolfgang: Signale im Gespräch, Heidelberg,
b) Hofemann, Nils (Hg.),Videobasierte Handlungserkennung für die natürliche Mensch-Maschine-Interaktion, Bielefeld, 2006, S. 14. 4
1983, S. 39. 9
Vgl. Rückle, Horst: Körpersprache verstehen und deuten, Niedernhausen, 1991, S. 52.
Kendon, 2004 in:
10
a) Ebd., S. 3.
berg, 1983, S. 39.
b) Ebd.
Vgl. Reineke, Wolfgang: Signale im Gespräch, Heidel-
12 Warum gestikulieren wir? Unsere Gesten können in Konkurrenz zum Gespro-
chen, wenn man mit den Händen schneller kommu-
chenen treten. Denn mit Gesten können wir nicht
nizieren kann?12
nur das Gesagte untermauern, sondern sie können
Viele Gesten haben eine präzise und klare Aussa-
auch als eigenständige Sprache ver standen werden.
ge, wie zum Beispiel „Super“, „Stopp“ oder „Hal-
Gewisse Informationen oder Ideen lassen sich sogar
lo“, die auch über große Entfernungen oder eine
schneller durch eine Geste als durch Worte vermit-
laute Umgebung dem Partner nonverbal vermittelt
teln, z.B. das Winken mit der Hand zum Abschied.11
werden können. Somit bieten unsere Gesten einen
Die früheste präzise Geste, die wir aus unserem Le-
entscheidenden Vorteil, da Dinge viel schneller und
ben kennen, ist die Zeigegeste, das „da, da!“. Schon
deutlicher mit den Händen für das Gegenüber zu
zu Beginn des Säuglingsalters zeigen Kleinkinder auf
vermitteln sind als es gesprochen möglich wäre.13
ein Objekt, das ihre Aufmerksamkeit erregt, mit der
Mit der Gestik besitzen wir ein zweites Kommunikati-
Intention, das Objekt zu bekommen. Erst später
onsmedium, das wir sowohl bewusst als auch unter-
können die Kinder den dazugehörigen Satz: „Das da
bewusst nutzen.
möchte ich haben!“ artikulieren. Warum also spre-
11
Vgl. http://www.daserste.de/information/wissen-kultur/w-wie-wissen/sendung/sprechende-haende-100.html [gesehen am 06.04.14].
12
Ebd.
13
Ebd.
Parallele Entwicklung von Sprache und Gestik Um die Grundlage zu schaffen, Gesten anwen-
unsere Hand ein wichtiges Aktionsinstrument für
den zu können, musste der sich auf allen Vieren
den „Homo faber“ („Der herstellende/schaffen-
fortbewegende Hominide sich zuerst einmal zu
de Mensch“). Letztendlich können die mensch-
einer Form mit aufrechtem Gang entwickeln; hier
lichen Hände dann für die gestische Kommu-
sei als Beispiel die Gattung Homo errectus (lat.
nikation benutzt werden. Zugleich erfolgte die
„der aufrecht (gehende) Mensch“) zu nennen.
Weiterentwicklung des oralen und akustischen
Erst durch den aufrechten Gang sind die Arme
Sprachgebrauchs. Die Entwicklung von Sprache
frei, welche dann für die Nahrungsauf nahme
und Gestik fand hauptsächlich parallel statt. Ein
verwendet werden können, welche folglich auch
Beweis hierfür, den man auch heute noch sieht,
die anatomische Ausprägung weiter förderte.
ist, dass es Verben gibt, die die Funktionen der
Diese Entwicklung brachte uns auch dazu, Werk-
Hand beschreiben, zum Beispiel „greifen, hal-
zeuge zu bauen und zu verwenden. Somit wurde
ten und zeigen“.14
14
Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld, 2002, S. 3.
14 Gestischer Ursprung der Sprache Anatomischen Studien zufolge sind die Pho-
ausdrücken konnte, ist bislang nicht möglich;
nationsorgane und der Vokaltrakt von nicht
man geht aber davon aus, dass der Beginn die-
humanoiden Primaten z.B. Schimpansen nicht
ses Prozesses ungefähr 500.000 Jahre zurück-
ausreichend ausgebildet, um eine ordentliche
liegt. Das bedeutet, dass Primaten hinsichtlich
Aussprache ermöglichen zu können. Eine ge-
ihrer Anatomie nur einen beschränkten Laut-
naue zeitliche Einordnung, wann die Entwick-
wortschatz von sich geben können; dafür zeigen
lung der Sprachorgane weit genug fortgeschrit-
sie eine erhöhte Lernfähigkeit bezüglich der
ten war, sodass der Mensch sich phonetisch
Gesten.15
15
Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld, 2002, S. 4.
Primatenforschung Innerhalb einer Gruppe verwenden Primaten
Da das Futter in diesen Moment gar nicht vor-
bewusst Gesten, um andere Mitglieder zu be-
handen ist, erfordert die Geste der bettelnden
einflussen, z.B. sie zum Spielen aufzufordern;
Hand eine Abstraktionsleistung.16
dabei gehen sie mit der Art und Weise der Ges-
Britische Primatenforscher fanden bei Orang-
ten recht kreativ vor. So wurde z.B. das Verhalten
Utans mindestens 64 verschiedene Gesten in
eines Orang-Utan-Weibchens beobachtet, das
ihrem Gestenrepertoire. Was hier ebenfalls zu-
sich durch eine Kopfbewegung zum m채nnlichen
grunde liegt, ist, dass schon unsere menschli-
Orang-Utan dessen Aufmerk-samkeit sichert
chen Vorfahren Gesten verwendet haben. So
und dann die flache Hand unter seinen Mund
kann man schlussfolgernd sagen, dass die
h채lt; dieses Zeichen dient dazu, Futter zu erbet-
Gestik vor unserer Aussprache entstanden sein
teln. Der Grund dieser Bettelgeste leitet sich
muss. Somit liegt der Ursprung der Sprachent-
vom Verhalten junger Orang-Utans ab, die das
wicklung in der Gestik. 17
Futter oft aus dem Mund der Mutter entnehmen.
16
Vgl. http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/die-grammatik-der-gesten/ [gesehen am 06.04.14]
17
Ebd.
16 Gesten – ritualisierte Handlungen Charles Darwin untersuchte universell verbreite-
Wenn aus einer praktischen eine gestischen
te Gesten, die wir in normalen Handlungen des
Handlung wird, wird dieser Vorgang Ritualisie-
Alltags verwenden, nach ihrem prä-humanen
rung genannt; dadurch kann aus einer prakti-
Ursprung und stellte folgende Hypothesen auf:
schen Handlung mit einem festen Muster eine Geste entstehen. Diese Muster können in ihrer
Bejahungsgeste: Der Ursprung liegt bei Säuglin-
Darbietung vereinfacht oder verstärkt sein, so-
gen, die ihren Kopf zur Mutterbrust neigen.
dass z.B. das bejahende Kopfnicken stärker aus-
Verneinungsgeste (Kopfschütteln): sie kommt
geführt wird als die ursprüngliche Bewegung.
von den seitlichen Kopfbewegungen, wenn sich
Selbst bei unterschiedlicher Entwicklung der
das Kind von der Brust abwendet.
verschiedenen Sprachen (aus unterschiedlichen
Willkommensgeste (ausgestreckte Arme und of-
Kulturen) lassen sich gewisse Gemeinsamkeiten
fene Hände): sie entstand aus praktischen Greif-
der Gestensprache erkennen („Universelle Spra-
handlungen.
che“).18
Stoppgeste (erhobene Hand mit Handfläche nach vorn): sie entwickelte sich durch das Abwehren einer entgegenkommenden Figur.
18
Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld, 2002, S. 4-5.
Klassifikation von Gesten Worin unterscheidet sich Gestik von den ande-
lung sein. Genauer heißt das, dass man in do-
Die Einteilung der Gesten in dominante Ap-
ren körperlichen Kommunikationsformen? Kör-
minanter, zeichnender Gestik einen Rahmen so-
pell- und Ausdrucksfunktionen, die wir z.B. bei
perbewegung, Körperhaltung, Blick und Mimik
wohl mit einem sanften, als auch eher heftigen,
der segnenden Geste des Priesters oder beim
können Auskunft über den Charakter des Spre-
ärgerlichen Bewegungsverlauf darstellen kann.
nachdenklichen Fassen an den Kopf kennen,
chers, sein System der kommunikativen Prozes-
Diese Geste ist eine gleichzeitige Realisierung
spiegeln nicht den Facettenreichtum der Gestik
se und seine soziale Rolle geben. Mit Gesten
von Ausdruck und Darstellung, worauf folgende
wieder. Solch eine begrenzte Sichtweise wird
kann ein Sprecher dem Gegenüber seine An-
Hypothese Bühlers beruht:20
der Vielschichtigkeit der Gesten nicht gerecht.
sicht der Welt vermitteln. Die Gestik wird auf die
„… warum sollen z.B. gestenhaft malende Hände
Gesten helfen, abstrakte und konkrete Darstel-
Bewegungen der Arme und Hände eingegrenzt,
nicht imstande sein, das eine Mal frisch und froh,
lungsmöglichkeiten in gestische Äußerungen zu strukturieren und zu gliedern, sowie die
weil diese die primäre Funktion besitzen, Sach-
ein zweites Mal wütend, ein drittes Mal zögernd
verhalte und Gegenstände in der Kommunikati-
und erschreckt den Akt des Zeichnens durchzu-
Sprechhandlung zu verdeutlichen. Anhand die-
on besser darzustellen.19
führen? Und wenn sie es vermögen, so stellen
ser Grundlage unterscheidet Cornelia Müller re-
Gestik ist multifunktional und vielseitig. Sie kann
sie dar und drücken aus in eins.“21
ferentielle, performative und diskursive Gesten:
viel mehr als nur Apell, Ausdruck und Darstel-
19
Vgl. ganzer Absatz nach: Müller, Cornelia: Körperbewegungen und ihre Bedeutungen, Berlin, 1998, S. 21.
20
Ebd. S. 24-25.
21
Bühler, 1933 in: Ebd. S. 25.
22
Ebd., S. 25.
18 Referentielle, Performative und Diskursive Gesten Die referentielle Geste stellt das Fundament
aufweist, sich von der begleitenden verbalen
einer sprachlichen Metapher dar. Sie vermittelt
Sprache zu lösen (z.B. Gesten des Bittens, Se-
eine Darstellung von Gegenständen (Uhr-Rah-
gens, Beleidigens oder Grüßens). Die Informa-
men), Eigenschaften (Rund-Sein der Uhr), Ver-
tionsübertragung funktioniert allein mit solchen
halten und Handlungen (etwas kleben), Ereig-
Gesten. 25
nissen (Wirbelsturm) oder dem Ort (Uhr steht im obersten Fach). Der Sprecher kann mit der re-
Die diskursive Geste gliedert die sprachlichen
ferentiellen Geste durch abstrakte Redegegen-
Äußerungen. So verweisen z.B. zweiphasige
stände (Uhr als runden Umriss nachzeichnen) im
rhythmische Hin- und Herbewegungen durch
23
Sachverhalt konkreter sein.
Wiederholen einer bereits verwendeten Geste die Verbindung auseinandergerissener Äu-
Performative Gesten stellen Äußerungen bild-
ßerungsteile oder verleihen eine syntaktische
lich dar. Man unterscheidet zwei Typen:
Struktur von Aneinanderreihung verschiedener
Der eine Typ ist mit der Gesprächssituation und
Gestenformen. Kennzeichnend für die Geste
dem Redefluss so eng verbunden, dass deren
ist, dass sie mit anderen Gestenformen über-
Ausbleiben die Rede sinnlos werden lassen wür-
lagern kann. So kann eine vorführende Geste
de (z.B. Gesten, die Argumente abwägen, vor-
durch rhythmische Auf- und Abbewegungen in
führen, auflisten oder zurückweisen). 24
ihren Argumenten eine deutlichere Prägnanz
Der zweite Typ wird häufig auch spracherset-
geben.26
zend eingesetzt, da er eine starke Tendenz
23
Ebd., S. 25.
24
Ebd., S. 26.
25
Ebd.
26
Ebd.
Wahrnehmung Gesten und Sprachen scheinen hinsichtlich ih-
der Bildhauerei. Durch unsere Hände erweisen
schaften des Anschauungsgebildes (Darstellung
rer Funktionalität ähnlich strukturiert, in ihrer
wir uns gestisch in unserer Welt einen Stand-
der Taille einer Frau).30
zeichenhaften Darstellung jedoch nicht. Gesten
punkt: wir agieren, zeichnen, modellieren und
Die repräsentierende Darstellungsweise spie-
beruhen mehr auf einem bildhaften Zeichensys-
repräsentieren.27
gelt den Sinneseindruck der kennzeichnenden
tem. Motiviert, nicht nur mehr Informationen zu
Gestalt des Anschauungsgebildes und deren
transportieren, sondern diese auch so deutlich
Die agierende Darstellungsweise spiegelt wie-
Bewegungen wieder (Zeiger als langes, dünnes
wie möglich zu machen, verwenden wir mehr
dererkennbare Wesenszüge aus dem Hand-
Objekt, das in Kreisform bewegt wird; Position
Zeichenformen. Gestische Darstellungen sind
lungsalltag wieder (Wischbewegungen beim
der Wanduhr im Raum).31
gleichzeitig bildnerische Darstellungen, die als
Fensterputzen, Auf- und Zubewegung einer
künstlerische Darbietung von einem selbst zu
Hand als Tratschen, imaginäre Schublade öffnen
Die Schöpfung der Gestenbilder resultiert aus
analysieren sind. Es gibt verschiedene Arten von
und etwas herausholen).28
der eigenen Wahrnehmung. Nach Arnheim gilt
Gestenbildern. Ähnlich der Bildenden Kunst,
Die zeichnende Darstellungsweise stellt Körper-
für Gesten, dass „jegliche Form aus dem be-
beruhen sie auf unterschiedlichem Darstellungs-
linien oder Umrisse eines Anschauungsgebil-
stimmten Medium gewonnen werden muß, in
und Abstraktionsvermögen. Kurz gefasst wer-
des dar (Den Weg durch Linien erklären, Umriss
dem das Abbild geschaffen wird“.32 Cornelia
den Gestenbilder durch unsere schöpfenden
einer Uhr nachzeichnen und nicht deren plasti-
Müller drück dies folgendermaßen aus: „Ges-
Hände mit künstlerischen Mitteln hergestellt.
schen Gestalt).29
ten sind Ausdruck kreativer bildnerische Abs-
Hände werden beim Gestikulieren zu Illustrati-
Die modellierende Darstellungsweise zeigt be-
traktion.“33
onsmitteln transformiert, vergleichbar mit Stift
deutungstragende Wesenszüge der Oberflä-
und Pinsel in der Malerei oder Gips und Ton in
chengebilde aus den dreidimensionalen Eigen-
27
Ebd., S. 27.
30
Ebd.
28
Ebd., S. 28.
31
Ebd.
29
Ebd.
32
Arnheim, 1954-1978 in: Ebd., S. 28.
33
Müller, Cornelia: Körperbewegungen und ihre Bedeutungen,Berlin, 1998, S. 29.
20 Verhältnis Gestik und Sprache Unterschied: Sprache und Gestik Genauso wie die Sprache sind auch die die
Gestik-Standard. Durch die Verwendung von
Sprache begleitenden oder alleinstehenden
Körperteilen zur Darstellung der Gesten nutzen
Gesten kontextsensitiv. So können Gesten, je
diese im Gegensatz zur Sprache eine dreidimen-
nach verwendetem Satz, eine unterschiedliche
sionale Komponente. Da es sich bei Gesten nur
Bedeutung annehmen. Letztendlich muss nur
um vereinfachte Darstellungen von Bildern han-
die Intention erkennbar sein. Während der Auf-
delt, ist ihr Informationsgehalt im Vergleich zur
bau einer Sprache gewissen Regeln wie Syntax
Sprache eher gering. 36
und Semantik unterliegt, existiert jedoch kein
36
Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld,2002, S. 8.
37
Ebd., S. 8-9.
38
Ebd., S. 9 f.
Gemeinsamkeit: Sprache und Gestik Während Gesten und Sprache Informationen
Wegbeschreibung. Fragt uns eine ortsfremde
auf unterschiedliche Art und Weise übermit-
Person an einer Kreuzung nach dem Weg zum
teln, dienen jedoch beide dem Ziel der Infor-
Bahnhof, so deuten wir instinktiv in die Richtung,
mationsübermittlung. Sowohl Sprache als auch
in die die Person als nächstes gehen soll. Die
Gestik können getrennt voneinander verwendet
einfache Angabe: „einfach 200 Meter die Straße
werden. Während eine Kombination aus die-
runter und dann rechts“, ohne die Angabe einer
sen beiden Komponenten einen Informations-
Richtung durch Zeigen, erzeugt keine zusätzli-
gewinn darstellen kann, kann das Fehlen einer
che Information, da die ortsfremde Person die
der Komponenten auch zu einem Informati-
Richtung nicht kennt. 37
onsverlust führen, wie beispielsweise bei einer
Verbindung: Gestik und Sprache Gesten werden in ihrem Verlauf in drei Phasen
chen. Dabei greift der Sprecher bei dem Be-
unterteilt. Dies sind die Vorbereitende, die Zeit-
griff „Türgriff“ nach dem imaginären Griff und
gleiche und die Endende Phase. Die vorberei-
demonstriert das Öffnen einer Tür. Die Geste ist
tende Geste bildet den Auftakt, in der die Hand
jedoch schon vor Beenden des Begriffes vollen-
aus dem Ruhezustand in Aktion tritt, aber Spra-
det. McNeill begründet dies damit, dass wir uns
che noch nicht verwendet wird. In der endenden
zunächst eine bildliche Vorstellung im Kopf er-
Phase kehrt die Hand in die Ruheposition zurück.
zeugen, bevor es in Sprache umgewandelt wird.
So kann z.B. ein Sprecher das Öffnen einer Au-
In Gedanken werden Gestik und Sprache dann
totür mit den Worten „Sie griff zum Türgriff und
zusammengesetzt.38
öffnete die Autotür“ ihre Handlung verdeutli-
22 Gesten sind ein Zeichen von Intelligenz Während Sprache im Gehirn entsteht und nur
kam zu der Erkenntnis, dass Kinder Worte erst
einen verhältnismäßig kleinen Teil des Körpers
durch Gesten erlernen, indem sie zuerst auf ei-
nutzt, nutzt Gestik den gesamten Körper. Ges-
nen Gegenstand deuten, worauf die Mutter das
ten müssen genauso wie die Sprache erst vom
passende Wort verrät („Die Gesten der Kinder
Körper beziehungsweise Gehirn erlernt werden.
könnten das Wörterlernen indirekt unterstützen,
Daher ist es naheliegend, dass Gesten unter-
indem sie die Eltern im richtigen Moment zum
stützende Lernprozesse sind.
Sprechen bringen“39). Kinder sind damit in der
Ein Experiment mit Kindern aus unterschied-
Lage, bestimmte Begriffe auszudrücken, zu de-
lichen Bildungsschichten brachte folgendes
nen sie noch nicht in der Lage sind. Mithilfe der
Ergebnis hervor: Kinder aus höheren Bildungs-
Kernspintomographie konnte herausgefunden
schichten waren in der Lage, 24 Gesten wie-
werden, dass Gesten und Sprache dasselbe
derzugeben, während Kinder aus niedrigeren
Hirnareal verwenden. In einem weiteren Test
Bildungsschichten nur zur Wiedergabe von 13
konnte ermittelt werden, dass Gesten hilfreich
Gesten in der Lage waren. Diese Kinder wurden
bei der Bewältigung von Gedächtnisübungen
später einem erneuten Test unterzogen, welcher
waren. Bewegungen der Hände entlasten das
zu dem Ergebnis kam, dass Kinder, welche mehr
Gedächtnis, sodass dieses in der Lage ist, mehr
Gesten erlernt hatten, über einen deutlich grö-
Informationen aufzunehmen.40
ßeren Wortschatz verfügten. Goldin-Meadow
39
G oldin-Meadow, Universität Chicago in: http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/wie-die-haende-unser-denken-lenken/ [gesehen am 06.04.14].
40
Vgl., http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/wie-die-haende-unser-denken-lenken/ [gese-hen am 06.04.14].
24 Politik Es existieren unterschiedliche Anwendungs-
Helen Hammerfeldt, eine Diplom-Psychologin
deutschen Bundeskanzlers Willy Brandt im War-
formen für die Verwendung von Gestik. Die im
und anerkannter Coach für Körpersprache, be-
schauer Ghetto 1970, welcher bei den Zuschau-
unseren Alltag verwendeten Gesten wirken im
schreibt dies folgendermaßen: „Eine Glaubwür-
ern Emotionen weckt. Mit gefalteten Händen
Vergleich zu den Gesten, die in der Politik ver-
digkeit einer Person zielt 55% deren Körperspra-
kniet Brandt kerzengerade mit leicht gesenktem
wendet werden, eher schüchtern oder zurück-
che, zu 38% die Stimme und nur zu 7% der Inhalt
Blick. Brandt signalisiert damit Trauer, Würde,
haltend. Politiker setzen Gesten stark betont
der Worte.“41
Demut und Schuld aus, was in der Politik eher
und mit viel Ausdruck ein, um ihre Glaubwür-
Hierzu werden folgende Bilder analysiert:
eine seltene Geste ist.
digkeit und ihren Standpunkt besser zu vertre-
Auf dem linken Bild (siehe Seite 25) verwendet
Politiker arbeiten nicht nur allein mit Worten,
ten. Ausdrucksstarke Gesten vermitteln dem
der damalige französische Staatsprä-sident Ni-
sondern setzten auch verstärkt Gesten ein, um
Gegenüber Engagement, Dominanz und Füh-
colas Sarkozy eine weniger diplomatische Geste
ihre Ziele zu erreichen. Der ungeschriebene
rungskraft, im Sinne von: „Ich kann euch führen,
mit der Aussage: „Die spinnen doch“; dies ist
Grundsatz der Macht bestimmt darüber, ob das
also denkt so wie ich!“
grundsätzlich grenzwertig. Durch das sogenann-
Volk die Politik als Kasperletheater ausbuht oder
Als Barack Obama am 04.11.2008 als neuer Prä-
te „Vogel zeigen“ wird eine Abwehrreaktion
als unverfälschtes Mienenspiel applaudiert.42
sident der USA die Bühne betritt, ruft er dabei
beim Publikum provoziert, drückt aber auch
„Yes, we can!“. Dabei streckt er die Hand zum
eine starke Entschlossenheit sowie die Aussa-
Himmel und winkt den Menschen zu. Diese Art
ge „Leute, denkt so wie ich!“ aus. Ein perfektes
von Gesten ist in vielen Momenten der Politik
Beispiel für spontane und ehrliche Körperspra-
zu finden.
che hingegen ist der Kniefall des damaligen
41
Hammerfeldt, Helen, in: http://macht-maschine.de/?PID=static,geheimnisse,gestendermacht [gesehen am 06.04.14].
42
Unger, Christian: Alles in einer Hand, 2008, in: http://macht-maschine.de/?PID=static,geheimnisse,gestendermacht [gesehen am 06.04.14].
43
Vgl. http://www.n-tv.de/wissen/Gesicht-und-Gesten-verraten-alles-article7262441.html [gesehen am 06.04.14].
Körper entlarven Da der Körper und das Hirn sowohl im Denken als auch im Fühlen eng mit einander verwoben sind, spiegeln Gesten unsere Gefühle und Empfindungen wieder. Durch unbewusste Gesten können Lügen entlarvt werden. Ein sehr bekanntes Beispiel hierfür ist die Befragung des früheren US-Präsidenten Bill Clinton zu seiner Affäre mit Monica Lewinsky, bei der er mehrfach seine Unschuld beteuert. Psychiatern fielen dabei Clintons Gesten besonders auf, da er sich Französischer Staatspräsident Nicolas Sarkozy
Deutscher Bundeskanzler Willy Brandt
bei der Befragung wiederholt an die Nase gefasst hat. Der Grund, weswegen wir uns beim Lügen häufig an die Nase fassen, ist, dass die Nase in Stresssituation stärker durchblutet wird, wodurch diese um Bruchteile von Millimetern anschwillt.43
26 Ăœbersicht der praktischen Untersuchung
28 Schienenapparat an der Hand Als ich einmal einen kaputten Regenschirm zer-
zung der Bewegung wurde mir der Umgang mit
legte, fielen mir die langen Schienen auf, wel-
dem Modell erstaunlich schnell vertraut. Auch
che ich als Versuch um meine Finger befestigte.
bekam man durch das Ein- und Ausfahren der
Sowohl Aussehen, als auch die dazugehörige,
Schiene eine andere Art von Fingerbewegung,
flüssige Bewegung wirkten mit einer besonde-
vergleichbar mit der einer Spinne. Weiterhin
ren Ästhetik auf mich. Im Modell war auffällig,
verspürte man eine Überlegenheit und Sinne-
dass eine kleine Fingerbewegung in Sekunden-
serweiterung. Konkret ist damit gemeint, dass
schnelle über eine sehr beachtliche Länge über-
Vibrationen beim Kontakt mit Objekte an die
tragen werden konnte: streckte man einen Fin-
Finger weitergeleitet wurden und ich damit
ger aus, klappte die Schiene auseinander, zog
Gegenstände erfühlen konnte, die außerhalb
man den Finger zurück, zog sich die Vorrichtung
der direkten Reichweite meiner eigenen Finger
wieder zusammen. Durch die flüssige Überset-
lagen.
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRLVZTYi1mY3VwSXM/edit
30 Analoges Versuchsmodell an einer Hand Dieser Versuchsaufbau verdeutlicht die Mög-
soll, das Prinzip in seinen allgemeinen Grundzü-
lichkeit zur Übertragung der eigenen Handbe-
gen zu veranschaulichen und zu verdeutlichen.
wegungen mit Hilfe eines abstrakten Modells
Bereits durch ein so simples Modell wird auf
einer Hand. Die kleinen Röhren werden durch
erstaunliche Weise klar, wie gut der Effekt ei-
Fäden gesteuert, welche mit der Hand verbun-
ner natürlichen Bewegung funktioniert. Jedoch
den sind. Dabei sind diese Fäden jeweils an den
benötigt man zum Ziehen der Finger ein wenig
Fingerspitzen der abstrakten Hand befestigt
Kraft, sodass man einen kleinen Widerstand
und durchlaufen die Röhrchen, vergleichbar mit
spürt. Dies führt dazu, dass die Bewegung doch
den Sehnen einer echten Hand. Wird an einem
nicht ganz flüssig verlaufen kann, weil die Finger
Faden gezogen, streckt sich der entsprechende
durch den Widerstand ihre freie Bewegung ver-
Finger, bei Entspannung krümmt er sich wieder.
lieren. Darum wird die Bedienung, im Vergleich
Dieser Vorgang geschieht umgehend ohne Ver-
mit den nachfolgenden Experimenten, als unna-
zögerung und macht den Versuch direkt erfahr-
türlich empfunden. Ein zusätzlicher Nachteil ist,
bar. Die Anatomie einer menschlichen Hand ist
dass man mit der abstrakten Hand direkt ver-
dabei sehr viel komplexer als nur diese wenigen
bunden ist und so auch räumlich eingeschränkt
Sehnen des Modells, welches aber dazu dienen
ist.
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRY2VMQXhLSW9TeDg/edit
32 Versuchsmodell an einer Hand mit Flexsensor Das zweite Versuchsmodell ist dem Ersten ähn-
gen. So kann das Objekt auch über eine große
lich, jedoch wird hier die Sehne mithilfe eines
Entfernung gesteuert werden. Bei dem Modell
Servomotors gezogen. Wie weit die Sehne
fiel mir auf, dass die Übertragung der Informa-
vom Servo gezogen werden soll, wird anhand
tionen eine gewisse Zeit dauert, weshalb der
eines Flexsensors bestimmt. Der Flexsensor
künstliche Finger sich erst mit einiger Verzöge-
wird auf den Finger aufgelegt und misst die
rung bewegt hat. Dieses Versuchsmodell weißt
Krümmung des Fingers. Dies bedeutet, dass je
aber eine geringere Fehlerbewegung auf als
nach Bewegung der Finger der Flexsensor un-
der Nachfolgende mit der Leap Motion. Auch
terschiedliche Messwerte nimmt, die dann auf
hier verspürt man durch den Flexsensor einen
den Servo übertragen werden und die Sehne
Widerstand beim Bewegen des Fingers.
entsprechend spannt. Dieses Versuchsmodell kann weiterentwickelt werden, so dass ein Handschuh verwendet werden kann. Die Daten werden dann mittels Funk oder eines entsprechend langen Kabels übertra-
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRZzBBdXRMeFAxVWc/edit
34 Versuchsmodell an einer Hand mit Leap Motion Dieses Versuchsmodell ist ähnlich zu dem Vo-
bei genau handelt. Ein weiteres Problem stellte
rangehenden, mit dem der Flexsensor einge-
die Filterung der Informationen dar. Die Lösung
künstliche Hand sollte sich dann flüssig und bei-
setzt wurde. Jedoch, anstelle des Flexsensors,
hierfür ist, die Daten nach den Werten auf der
nahe fehlerlos bewegen. Dadurch wäre das Ver-
Bewegungen nachgestellt werden können. Die
wird hier der Servo über das System Leap Mo-
X-Achse zu sortieren. So können die Daten mit
suchsmodell mit der Leap Motion dann besser
tion gesteuert. Die Leap Motion ist ein kleines
dem kleinsten X-Wert als Daten des Daumens
als die vorherigen Versuchsmodelle.
Gerät, welches über einen USB-Anschluss mit
und die mit dem größten X-Wert als Daten des
Die Nachahmung der Gesten wirkt durch die
einem PC verbunden wird. Die Leap Motion ver-
kleinen Fingers interpretiert werden. Das erfor-
Kontaktlosigkeit sehr natürlich. Des Weiteren
fügt über ein Sensorfeld, über das Finger und
dert, dass die Hand gerade über den Senor ge-
kann dieses Model über sehr große Entfernun-
Handgesten erkannt werden können.
halten werden muss.
gen gesteuert werden. Eine Möglichkeit ist, mit einem Computer die Information der Leap Mo-
Der Vorteil der Leap Motion besteht darin, dass
Zwischenzeitlich produzierte die Leap Motion
diese völlig kontaktlos funktioniert. Man braucht
Fehlermeldungen, da das Tracking der Finger
tion aufzunehmen und diese zu einem anderen,
nur die Hand über den Sensor halten; die Finger
mithilfe des Sensors nicht sauber verlief. Diese
entfernten Computer zu senden, welcher das
sind völlig frei (Siehe Seite 35).
Probleme sollen aber durch ein späteres Update
Ardurino-Board mit den dazu gehörenden Servo
44
(28.05.14) der Trackingsoftware auf V2 Beta be-
steuert. Dadurch müsste sich die Person, welche
Die Erstellung eines funktionierenden Proto-
hoben werden. Diese Version ist nun fähig, das
die künstliche Hand steuert, nicht mit der Hand
typs gestaltete sich schwierig. Das Problem der
gesamte Skelett der Hand zu tracken.
im selben Raum befinden. Andere Zeugen, die
Leap Motion ist, dass Daten für jeden Finger
Die Erkennung soll mit der V2 Beta der Tra-
das Versuchsmodell ausprobierten, waren total
aufgenommen werden, den sie erkennt, jedoch
ckingsoftware erstaunlich gut verlaufen, sodass
begeistert und fasziniert davon, die künstliche
erkennt sie nicht, um welche Finger es sich da-
sowohl schnelle, als auch ganz kleine, präzise
Hand kontaktlos steuern zu können.
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRanh6VTV4bUdGalE/edit 44
https://www.leapmotion.com/blog/leap-motion-v2-tracking-now-in-public-developer-beta/ [gesehen am 30.06.14]
36 VVVV -Programm-Oberfl채che
38 Zwischenfazit An den bisherigen Versuchsmodellen zeigte
sehr intuitiv, da das Modell die normalen, ver-
wurde dies mithilfe eines Gebisses, welches
sich, dass das sogenannte Mapping (die zeit-
trauten Bewegungen nachahmt. Der Informati-
einen abstrakten Mund darstellt. Das Öffnen
gleiche Umsetzung der Bewegung der Hand
onsgehalt verringert sich nicht, da die abstrakte
der Hand entspricht dabei dem Öffnen des
auf Bewegungen des größeren Handmodells)
Gestalt und die dazugehörige Bewegung der
Mundes, entsprechend auch das Schließen der
besser auf digitale Art und Weise umzusetzen
Finger sehr gut als Bewegung normaler Finger
Hand. Die Sprechen-Handgeste wurde so auf
ist als mithilfe der analogen Bedienung. Weiter-
zu identifizieren ist.
einen tatsächlichen Mund umgesetzt, welcher entsprechend der Handbewegung spricht. Die
hin ist es interessant, festzustellen, dass das sehr einfach gehaltene Handmodell für diesen Zweck
Bis hierhin wurden nur die aufgezeichneten
Bewegung der Hand führt also zu einer umge-
sehr gut geeignet ist und im Vergleich zu kom-
Gesten wiedergegeben, es fehlte die Umset-
wandelten Aktion. Dadurch entsteht eine Ver-
plexeren Modellen, wie beispielsweise einer
zung der Information. Die daraus entstandene
änderung der übertragenen Informationen, im
Roboterhand, ebenso flüssige, wenn nicht sogar
Kommunikation gewann bisher keinen Informa-
Vergleich zur Mimikry. Eine ähnliche Umsetzung
flüssigere und natürlicher wirkende Bewegun-
tionsgehalt hinzu. Eine Möglichkeit, an dieses
von Handgesten auf unähnliche Aktionen sieht
gen zustande bringt. Diese höher technisierten
Problem heranzugehen, war die Übertragung
man bei der Gestensprache am Touchscreen
Handmodelle sind jedoch für andere Zwecke
der Information auf ein anderes Medium. Eine
(siehe Seite 39).
konzipiert, z.B. das Greifen einer handelsübli-
Überlegung hierzu war es, eine bestimmte Ges-
chen Flasche, welches noch heute Probleme
te, wie beispielsweise das Öffnen und Schließen
aufweist. Mein Handmodell eignet sich für die
der Hand, auf eine Figur zu übertragen, welche
Mimikry der steuernden Bewegungen sehr gut.
nichts mit der Hand zu tun hat, diese Geste aber
Das Gefühl, eine fremde Hand zu steuern, ist
sinnvoll umwandeln kann. Konkret umgesetzt
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvReDJXRkdvTEh4QUU/edit
40 Musiksteuerung durch Gesten In diesem Versuchsmodell wurde eine Verknüpfung von Geste und Musik geschaffen. Mit Hilfe der Leap Motion ist es mir gelungen, Musik mittels meiner Hände zu gestalten. Je nach Positionierung der Hand konnte ich den Sound schneller, langsamer, lauter oder leiser modellieren. Das faszinierende war, dass ich das Gefühl hatte, Musik ertasten zu können, obwohl eigentlich nur Luft zwischen den Fingern lag. Da aber die Interaktion zeitgleich mit der Bewegung meiner Hand verlief, vermittelt der Sinn eine Art Berührung der Geräuschkulisse.
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRZ1I5blZJejU4ZHM/edit
42 Magie
44 Digitale Visualisation mit der Leap Motion In diesem Versuchsmodell geht es darum, Ges-
im totalen Einklang mit der Bewegung stand.
Kügelchen zusammengesetzt sind. Hält man
ten visuell „ertastbarer“ zu machen. Dazu habe
Bei dem „Magic Sparks“-Effekt wurden von
die Hand in einer geschlossenen Position, ver-
ich drei Szenarien generiert: „Flexible Web“,
jeder Fingerspitze aus kleine Leuchtperlen ver-
gleichbar mit einer Greifbewegung, so sieht
„Magic Sparks“ und „Magical Ball“ (siehe Seite 45).
sprüht, welche zu einer flüssigen Handbewe-
man den magischen Ball, zusammengesetzt aus
gung eine Spur ebendieser Bewegung hinter-
den kleinen Leuchtkügelchen. Öffnet man nun
Das „Flexible Web“ ist ein Netz, welches sich
ließen. Zur Umsetzung wurde die VVVV Node
die Hand vollständig und streckt sie zu einer Flä-
der Handbewegung des Nutzers anpasst. Das
„Spray" genutzt. Dieser Effekt ist vergleichbar
che, so sieht man, wie sich der Ball immer weiter
bedeutet, dass sich das Netz an genau der Stel-
mit den magischen Effekten, welche man in den
vergrößert, bis schließlich die kleinen Kügel-
le wölbte, an der sich die Hand befand. Nach-
Medien sehen kann. Es fühlt sich an, als würde
chen in alle Richtungen davonwirbeln.
dem die Hand weggezogen wurde, schwang
man zaubern. Durch die sinnliche Erweiterung
Alle drei Szenarien dieses Versuchsmodells wur-
sich das Netz wieder in seiner Ursprungsposi-
meiner Hände war ich selbst dazu geneigt,
den durch die Interaktion mit der Leap Motion
tion ein. Realisiert wurde dieser Effekt mithilfe
durch die Luft zu dirigieren, ähnlich wie der Diri-
gesteuert. Die holographische Projektion der
der VVVV Node „Damper“. Der Effekt war sehr
gent eines Orchesters.
Bilder in die Luft erfolgte mithilfe eines Tricks.
schön zu beobachten, da sich das Gitter der
Das dritte Szenario, der „Magical Ball“, stellt
Dabei platzierte ich meinen Laptop direkt vor
Handbewegung ohne Kontakt anpasste und so
einen Ball dar, dessen Außenlinien aus kleinen
einer Glasscheibe und stellte den Kontrast
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRUGpEWVlHV2s3b3c/edit
möglichst hoch ein. Zudem nutzte ich in den projizierten Bildern nur Schwarz und Weiß, um den Kontrast so hoch wie möglich zu bekommen. Dadurch wurde das weiße Licht des Laptopmonitors auf die Glasscheibe projiziert, wohingegen der schwarze Anteil für die Kamera unsichtbar war. Die Kamera stellte ich direkt hinter den Laptop, sodass diese die Spiegelung
Flexible Web
auf dem Glas, sowie den Benutzer des Versuchs hinter der Glasscheibe filmte. Beim Vorführen des Experimentes waren andere Personen fasziniert von der Einfachheit und Direktheit der Bewegungen. Zudem wirkte das blaue Licht sehr ästhetisch. Man konnte feststellen, dass sie dies ebenfalls ausprobieren möchten.
Magic Sparks
Magical Ball
46 Untersuchung von drei Bereichen der Sinne mit der Leap Motion „Wenn das Herstellen von Werkzeugen wie jedes
Werkzeuge verstehen zu können, ist es notwen-
beliebige andere Machen auch ist, wenn die
dig, auf die anfängliche Beschreibung der Geste
wohl akustisch als auch optisch und haptisch
Hände in dieser Geste ihre Berufung finden und
des Machens zurückzukommen.“45
verändern und beeinflussen. Es liegt ein großer
seren nackten Händen unsere Umgebung, so-
durch diesen Gestenraum miteinander überein-
Wie in dem Vergleich zu Vilém Flussers Zitat
Einfluss in unseren Gesten, der uns zumeist gar
stimmen können – warum soll man dann über-
zeigt mein Handapparat durch die Verschmel-
nicht direkt bewusst wird. Man ist plötzlich durch das Experiment zu dem fähig, was früher als He-
haupt zwischen anfänglichen und abgeleiteten
zung der Hand und den Schienen eine solche
Gegenständen unterscheiden? - Die einfache
Metamorphose, die es erlaubt, sehr weit in
xerei und Zauberei bekannt war. Zauberei wurde
Antwort darauf lautet: weil die mit Werkzeugen
den Raum (hin-)eingreifen zu können. Bei dem
als etwas empfunden, was für Menschen unbe-
ausgerüsteten Hände sich von den nackten, un-
oben genannten Zitat fällt zudem auf, dass es
greiflich galt. Allein Hände reichen aus, um die
bestückten unterscheiden. Zusammen gehen
für natürlich hingenommen wird, Werkzeuge zu
Umwelt zu beeinflussen.
sie eine Metamorphose ein, in der das Werk-
verwenden, um etwas zu beeinflussen und zu
zeug die Hände simuliert, die Hände aber auch
modellieren. Mit meinem Experiment hingegen
gleichzeitig das Werkzeug sind. Um die Wirkung
zeige ich, dass das Werkzeuge in dieser Form
dieser Metamorphose der Hände durch die
nicht vonnöten sind. Wir können allein mit un-
45
Flusser, Vilém: Die Geste des Machers, in: Ders. (Hg.): Gesten: ein Buchprojekt von FotographieStudenten der Hochschule für Graphik und Buchkunst Leipzig, Brakel 1995, S. 117.
Haptisch
Akustisch
Optisch
48 Faszination Gestik Auch bei weiteren Personen in meinem Umfeld
Der Umgang mir der Leap Motion weckte für
Gespräche erklärte er das Prinzip von „Nodes“,
mich die Faszination der Interaktion mit Objek-
also Knotenpunkten logischer Verbindungen
konnte ich dieses Phänomen, Gesten zu nutzen,
ten an einer Glasscheibe und den Möglichkeiten
im Rahmen der Programmierung wie mit dem
um Objekte imaginär zu erzeugen und als Basis
zur Visualisierung. Diese wurde zusätzlich durch
Programm VVVV. Gestikulierend zeichnete Herr
zur Verständigung zu verwenden, beobachten.
meine Beobachtungen und Gespräche mit ei-
Ewald einen imaginären Kasten in die Luft, den
Dies führte mich zu der Überlegung, diese flüch-
nem Dozenten der Muthesius Kunsthochschu-
er mit seinen Händen in Bereiche unterteilte
tigen und nur imaginären Objekte tatsächlich
le, Herrn Jens Ewald, verstärkt. Somit wandte
und diesen Ziffern zuordnete. Dieses Konstrukt
sichtbar zu machen. Mir kam der Gedanke, die
ich mich voll und ganz der Frage zu, in welcher
nutzte er für seine weiteren Erklärungen: „Von
bereits existierenden Ebenen der gesprochen
Form wir Gesten verwenden.
der Eins ausgehend wandert sie weiter zur Zwei-
Sprache, der Körpersprache und der vokalen
Wie viele andere griff auch Herr Ewald auf bild-
ten, welches keine Information enthält und so
Geste, also dem Klang der Stimme und ihrem
liche, imaginäre Elemente zurück, die er neben
zur Dritten wandert, bis der Rechner am Ende
Tonfall, um eine weitere vierte Ebene zu erwei-
den visuellen Mitteln des Zeichnens oder Schrei-
angelangt ist und so wieder von vorne beginnen
tern. Wäre es nicht reizvoll, ein nur imaginär
bens zur Erklärung von Thematiken verwandte.
muss.“ Auf diesem Wege konnte er mir diese
existierendes Konstrukt tatsächlich sichtbar zu machen?
Dabei erzeugte er durch Gestik Objekte in der
sonst nur schwer begreifliche, virtuelle Thematik
Luft, die tatsächlich aber nur in der Vorstellungs-
veranschaulichen und erzeugte eine kreative Ba-
kraft der Beteiligten existierten. In einem unserer
sis zur gegenseitigen Verständigung.
Die Gespräche mit Herrn Ewald zeigten mir weiterhin, dass auf gestalterischem Wege, durch Abstraktion von Erklärungen, Themen verständlicher ausgedrückt werden können. Konnte ich eine seiner Ausführungen nicht eindeutig nachvollziehen, wiederholte er seine Aussage in abgewandelter, abstrakter Form: "Wenn A und B nicht zusammen passen, man somit aber merkt, dass eine Verbindung zwischen B und C existiert, dann ist das doch eine Erkenntnis!" Auch wenn A, B und C nicht wirklich existierten und die Aussage wenig umfangreich war, half mir diese Abwandlung beim Verständnis seiner Aussage. So gewann ich für mich die Erkenntnis, dass eine Argumentation sowohl gestalterisch, als auch sprachlich ausformuliert sein kann. Ebenso können Gesten als gestalterisch kreatives Mittel genutzt werden, um zu argumentieren und bekräftigen mich in meiner These, dass auch sie wesentliche Informationsträger sind.
50 Visualisierung als stützendes Erklärungs-Element de Ergänzungen der bestehenden Ebenen eine
Bildschirme haben sich bis zum Google-Glass,
die Informationen aus Gesprächen und meiner
weitaus umfangreichere Information als die sim-
einer speziellen Brille zur visuellen Sinneserwei-
weiteren Arbeit sinnvoll zu organisieren und in
ple Existenz einer geometrischen Form. Durch
terung, entwickelt und können beispielsweise
eine verständliche Form zu bringen, erzeugte
die Aufteilung und verbale Ergänzung als Num-
bei Nachrichtendiensten wie Skype verwendet
ich einen Video-Clip, der veranschaulichte, wie
mer 1 der Auflistung entsteht eine Hierarchie
genutzt werden. In die Erweiterung der Umwelt
eigens kreierte, imaginäre Objekte im Rahmen
zu weiteren Formen. Es wird schnell ersichtlich,
fließt zudem auch die Erfassung der Umwelt ein,
einer Diskussion eingebracht und genutzt wer-
dass bereits einfache Abstraktionen einen enor-
beispielsweise durch Geräte wie der Microsoft
den könnten. Der Rahmen, in dem wir unsere
men Informationsträger formen und große Kom-
Kinect, der Leap Motion, dem Myo-Armband,
Gesten allgemein verständlich ausdrücken kön-
plexität erreichen können (siehe Seite 51).
Wärmebildkameras, Trackern für Stimme oder
nen, beschränkt sich auf sehr abstrakte Formen,
Warum aber sollten solche komplexen Konstruk-
Gesicht und weiteren.46
ähnlich simpler Rechtecke, Kreise oder weiterer
te nur imaginär bestehen? Könnte diese vierte
Diesbezüglich existiert offensichtlich schon eine
leicht darstellbare Formen. Innerhalb einer neu-
Ebene nicht auch andauernder veranschaulicht
breite Palette, jedoch betrachte ich die Thema-
en, vierten Ebene können diese abstrakten Ele-
werden? Erste Überlegungen bezüglich dessen
tik für mich als sehr komplex, sodass ich mich
Um sowohl meine eigenen Gedanken, als auch
mente durch unterschiedliche Formen, Position,
wurden bereits angestellt und auf technische
vorerst tiefgehender mit Gesten in Verbindung
Anzahl oder Geschwindigkeit des „Zeichnens“
Umsetzbarkeit hin untersucht. Bekannt ist uns
mit speziellen Geräten und Computern experi-
entsprechende Beziehungen und Informationen
die Thematik durch den Begriff der „Augmen-
mentell auseinander setzen musste.
erhalten. Wie am Beispiel der erklärten „Node“
ted Reality“, einer erweiterten Realität. Anfäng-
erhält ein einfacher Kasten durch entsprechen-
liche lichtdurchlässige Folien sowie transparente
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRRHN4TkJZdnJ6ZGs/edit 46
http://www.connected-home.de/ratgeber/zukunft-der-steuerung-gesten-sprache-google-glass-leap-motion-fernbedienung-1943252.html [gesehen am 30.06.14].
52 Integrieren von Grafiken in vorhandenen Diskussionen Mein Video-Clip „Visualisierung als unterstüt-
würde laut Herrn Jens Ewald die Kernaussage
zendes Element der Erklärung“ stellt ein Bei-
entscheidend verstärkt und fokussiert. Diese ge-
spiel dar, in welcher Form mit der neuen vierten
nannten Formen halfen ihm bereits, Studenten
Ebene umgegangen werden könnte. Um die
eine Thematik zu Sender und Empfänger zu ver-
verwendeten Rechtecke mit Informationen bele-
deutlichen. Durch Zeigen auf räumlich getrenn-
gen zu können, benötigte ich Diskussionen, wel-
te Objekte, in diesem Falle Rechtecke, sowie
che ich in dem Film verarbeiten konnte. So zei-
eine Linie als Verbindung entsteht eine Bezie-
gen die bearbeiteten Aufzeichnungen, wie ein
hung zueinander, die jedoch zugleich verdeut-
Kommilitone zum Beispiel seine Bachelor-Arbeit
licht, dass es sich um unterschiedliche Einhei-
zu erklären versucht und dabei vorerst einfache
ten, den Sender und den Empfänger, handelte.
2D-Elemente erzeugte und diese in den folgen-
Diese konnten wiederum während des Erklärens
den Schritten durch wenige einfache Bewegun-
gezielt angesprochen und gezeigt werden, so-
gen zu dreidimensionalen Körpern ausarbeitete (siehe Seite 52). Durch die Abstraktion und beschränkten Mög-
dass es sich nicht nur um "linkes Rechteck" und "rechtes Rechteck", sondern viel mehr um einen imaginären Sender und einen separaten Emp-
lichkeiten zur Darstellung werden die Formen
fänger in einer "Input-Output-Beziehung" han-
und Konstrukte sehr einfach gehalten und kön-
delte (siehe Seite 49).
nen sich beispielsweise auf wenige Rechtecke und Linien beschränken. Gerade dadurch aber
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRbGoxbjluVXZTdUE/edit 47
http://www.youtube.com/watch?v=9JkGf9vsJDA [gesehen am 30.06.14].
Zuletzt stieß ich auf ein Video von "MeinTutorTV - Atommodelle - Physik mit Homer"47. Hierbei wurde Brot mit der Geste offener, zueinander gehaltener Hände dargestellt. Anschließen wurde eine Hand zur Darstellung des "Durchhackens" und somit Zweiteilens des Brotes genutzt. Trotz des Entfernens einer Hand blieb die Bedeutung der verbleibenden Hand in Verbindung mit der verbalen Darstellung weiterhin bestehen, sodass auch Abläufe dargestellt werden konnten (siehe Seite 53). Weiterhin wurden gestikulierte Bilder genutzt, um das Unteilbare, also ein Atom, verständlich zu machen. Eine Kreisform ergänzte dabei das Atom um ein Proton, welches durch eine Zeigegeste zu einem kreisenden Objekt auf einer speziellen Umlaufbahn ausformuliert wurde.
54 Versuch mit mehreren Probanden Im nächsten Versuch ließ ich Probanden einen
versucht der Zuhörer eine Verbindung zwischen
solche Geste unterstützend sein und eine ver-
beliebigen Begriff erklären und nahm das Ge-
dem Gesprochenen und der Gestik herzustellen.
stärkende Wirkung erzielen. Somit wird deutlich,
schehen mit einer Kamera auf. Abhängig von
Sind die Gestikulationen dabei nicht bekannt
dass jederzeit versucht werden sollte, Gestik an-
dem Begriff und dem Charakter der jeweiligen
oder eignen sich in den Augen des Zuhörers
gemessen und bewusst einzusetzen.
Person variierten die Ergebnisse des Experimen-
nicht zur Verdeutlichung des Verbalen, kann ein
Neben der Verwendung reiner Gesten erhielt die
tes, welche unterschiedlicher als erwartet ausfie-
Widerspruch entstehen, der das Verstehen des
Probandin nach dem ersten Durchlauf die Mög-
len. Wie so oft war weiterhin eine Schüchternheit
Inhaltes erschwert oder gar unmöglich macht.
lichkeit, den Begriff erneut zu erklären - diesmal
vor der Kamera erkennbar, weshalb auch die
So gilt für uns beispielsweise der aufrecht nach
unter Zuhilfenahme eines Stiftes und einer Glas-
Gestikulation zaghafter ausfiel. Während eine
oben zeigende Daumen als ein Zuspruch, ein
scheibe. Es wurde eine deutliche Erleichterung
Probandin eine umfassende Thematik aus ihrem
Einverständnis, ein „Gut“ oder „Okay“. Versu-
der Probandin spürbar, die sich nun auf einem
Biologie-Studium zu erklären versuchte, nutzte
chen wir dieses Zeichen jedoch in Verbindung
weiteren Wege ausdrücken konnte. Offensicht-
sie wenig eindeutige und letztlich verwirrende
mit einem Gesprochenen „Nein“ zu verstehen,
lich konnte so mehr Inhalt verdeutlicht werden.
Gestik, welche zu Verständnisschwierigkeiten
treffen zwei gegensätzliche Aussagen aufeinan-
Zudem empfand sie es als angenehm, anstelle
führten. Dies zeigt, dass Gestik zwar immer
der: die Aussage verwirrt und ist nicht eindeu-
einer Tafel eine Glasscheibe nutzen zu können,
mit dem Gesprochenen in Verbindung gesetzt
tig verständlich. Werden hingegen vier Finger
die ein Hindurchsehen ermöglichte und durch
werden kann, diese aber nicht immer unterstüt-
an der Hand benutzt, um die Anzahl von etwas
welche der Blickkontakt bewahrt werden konnte.
zend wirken muss. Innerhalb eines Gespräches
zu verdeutlichen, kann die Aussage durch eine
56 Einer weiteren Probandin fiel es einfacher, Ges-
tern. Hierbei wurde eine Verbindung zu der be-
zen der Gesten gesteigert werden. Somit stellt
ten kreativ zu nutzen. Sie erklärte die drei ver-
kannten „Einer- und Andererseits“-Geste (siehe
der dritte Teil eine Kombination der beiden
schiedenen Punkte, was ein Laternen-Fisch sei,
Seite 73) deutlich, mittels derer sie auf der einen
vorhergehenden Versuchsschritte dar. Hierbei
wo er lebe und was seine Jagdstrategie sei.
Seite den kleinen Beutefisch und auf der ande-
wurden nun beispielsweise Linien als faktische
Anfangs nutzte sie die Form der Gestik allein:
ren Seite den Jagdfisch darstellte. Im zweiten
Anhaltspunkte aufgezeichnet, um das Wasser
um den Ort des Fisches zu verdeutlichen, be-
Teil des Experimentes, der die Verwendung der
zu verdeutlichen, flexible Informationen, wie die
wegte sie schrittweise ihre Hand nach unten.
Glasscheibe erlaubte, fiel auf, dass die Körper-
unterschiedlichen Wasserschichten jedoch mit
Dabei verdeutlichte sie schrittweise die ver-
sprache etwas verloren ging und mehr Konzent-
der freien Gestikulation der Hand. Schließlich
schiedenen Tiefenschichten des Meeres. An
ration auf das Zeichnen verwendet wurde.
gab die „Zeigegeste“ an, wo der Fisch zu finden
einer unteren Position ließ sie ihre Hand ruhen,
Als Erweiterung wurde das Experiment in ei-
sei. Zur Erklärung der Jagdstrategie nutzte die
um den Aufenthaltsort des Fisches zu verdeut-
nem dritten Teil so eingeschränkt, dass nur
Probandin drei gezeichnete Kreise (Jagdfisch,
lichen. Weiterhin malte die Probandin mithilfe
abstrakte Formen genutzt werden durften. So
seine Laterne, Beute) und zeigte durch Gesten
beider Hände einen kleinen und einen großen
sollte der Zwang, hochwertig zeichnen zu müs-
die Beziehungen zueinander auf (siehe Seite 57,
Fisch in die Luft, um die Jagdstrategie zu erläu-
sen, genommen und die Motivation zum Nut-
rechts unten).
Link zum Video: https://drive.google.com/file/d/0Bwtx5YXxlnvRMXc3THprcURMNDA/edit?usp=sharing
1. Durchgang: Gestik allein
2. Durchgang: Mithilfe von Aufzeichnungen
3. Durchgang: Nur mit Abstrakten Formen
58 Schlussendlich wird deutlich, dass die Proban-
gestikulieren. In meinen Augen sollte man es
den dazu neigten, beim Zeichnen schnell kom-
anstreben, Gesten bewusst und oft einzusetzen,
plex und detailliert zu werden, wobei die Ges-
um seinen Ausdruck zu verstärken. Vorteile da-
tik vernachlässigt wird oder ganz verschwindet.
bei sind unter anderem, dass Gesten die Merk-
Gesten sind offensichtlich immer sehr abstrakt
fähigkeit entlasten können und ein bildlicher
gehalten und eignen sich zum Verdeutlichen
Bezug zum Gesprochenen entsteht. Aus psy-
allgemeiner und leichter Informationen, blei-
chologischer Sicht kann sogar gesagt werden,
ben dabei jedoch immer allgemein und leicht
dass dadurch, dass mehr Raum für die Gesten
verständlich. Im Großen und Ganzen kann das
beansprucht wird, sich ebenso das Selbstwert-
Zeichnen auch als eine Art „Zeigegeste“ be-
gefühl steigert.57 Menschen, die bereits eine
trachtet werden, die Spuren hinterlässt und da-
ausgeprägte Körpersprache besitzen, werden
durch weitaus umfangreicher werden kann.
durch das Zeichnen jedoch eher abgebremst, während schüchterne Menschen mit ungeüb-
Mein Erkenntnisgewinn zu dem Experiment ist,
tem Umgang ihrer Gestik dies als sehr hilfreich
dass es Menschen gibt, die mehr oder weniger
und entlastend empfinden.
57
http://www.amica.de/liebe-psychologie/tid-3421/ratgeber-selbstbewusstes-auftreten_aid_7490.html [gesehen am 30.06.14].
60 Argumented Reality
62 Mir kam der Gedanke, ein Interface zu gestalten,
diesen Menschen, die ein Problem dabei haben,
das auf die Bedienung durch eigene, bewusst
einen Sachverhalt von Gedanken in Sprache zu
genutzte Gesten beruhte. Ich wollte erreichen,
übersetzen, ein Medium zu bieten, das ihnen
diese bereits erwähnten imaginären Konstrukte
eine neue und bessere Ausdrucksweise ermög-
und abstrakten Weisen der Erklärung angemes-
licht. Denkbar wäre so die Unterstützung von Le-
sen visuell darzustellen und wieder auszublen-
gasthenikern und Einwanderern, für welche die
den. Somit könnte bei Erklärungen eine Hilfe an-
Sprache oft ein großes Hindernis darstellt.
gezeigt werden, welche dann zurückgestellt und
Da ich durch persönliche Erfahrungen weiß, wie
bei Bedarf später auch erneut aufgerufen wer-
schwierig es ist, in diesen Bereichen Hilfe zu er-
den kann. Die Realisierung sollte im Rahmen der
halten, liegt mir dies sehr am Herzen. Zu beach-
neuen vierten Dimension erfolgen, in der Bilder
ten ist dabei für mich allerdings auch die Frage,
durch Gesten geschaffen werden und so abs-
ob diese Visualisierungen der vierten Dimensi-
trakte Konstrukte sichtbar machen sollten. Diese
on bei einer Diskussion hinderlich oder störend
neuartige Visualisierung würde besonders Men-
sein können. Dies gilt es im Folgenden noch zu
schen helfen können, die einen bildlichen Bezug
untersuchen.
benötigen, um einen Sachverhalt besser verstehen zu können. Meine Hilfe soll darin bestehen,
64 Versuchexperiment: Erklärende Diskussion Da mich das „Probanden-Experiment“ noch
eine große Basis hatte, um die Informationen
nicht zufrieden stellte, versuchte ich, genauere
mit Gesten darstellen zu können.
Untersuchungen durch Erzeugung von inter-
Mein persönliches Empfinden bei der Möglich-
aktiven Oberflächen des Programms VVVV zu
keit, mir auf eigene Weise Gedanken visuell
erlangen, wobei ich mich von „Playground 2D“
darstellen zu können, war sehr positiv. Zwar han-
(VVVV Programmoberfläche) inspirieren ließ (sie-
delte es sich immer noch um abstrakte Darstel-
he Seite 65).
lungen, jedoch waren diese für mich visuell er-
Im Grunde war eine Anzeige sichtbar, die das
fahrbar und baten mir eine weitere Möglichkeit,
Bild einer Webcam übertrug und vor der eine
Informationen für mein Gehirn verständlich zu
Person die Leap-Motion mit Gesten steuerte.
machen und vor allem nach meinen Wünschen
Diese Gesten wurden programmtechnisch aus-
darzustellen. Zu diesem Zeitpunkt hätte ich mir
gewertet, sodass im sichtbaren Bild Grafiken
allerdings weiterhin gewünscht, dass auch ande-
dargestellt werden konnten, die auf die ge-
re Personen an der Gestaltung meiner Visuali-
zeigten Gesten reagierten. Im Versuch erklärte
sierungen teilhaben könnten. Probleme stellten
mir ein Physikstudent per Fernübertragung am
sich für mich jedoch dar, als sehr viele Informa-
Computer einen Teil der Plasmaphysik. Um eine
tionen in kurzer Zeit darzustellen waren, da ich
ausgedehnte Diskussion führen zu können, frag-
mich hierbei nicht schnell genug auf visuellem
te ich bewusst oft und intensiv nach, sodass ich
Wege auszudrücken wusste.
66 Zwar unterstützte die vierte Ebene mich beim
In dem Video-Clip, in dem ich Flächen nachträg-
Verstehen der Thematik, allerdings musste ich
lich einfügte (Integrieren von Grafiken in vorhan-
auch feststellen, dass die zwischenmenschliche
denen Diskussionen, siehe Seite 53), wirkte die
Kommunikation eingeschränkt wurde, da ich
Gesamtszene, im Nachhinein betrachtet, ohne
mich nun neben dem reinen Zuhören und Ver-
die Visualisierungen viel authentischer. Somit
stehen auch auf das eigene Darstellen und Ver-
wäre eine weitere Überlegung, den Computer
arbeiten konzentrieren musste und die eigene
Gesten lernen zu lassen, die er interpretieren
Körpersprache (Mimik und Gestik) einfließen
und auf die er reagieren kann. Dies würde eine
lassen musste. Hier denke ich allerdings, dass
Interaktion mit Menschen ermöglichen. Zusam-
es trotz alledem eine Unterstützung bietet,
men mit einer Spracherkennung, könnte eine
wenn man etwas geübter geworden ist, ähnlich
Maschine somit eine große Fülle an Informati-
wie das Schreiben an der Tafel für einen Lehrer
onen alleine anhand unserer Ausdrucksformen
in der Schule, der es vermeiden sollte, seinen
gewinnen und auswerten. Möglichweise wäre so
Zuhörern zu oft den Rücken zuzuwenden (was
eine Auswertung der bestehenden Gefühlslage
beim Schreiben nicht ganz leicht ist).
umsetzbar.
68 Unterschied zwischen natürlichen und angepassten Gesten Grundsätzlich nutzt der Mensch zwei Arten von
Maus. Um auf einer Karte oder einem großen
se durch neue Steuerungsmöglichkeiten ersetzt.
Gesten. Das sind zunächst die Gesten, welche
Bild zu navigieren, wird zunächst per Mausklick
Aber auch die Verwendung der neuen Technolo-
die eigene Diskussion unterstützen und bekräf-
ein Punkt fixiert und dann in die entsprechen-
gien wie Leap Motion und/oder Kinect benötigt
tigen, aber auch die Gefühlslage widerspiegeln.
de Richtung gezogen. Analog wird bei einem
zunächst individuell für das System angepass-
Die zweite Art von Gesten nutzen wir eher in ei-
Touchscreen verfahren.
te Gesten. Für die relativ junge Technologie
nem technischen Hintergrund, wie zum Beispiel
Diese Art der Gesten wird als unnatürlich emp-
der Leap Motion wurde eine Gestenbibliothek
bei der Bedienung technischer Geräte. Diese
funden. Jedoch führte die ständige Nutzung zu
angelegt, in welcher bereits viele Gesten des
Arten von Gesten werden auch angepasste
einer Gewöhnung beziehungsweise Akzeptanz.
Touchscreens übernommen wurden (siehe Seite
Gesten genannt. Der Grund für die Verwendung
Trotz technischer Neuerungen in dem Bereich
69). Diese Bibliothek ist jedoch auf das jeweilige
solcher Gesten ist recht simpel: technische Sys-
der Gestensteuerung (z.B. Leap Motion, Kinect)
Programm beschränkt; jedes Programm hat also
teme nutzen eine sehr abstrakte Wahrnehmung,
verspürt der Mensch trotzdem das Bedürfnis,
seine eigene Bibliothek .
um Befehle zu erhalten. Hinzu kommt, dass die-
die Bedienung noch freier zu gestalten. Viele
se Befehle eine gewisse Eindeutigkeit benöti-
Arten der herkömmlichen Bedienung (z.B. Maus,
gen. Ein Beispiel hierfür sei die Bedienung der
Controller, Fernbedienung), werden schrittwei-
Schwierig gestaltet sich die Umsetzung unserer natürlichen Gesten in eine für Rechner verständliche Gestik. Dies liegt darin begründet, dass Gesten bei ihrer Umsetzung eine räumliche Komponente nutzen und ihre Bedeutung erst durch die komplexe Kreativität unserer Wahrnehmung bestimmt wird. Ein Ziel muss es daher sein, diese Komplexität soweit zu reduzieren, dass es für ein technisches System interpretierbar wird. Hierbei wäre anzustreben, dass das technische System sich an den Bediener anpasst und nicht umgekehrt. Der Ansatz meiner Arbeit ist deshalb der Versuch, unsere natürlichen Gesten für die Technik begreifbarer zu machen.
Zoomen mit der Leap Motion; ähnlich die Gesten beim Touchscreen
70 Charakter Gestik
72
„Vergiss es“
„Abwägen“
Hände ruhen in Halsnähe in gekreuzter Haltung,
Die Hände bewegen sich wie Waagschalen
fallen dann nach vorne. Ausdrucksstärke kann
beim Abwägen.
varieren.
„Darausfolgt“
„Und, und, und...“
Die Hand vollführt eine Drehung nach außen
Diese Geste ähnelt der vorherigen.
und ruht anschließend flach.
Auch hier wird eine Drehung der Hand gezeigt. Die Hand ruht jedoch nicht flach vor dem Körper.
„Einerseits und Andererseits“
„Präsentieren“
„Weiß nicht“
Zwei Seiten von etwas, z.B. eines Argumentes
Die Hände simulieren das Halten eines Objektes
Da hierbei das Achselzucken nicht zu erkennen
werden durch die Hände verdeutlicht. Sie dre-
und verharren dabei vor dem Körper, wo sie nur
ist, erscheint diese Geste nicht ganz eindeutig.
hen vom Körper in einem Halbkreis weg. Die fla-
leicht hin und her bewegt werden.
Die Hände bewegen sich mehrmals halbkreisförmig nach außen und gehen wieder in einem
che Hand symbolisiert das gerade Präsentierte.
Punkt zusammen.
„Schneller“
„Und so weiter ...“
„Gut“
Merhfache Kreisbewegung der Hand ohne Pau-
Stufenweise nach oben wird die Hand mit leich-
Im Gegensatz zu den vorherigen Gesten ist hier
se symbolisiert einen schnellen Vorgang oder
ten Kreisbewegungen nach außen bewegt.
keine Bewegung vonnöten, um dieses Zeichen
die Aufforderung dazu. Hierbei bestehen Ähn-
zu verstehen. Der nach oben gerichtete Daumen
lichkeiten zur „Und, und, und“-Geste. Sie wirkt
symbolisiert Zustimmung.
jedoch unkontrollierter.
74
„Schlecht“
„Klein“
Ebenfalls ohne Bewegung kommt die gegen-
Daumen und Zeigefinger in kleinem Abstand
sätzliche Variante aus. Jedoch fühlt sich die Aus-
zeigen etwas kleines, was man mit zwei Fingern
führung der Geste unangenhem an.
halten kann.
„Heiß“
„Hmm...“
Ähnliches gilt beim Streichen über die Stirn mit
Die Hand zum Kopf führen bedeutet in den
dem Handrücken.
meisten Fällen das Nachdenken oder Nervosität.
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRaXMwRks0X0IyUnc/edit
„Groß“
„Einsam“
„Kalt“
Hände "drücken" in flacher Haltung etwas aus-
Ein Zeichen von Einsamkeit ist das Streichen
Rubbeln der Hände am eigenen Oberköprer,
einander, ähnlich dem Drängeln in Massen, um
über die eigene Haut.
meist Oberarme. Eher als Pantomime definiert, selten gestisch verdeutlicht.
etwas zu erreichen, Handrücken außen. Man nähert sich also Deteils an, vergleichbar dem Hinein-zoomen in etwas, um Details zu sehen.
„Achso“
„Hohes Engagement“
Der Schlag auf die Stirn verdeutlicht einen plötz-
Beim Gestikulieren wird viel Raum beansprucht,
Mangelnde Ausnutzung des Raumes, sowie
lichen Einfall. Dies kann aber auch, je nach Hal-
was auf ein hohes Engagement und Selbstbe-
geringe Bewegung deuten hingegen auf Ver-
tung des Kopfes und Geschwindigkeit der Hand,
wusstein schließen lässt.
schlossenheit und Unsicherheit hin.
Bestürzung oder Enttäuschung ausdrücken.
„Schüchtern/ Nervös“
76 Gesten bedienen sich einem Muster kettungen von Einzelzeichen. Sichtbar wird dies
Gesten stellen ein Kulturgut dar, das wir seit
aktuellen Gedanken. Die Geste „Einer- und An-
Jahrtausenden kennen und verwenden – so-
dererseits“ (siehe Seite 73) wird beispielsweise
in der Unterscheidung der „Daraus folgt“- und
wohl unbewusst als auch gezielt – um unsere
immer dann verwendet, wenn es sich um zwei
der „Und und…“-Geste. Während die „Daraus
Gedanken darzustellen und zu verstärken. Für
verschiedene Sachverhalte handelt, die klar von-
folgt“-Geste nach einer kreisenden Bewegung
mich stellt es eine große Herausforderung dar,
einander unterschieden werden müssen. Wie
endet, beruht die „Und und…“-Geste auf dem
einer Maschine dieses Kulturgut „beizubringen“
nach der Philosophie von Ying und Yang; das
gleichen Grundelement, wiederholt jedoch die-
und im natürlich wirkenden Umgang nutzbar zu
eine kann ohne das andere nicht existieren (z.B.
se kreisende Bewegung mehrere Male und ver-
machen – eine einfache Gestik-Steuerung mit
ohne Nacht kein Tag, ohne Böse kein Gutes).
zichtet auf die endende offene, flache Hand, wodurch beide Gesten klar unterscheidbar werden
größtmöglicher Natürlichkeit. Aus meiner Beobachtung ging hervor, dass sich
Muster bestehen nicht nur aus der Haltung der
und eine unterschiedliche Bedeutung erhalten
die Gesten gliedern lassen. Dabei treten im-
Hand (flach, senkrecht, nach unten) oder einem
(siehe Seite 72).
pulsive aber auch zurückhaltende Varianten auf,
eindeutigen Gestenzeichen (Daumen hoch, Te-
ebenso Gesten zur Gliederung oder auch zur
lefonieren-Geste, Mittelfinger), sondern basie-
Verdeutlichung der eigenen Gefühlswelt oder
ren auch auf Bewegungsmustern oder gar Ver-
Es wurde mir klar, dass ich eine kleine Bibliothek zur Gestenauflistung und -unterscheidung ausarbeiten musste. Als Basis hierfür nutzte ich sowohl meine eigenen Erfahrungen als auch Beobachtungen aus Gesprächen mit Probanden aus Experimenten, Personen aus Filmen oder Bekannten in persönlichen Gesprächen. Den nach meinem Empfinden gängigsten Gesten ordnete ich schließlich passende Symbole zu, um das Verständnis für die Nutzung am Computer herzustellen.
78 Genauere Untersuchung von Gestenbildern am Beispiel Ich führte eine genauere Untersuchung mit dem
Im Grunde lässt sich sagen, dass wir fast immer
Vorwissen vom bekannten Gestenbildern am
gestikulieren.
Beispiel des Laternenfisches durch. Zunächst
geste“ soll dies nun erläutert werden. Sie wird
untermalte ich alle auffälligen Bewe-gungen
durch das Ruhen der Hände auf einem gewis-
und ordnete ihnen teilweise eine Funktion zu.
sen Punkt in Höhe des Bauches (siehe Seite 79,
Anhand
der
„Konzentrations-
Hierbei ist zu sehen, dass eine Funktion immer
links oben) dargestellt und wird von der Proban-
durch eine bestimmte Geste erfüllt wurde. Teil-
din sehr häufig verwendet, vor allem dann, wenn
weise wurde auch das Gesprochene durch die
sie sich gerade darauf konzentriert, etwas zu er-
Geste komplett ersetzt. Deutlich wurde dies, als
klären und entsprechend nichts darstellt. Dies
die Probandin den kleinen Fisch als Beute für
kann zum einen als ein Zeichen zur Vorbereitung,
den Laternenfisch darstellte, indem sie ledig-
etwas zu zeigen, oder als ein Zeichen dafür, dass
lich auf die Größe, bzw. das Größenverhältnis
gerade nichts dargestellt wird, verstanden wer-
verbal hinwies. Dies tat sie mithilfe der „Daraus-
den. Zudem dient diese Geste als Abgrenzung
folgt-Geste“. Diese Geste fungiert im konkre-
zum weiteren gestikulieren; sie stellt eine Art
ten Fall als Mittel zur Satzergänzung („kleiner
„Ruhepunkt der Gestik“ dar, ist aber selbst Teil
Fisch, ‚Draus-folgt-Geste‘, Beute für den großen Fisch“).
von ihr.
80 Beim erstmaligen Ansehen des Videomaterials
oder unterstützen. Ebenfalls interessant ist die
fallen die eingesetzten Gesten nur begrenzt
Beobachtung, dass die Probandin auf das von
auf. Man ordnet ihnen ebenfalls nicht sofort
ihr gezeichnete Bild des Laternenfisches Bezug
eine Funktion zu, sondern tut dies erst bei ge-
nimmt, indem sie darauf zeigt, obwohl es kein
nauerem Betrachten. Erst durch mehrmaliges
dauerhaftes Bild ist, welches für alle sichtbar
Ansehen einiger Sequenzen (z.T. auch in Zeit-
wäre. Dies wird in der Fassung, in welcher ich
lupe) wurden mir die Geste und die dazugehöri-
die Gesten mit Linien dargestellt habe, noch
ge Funktion bewusst. Diese Tatsache zeigt, dass
deutlicher. Daraus lässt sich ableiten, dass wir
Gesten so allgegenwärtig sind, dass wir sie zu-
mithilfe von Gestik in der Lage sind, Bilder zu
nächst nur unbewusst wahrnehmen und ebenso
schaffen und diese auch in unserem Kopf eine
benutzen. Erst durch genauere Betrachtung und
Form annehmen können, ohne dass sie in der
Analyse der einzelnen Gesten wird uns über-
Wirklichkeit existieren (siehe Seite 81).
haupt bewusst, wie wir das Gesagte ergänzen
Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRMXo3U2UwZFJFa0U/edit
82 Design von Gestenbefehlen Wenn ich die aktuellen Gestenbibliotheken der
Tastatur vor dem PC sitzt und etwas Bestimmtes
Computer anschaue, scheinen diese noch im
suchen möchte, wäre der Gestenbefehl eine Al-
anfänglichen Stadium sein, da die Art der Ges-
ternative zur Navigation mit Tastatur und/oder
tenbefehle sich je nach Programm und Medium
Maus. Dies würde einen weiteren Eingabeweg
unterscheidet. Es wäre hilfreich, allgegenwärti-
ermöglichen, welcher direkter und intuitiver
ge Gestenbefehle aufzustellen, die einfach und
wäre. Selbiges gilt für das Suchen nach Hilfe
intuitiv für den Benutzer sind. Hierbei wären
bei bestimmten Problemen: eine fragende Be-
Gesten geeignet, die möglichst natürlich sind.
wegung mit den Armen würde entsprechend
Dabei ging es mir weniger darum, eine vollstän-
ein Hilfefenster öffnen, welches Vorschläge zur
dige Bibliothek aufzustellen, sondern eher um
Lösung des Problems beinhaltet. Eine Herzens-
ein gutes Design jeder einzelnen Geste mit ihrer
angelegenheit vieler Nutzer ist das Speichern
Nutzung. Für eine gute und praktische Nutzung
von Dateien, was durch die Hand aufs Herz um-
wäre es wünschenswert, wenn der Computer
gesetzt werden könnte (siehe Seite 85).
zukünftig Hand in Hand mit Maus, Sprachsteuerung und Gestensteuerung zusammenarbeiten kann. In der Situation, in der man mit Maus und
84 Mein Ziel ist es daher, ein klares Design von Ges-
Die Grundlagen für die Gestenbefehle stam-
tenbefehlen zu erstellen, welches eine Vielzahl
men aus unterschiedlichen Gebieten. Zu nen-
von Nutzern einfach und intuitiv anwenden kann.
nen wären hier unter anderem Gebärdenspra-
Gleichzeitig sollen möglichst viele aktuelle und
che, Sport und Alltagssituationen. Auch die
auch zukünftige Medien und Programme dies
Beobachtungen meiner Experimente sowie per-
ohne Probleme erkennen und umsetzen kön-
sönliche Erfahrungen sind in die Erstellung der
nen, sodass stets die gleichen Resultate beim
Gestenbibliothek eingeflossen. So soll erreicht
Einsatz einer bestimmten Geste erzielt werden.
werden, dass diese möglichst einfach und intu-
Dies stellt eine große Herausforderung an die
itiv gestaltet ist.
Technik dar, wäre jedoch ein wünschenswertes Ziel für viele Nutzer unterschiedlicher Medien und Programme.
86 Das Ergebnis meiner Arbeit sellt der folgende
der Hand die „Und-und“-Geste zu nutzen, um
Computers bestimmte Gesten und Sprache zu
Film dar, welcher aufzeigt, wie die Gestenbefeh-
damit schrittweise herunter zu scrollen. Denkbar
erkennen. Zudem stelle ich einige besondere
le in Alltagssituationen integriert werden kön-
sind auch Situationen, in denen man nicht direkt
Gestenbefehle dar, wobei es nicht das Ziel ist,
nen und dass weiterhin gewisse Gesten als Be-
am Rechner sitzen möchte oder kann, wie z.B.
eine komplette Gestenbibliothek zu kreieren;
fehle (wie z.B. dem Durchzappen oder Scrollen)
bei der Essenszubereitung, wenn man am Com-
vielmehr geht es hierbei darum, von bestimm-
in bestimmen Bereichen einen viel leichteren
puter ein Rezept (z.B. im Internet) nachschlagen
ten Gesten unabhängig zu sein, wenn es wenige
Umgang ermöglichen. Als Beispiel sei hier die
möchte, die Hände aber jedes Mal vorher wa-
an der Zahl sind, aber diese Gesten in bestimm-
Bedienung einer Scrollleiste zu nennen: wenn
schen müsste, um die Tastatur oder Maus ver-
ten Situationen recht praktisch und angenehm
eine Scrollleiste durch die Auf- und Abwärtsbe-
wenden zu können; mit gezielten Gesten wäre
auszuführen sind, wie es der Film verdeutlichen
wegung einer flachen Hand bedient wird, ist die-
es auch kontaktlos möglich, mit dem Bildschirm
soll. Auf diese Weise soll gezeigt werden, dass
se Bedienung durch natürliche, leichte Eigen-
zu interagieren, was wesentlich einfacher wäre
es möglich wäre, dass die von mir entworfe-
bewegungen der Hand relativ ungenau. Diese
und weniger Mühe kosten würde.
nen Gesten für eine fiktive Interface- oder Pro-
Eigenbewegungen bewusst zu kompensieren
Dieser Film zeigt Situationen, die die Möglich-
duktvorstellung übernommen werden können.
wird zudem mit der Zeit relativ anstrengend. Es
keit simulieren, mit dem Computer über Ges-
wäre einfacher und sehr viel angenehmer, mit
ten zu interagieren, und fiktiven Technik des
90 Quellenangabe Bildverzeichnis Rückle, Horst, Körpersprache verstehen und deuten, Niedernhausen, 1991, S. 52. http://www.experto.de/wie-viel-kostet-ein-kind-995px-1024px.jpg [gesehen am 04.07.14]. http://commons.wikimedia.org/wiki/File:Pholcus.phalangioides.6905.jpg [gesehen am 04.07.14]. http://i.huffpost.com/gen/1763714/thumbs/o-TALKING-facebook.jpg [gesehen am 04.07.14]. http://1.bp.blogspot.com/-HpMRu-5dUho/Uk0LSPlk6sI/AAAAAAAAAWY/xF5-HLQnrkg/s1600/picstitch.jpg [gesehen am 04.07.14]. http://www.serviceplan.com/files/serviceplan.com/06_Press/Press-Releases/13-05-22_Facit%20Digital%20erforscht%20weltweit/03_Downloads/ facit_gesten_bewegungen.jpg [gesehen am 04.07.14]. http://4.bp.blogspot.com/_CCZ-xq7pHHQ/SoGllH5YTOI/AAAAAAAAEc4/u_NX9oTg7Ig/s1600-h/koerpersprache_2.jpg [gesehen am 04.07.14]. http://www.tauchbuecher24.de/popup_image.php/pID/360/imgID/1?XTCsid=ad23a5cb39c3daf9c0dc37a3ef8f8d60 [gesehen am 04.07.14]. http://ksk.iphpbb3.com/forum/download/file.php?nxu=27624767nx49372&id=1 [gesehen am 04.07.14]. http://www.bgbau-medien.de/zh/z103a/19.htm [gesehen am 04.07.14]. http://video.golem.de/pc-hardware/8062/leap-motion-demo-der-3d-steuerung.html [gesehen am 30.06.14]. http://www.theaftd.org/wp-content/uploads/2009/03/Support-Group.jpg [gesehen am 04.07.14].
Lituaturverzeichnis Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld,2002 Flusser, Vilém: Die Geste des Machers, in: Ders. (Hg.): Gesten: ein Buchprojekt von Fotographie-Studenten der Hochschule für Graphik und Buchkunst Leipzig, Brakel 1995 Hofemann, Nils (Hg.):Videobasierte Handlungserkennung für die natürliche Mensch-Maschine-Interaktion, Bielefeld, 2006 Reinecke, Wolfgang: Signale im Gespräch, Heidelberg, 1983 Müller, Cornelia: Körperbewegungen und ihre Bedeutungen, Berlin, 1998 Rückle, Horst: Körpersprache verstehen und deuten, Niedernhausen, 1991 Saffer, Dan: Designing Gestural Interfaces, Beijing [u.a.] : O‘Reilly, 2009 Weinemann, Martin (Hg.): München [u.a] : Elsevier [u.a.], 2005
Weblinks http://www.daserste.de/information/wissen-kultur/w-wie-wissen/sendung/sprechende-haende-100.html [gesehen am 06.04.14]. http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/die-grammatik-der-gesten/ [gesehen am 06.04.14]. http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/wie-die-haende-unser-denken-lenken/ [gesehen am 06.04.14]. http://www.n-tv.de/wissen/Gesicht-und-Gesten-verraten-alles-article7262441.html [gesehen am 06.04.14]. http://www.connected-home.de/ratgeber/zukunft-der-steuerung-gesten-sprache-google-glass-leap-motion-fernbedienung-1943252.html [gesehen am 30.06.14].
Filmquellen http://macht-maschine.de/?PID=static,geheimnisse,gestendermacht [gesehen am 06.04.14]. http://www.youtube.com/watch?v=9JkGf9vsJDA [gesehen am 30.06.14].
92 Danke f端r Ihr Interesse