Dokumentation: Interaction with Gesture

Gesture Interaction with Gesture Angelina Barkschat Bachelor Thesis Muthesius Kunsthochschule Industriedesign Sommersemester 2014

2

Gesture Gesture Interaction with Gesture Angelina Barkschat Bachelor Thesis Muthesius Kunsthochschule Industriedesign Sommersemester 2014 Betreut von: Prof. Frank Jacob Jens Ewald Fabian Hemmert Prof. Dr. Norbert M. Schmitz

4

Danksagung Auf diesem Wege möchte ich mich für die zuverlässige Unterstützung bei Prof. Frank Jacob, Jens Ewald, Fabian Hemmert, Chris Engler und Prof. Dr. Norbert Schmidt bedanken.

Weiter Dank gilt meinen Freunden Daniel Hofmann,

Daniel

Krawutschke,

Lukasz

Ry-

binski, Jan-Niclas Matthes, Markus Albrecht, Mona Schünemann, Katharina Lüftner, Hannes Werner, Cedric Berndt, Anna-Lena Neugebauer, Sina Malin Carstensen, Melissa Vogel, Tatjana Liese, Callum Gordon, Morgan Hartley und Noemi Hartley; für hilfreiche Ratschläge, Geduld und Freude am Schauspielern.

6

Inhalt

8

Einführung

10

Definition von Gestik

12

Warum gestikulieren wir?

13

Parallele Entwicklung von Sprache und Gestik

14

Gestischer Ursprung der Sprache

15

Primatenforschung

16

Gesten – ritualisierte Handlungen

17

Klassifikation von Gesten

18

Referentielle, Performative und Diskursive Gesten

19

Wahrnehmung

20

Verhältnis Gestik und Sprache

22

Gesten sind Zeichen von Intelligenz

24

Politik

25

Körper entlarven

26

Übersicht der praktischen Untersuchung

28

Schienenapparat an der Hand

30

Analoges Versuchsmodell an einer Hand

32

Versuchsmodell an einer Hand mit Flexsensor

34

Versuchsmodell an einer Hand mit Leap Motion

38

Zwischenfazit

40

Musiksteuerung durch Gesten

42

Digitale Visualisierung mit der Leap Motion

46

Untersuchung von drei Bereichen der Sinne mit der Leap

48

Faszination Gestik – Jens Ewald

50

Visualisierung als stützendes Erklärungs-Element

52

Integrieren von Grafiken in vorhandenen Diskussionen

54

Versuch mit mehreren Probanden

60

Argumented Reality

64

Versuchsexperiment: Erklärende Diskussion

68

Unterschied zwischen natürlichen und angepassten Gesten

70

Charakter Gestik

76

Gesten bedienen sich einem Muster

78

Genauere Darstellung von Gestenbildern am Beispiel

82

Design von Gestenbefehlen

88

Quellenangabe

8

Einführung „Mit Gebärden kann man alles unmissverständ-

re Betrachtung dieses Themenkomplexes. Im

lich ausdrücken. Worte können trügerisch sein,

Rahmen meiner Arbeit möchte ich mich dem

aber die Pantomime ist notwendigerweise ein-

Thema sowohl auf theoretische, als auch auf

fach, klar und direkt.“1

experimentelle Art und Weise nähern, um so

Diese Aussage lässt sich gleichlautend auch

diverse Situationen zu dokumentieren und zu

auf Gesten anwenden. Gesten treffen wir in un-

analysieren. Die hierbei gewonnenen Erkennt-

serem täglichen Leben nahezu immer an. Eine

nisse sollen jedoch keinen Anspruch auf eine

Konversation ohne Mimik und Gestik würde auf

universelle Lösung von Problemen, ganz gleich

uns befremdlich werden. Doch hierbei tun sich

welcher Art, erheben. Sie sollen lediglich eine

diverse Fragen auf: Was sind Gesten? Wozu sind

Grundlage und einen Anstoß zum Nachdenken

sie geeignet? Wozu nicht? Warum benutzen wir

über diverse zukünftige Produktideen sein.

sie? – All diese Fragen erfordern eine genaue-

1

Rückle, Horst; „Körpersprache verstehen und deuten“. Falken, Niedernhausen, 1991, S. 49.

10 Definition von Gestik Der Begriff „Gestik“ lässt von dem lateini-

(orig. „deliberate expressive movement“).5 In

standen wird, gehört zu diesen Aktionsfeldern,

schen Wort „gestus“ ableiten und bedeutet in

der Encyclopedia Americana definiert Hayes die

da der unterschiedliche Klang der Sprache un-

etwa „Mienenspiel, Gebärdenspiel";2 wissen-

Gestik als „jede bewusste oder unbewusste Kör-

terschiedliche Ausdrucksmöglichkeiten ermög-

schaftlich wird dieser Begriff allerdings anders

perbewegung, außer den Vokalisierungsbewe-

licht. Der Klang der Stimme des Sprechers ist

definiert. Nach Nöth werden Gesten als das

gungen, durch die wir entweder mit uns selbst

somit ebenfalls eine Form der Gestik.8

„Ausdruckspotential [des Menschen] mittels der

oder mit anderen kommunizieren".6 Demnach

Den Sprachklang in diese Betrachtung mit ein-

liegt bei Noeth, Kendon und Hayes der Focus

zubeziehen würde jedoch zu weit führen, denn

3

Arme, der Hände und des Kopfes“ verstanden.

Somit besteht der Bereich der Gesten aus dem

der Gestik auf bewussten Bewegungen mit dem

im Allgemeinen assoziieren die meisten Men-

Zusammenspiel von Körpersprache, Mimik, und

Ziel, die verbale Kommunikation zu unterstüt-

schen mit dem Begriff Gestik den Gebrauch von

jedweder anderen nonverbalen Kommunikation.

zen.7

Armen und besonders Händen. Gesten jedoch

Im engeren Sinne sind Gesten nach Kendon

Gestik schließt somit ein weites Spektrum an

ausschließlich auf die Bewegungen von Armen

auch als „Körperhandlungen nichtsprachlicher

Aktionsfeldern ein: Ausdruck des Gesichtes (Mi-

und Händen zu beziehen wäre dennoch falsch;

Art, mit der Absicht etwas zum Ausdruck zu brin-

mik), Haltung des Kopfes und Rumpfes, sowie

zum Verständnis einer Geste ist auch häufig die

gen“4 zu verstehen. Hier prägt er den Ausdruck

jegliche Haltungs- und Bewegungsgesten. Auch

Mimik ein Schlüsselelement.

von deliberativer ausdrucksfähiger Bewegung

der Klang der Stimme, der als vokale Geste ver-

Ein Beispiel ist die Drohgeste (siehe Seite 11).

Die gestreckten Finger allein könnte auch darauf hinweisen, dass die Person von etwas beeindruckt ist, drohen uns aber noch nicht. Erst der gesenkte Kopf betont die Aggression, die uns vermuten lässt, dass die Person droht.9 Die häufigsten und stärksten Ausdrucksformen, derer sich der Mensch zur Signalisierung der nonverbalen Kommunikation bedient, sind dennoch die Bewegungen von Händen und Armen.10 Daher wird diesem Part der Verständigung der meiste Raum in dieser Theorie Arbeit eingeräumt.

2

3

Vgl. Chalmann, Elena; Thiel, Sebastian (Hg.): Sprache |

5

Ebd. von b).

Gestik, Bielefeld,2002, S. 2.

6

Hayes, Encyclopedia Americana in: Ebd. von a).

Nöth, 2000 in:

7

Ebd. von b).

a) Chalmann, Elena; Thiel, Sebastian (Hg.): Sprache |

8

Vgl. Ganzer Absatz nach: Ebd von a), S. 3.

Gestik,

b) Reineke, Wolfgang: Signale im Gespräch, Heidelberg,

b) Hofemann, Nils (Hg.),Videobasierte Handlungserkennung für die natürliche Mensch-Maschine-Interaktion, Bielefeld, 2006, S. 14.

4

1983, S. 39.

9

Vgl. Rückle, Horst: Körpersprache verstehen und deuten, Niedernhausen, 1991, S. 52.

Kendon, 2004 in:

10

a) Ebd., S. 3.

berg, 1983, S. 39.

b) Ebd.

Vgl. Reineke, Wolfgang: Signale im Gespräch, Heidel-

12 Warum gestikulieren wir?

Unsere Gesten können in Konkurrenz zum Gespro-

chen, wenn man mit den Händen schneller kommu-

chenen treten. Denn mit Gesten können wir nicht

nizieren kann?12

nur das Gesagte untermauern, sondern sie können

Viele Gesten haben eine präzise und klare Aussa-

auch als eigenständige Sprache ver standen werden.

ge, wie zum Beispiel „Super“, „Stopp“ oder „Hal-

Gewisse Informationen oder Ideen lassen sich sogar

lo“, die auch über große Entfernungen oder eine

schneller durch eine Geste als durch Worte vermit-

laute Umgebung dem Partner nonverbal vermittelt

teln, z.B. das Winken mit der Hand zum Abschied.11

werden können. Somit bieten unsere Gesten einen

Die früheste präzise Geste, die wir aus unserem Le-

entscheidenden Vorteil, da Dinge viel schneller und

ben kennen, ist die Zeigegeste, das „da, da!“. Schon

deutlicher mit den Händen für das Gegenüber zu

zu Beginn des Säuglingsalters zeigen Kleinkinder auf

vermitteln sind als es gesprochen möglich wäre.13

ein Objekt, das ihre Aufmerksamkeit erregt, mit der

Mit der Gestik besitzen wir ein zweites Kommunikati-

Intention, das Objekt zu bekommen. Erst später

onsmedium, das wir sowohl bewusst als auch unter-

können die Kinder den dazugehörigen Satz: „Das da

bewusst nutzen.

möchte ich haben!“ artikulieren. Warum also spre-

11

Vgl. http://www.daserste.de/information/wissen-kultur/w-wie-wissen/sendung/sprechende-haende-100.html [gesehen am 06.04.14].

12

Ebd.

13

Ebd.

Parallele Entwicklung von Sprache und Gestik Um die Grundlage zu schaffen, Gesten anwen-

unsere Hand ein wichtiges Aktionsinstrument für

den zu können, musste der sich auf allen Vieren

den „Homo faber“ („Der herstellende/schaffen-

fortbewegende Hominide sich zuerst einmal zu

de Mensch“). Letztendlich können die mensch-

einer Form mit aufrechtem Gang entwickeln; hier

lichen Hände dann für die gestische Kommu-

sei als Beispiel die Gattung Homo errectus (lat.

nikation benutzt werden. Zugleich erfolgte die

„der aufrecht (gehende) Mensch“) zu nennen.

Weiterentwicklung des oralen und akustischen

Erst durch den aufrechten Gang sind die Arme

Sprachgebrauchs. Die Entwicklung von Sprache

frei, welche dann für die Nahrungsauf­ nahme

und Gestik fand hauptsächlich pa­rallel statt. Ein

verwendet werden können, welche folglich auch

Beweis hierfür, den man auch heute noch sieht,

die anatomische Ausprägung weiter förderte.

ist, dass es Verben gibt, die die Funktionen der

Diese Entwicklung brachte uns auch dazu, Werk-

Hand beschreiben, zum Beispiel „greifen, hal-

zeuge zu bauen und zu verwenden. Somit wurde

ten und zeigen“.14

14

Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld, 2002, S. 3.

14 Gestischer Ursprung der Sprache Anatomischen Studien zufolge sind die Pho-

ausdrücken konnte, ist bislang nicht möglich;

nationsorgane und der Vokaltrakt von nicht

man geht aber davon aus, dass der Beginn die-

humanoiden Primaten z.B. Schimpansen nicht

ses Prozesses ungefähr 500.000 Jahre zurück-

ausreichend ausgebildet, um eine ordentliche

liegt. Das bedeutet, dass Primaten hinsichtlich

Aussprache ermöglichen zu können. Eine ge-

ihrer Anatomie nur einen beschränkten Laut-

naue zeitliche Einordnung, wann die Entwick-

wortschatz von sich geben können; dafür zeigen

lung der Sprachorgane weit genug fortgeschrit-

sie eine erhöhte Lernfähigkeit bezüglich der

ten war, sodass der Mensch sich phonetisch

Gesten.15

15

Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld, 2002, S. 4.

Primatenforschung Innerhalb einer Gruppe verwenden Primaten

Da das Futter in diesen Moment gar nicht vor-

bewusst Gesten, um andere Mitglieder zu be-

handen ist, erfordert die Geste der bettelnden

einflussen, z.B. sie zum Spielen aufzufordern;

Hand eine Abstraktionsleistung.16

dabei gehen sie mit der Art und Weise der Ges-

Britische Primatenforscher fanden bei Orang-

ten recht kreativ vor. So wurde z.B. das Verhalten

Utans mindestens 64 verschiedene Gesten in

eines Orang-Utan-Weibchens beobachtet, das

ihrem Gestenrepertoire. Was hier ebenfalls zu-

sich durch eine Kopfbewegung zum m채nnlichen

grunde liegt, ist, dass schon unsere menschli-

Orang-Utan dessen Aufmerk-samkeit sichert

chen Vorfahren Gesten verwendet haben. So

und dann die flache Hand unter seinen Mund

kann man schlussfolgernd sagen, dass die

h채lt; dieses Zeichen dient dazu, Futter zu erbet-

Gestik vor unserer Aussprache entstanden sein

teln. Der Grund dieser Bettelgeste leitet sich

muss. Somit liegt der Ursprung der Sprachent-

vom Verhalten junger Orang-Utans ab, die das

wicklung in der Gestik. 17

Futter oft aus dem Mund der Mutter entnehmen.

16

Vgl. http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/die-grammatik-der-gesten/ [gesehen am 06.04.14]

17

Ebd.

16 Gesten – ritualisierte Handlungen Charles Darwin untersuchte universell verbreite-

Wenn aus einer praktischen eine gestischen

te Gesten, die wir in normalen Handlungen des

Handlung wird, wird dieser Vorgang Ritualisie-

Alltags verwenden, nach ihrem prä-humanen

rung genannt; dadurch kann aus einer prakti-

Ursprung und stellte folgende Hypothesen auf:

schen Handlung mit einem festen Muster eine Geste entstehen. Diese Muster können in ihrer

Bejahungsgeste: Der Ursprung liegt bei Säuglin-

Darbietung vereinfacht oder verstärkt sein, so-

gen, die ihren Kopf zur Mutterbrust neigen.

dass z.B. das bejahende Kopfnicken stärker aus-

Verneinungsgeste (Kopfschütteln): sie kommt

geführt wird als die ursprüngliche Bewegung.

von den seitlichen Kopfbewegungen, wenn sich

Selbst bei unterschiedlicher Entwicklung der

das Kind von der Brust abwendet.

verschiedenen Sprachen (aus unterschiedlichen

Willkommensgeste (ausgestreckte Arme und of-

Kulturen) lassen sich gewisse Gemeinsamkeiten

fene Hände): sie entstand aus praktischen Greif-

der Gestensprache erkennen („Universelle Spra-

handlungen.

che“).18

Stoppgeste (erhobene Hand mit Handfläche nach vorn): sie entwickelte sich durch das Abwehren einer entgegenkommenden Figur.

18

Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld, 2002, S. 4-5.

Klassifikation von Gesten Worin unterscheidet sich Gestik von den ande-

lung sein. Genauer heißt das, dass man in do-

Die Einteilung der Gesten in dominante Ap-

ren körperlichen Kommunikationsformen? Kör-

minanter, zeichnender Gestik einen Rahmen so-

pell- und Ausdrucksfunktionen, die wir z.B. bei

perbewegung, Körperhaltung, Blick und Mimik

wohl mit einem sanften, als auch eher heftigen,

der segnenden Geste des Priesters oder beim

können Auskunft über den Charakter des Spre-

ärgerlichen Bewegungsverlauf darstellen kann.

nachdenklichen Fassen an den Kopf kennen,

chers, sein System der kommunikativen Prozes-

Diese Geste ist eine gleichzeitige Realisierung

spiegeln nicht den Facettenreichtum der Gestik

se und seine soziale Rolle geben. Mit Gesten

von Ausdruck und Darstellung, worauf folgende

wieder. Solch eine begrenzte Sichtweise wird

kann ein Sprecher dem Gegenüber seine An-

Hypothese Bühlers beruht:20

der Vielschichtigkeit der Gesten nicht gerecht.

sicht der Welt vermitteln. Die Gestik wird auf die

„… warum sollen z.B. gestenhaft malende Hände

Gesten helfen, abstrakte und konkrete Darstel-

Bewegungen der Arme und Hände eingegrenzt,

nicht imstande sein, das eine Mal frisch und froh,

lungsmöglichkeiten in gestische Äußerungen zu strukturieren und zu gliedern, sowie die

weil diese die primäre Funktion besitzen, Sach-

ein zweites Mal wütend, ein drittes Mal zögernd

verhalte und Gegenstände in der Kommunikati-

und erschreckt den Akt des Zeichnens durchzu-

Sprechhandlung zu verdeutlichen. Anhand die-

on besser darzustellen.19

führen? Und wenn sie es vermögen, so stellen

ser Grundlage unterscheidet Cornelia Müller re-

Gestik ist multifunktional und vielseitig. Sie kann

sie dar und drücken aus in eins.“21

ferentielle, performative und diskursive Gesten:

viel mehr als nur Apell, Ausdruck und Darstel-

19

Vgl. ganzer Absatz nach: Müller, Cornelia: Körperbewegungen und ihre Bedeutungen, Berlin, 1998, S. 21.

20

Ebd. S. 24-25.

21

Bühler, 1933 in: Ebd. S. 25.

22

Ebd., S. 25.

18 Referentielle, Performative und Diskursive Gesten Die referentielle Geste stellt das Fundament

aufweist, sich von der begleitenden verbalen

einer sprachlichen Metapher dar. Sie vermittelt

Sprache zu lösen (z.B. Gesten des Bittens, Se-

eine Darstellung von Gegenständen (Uhr-Rah-

gens, Beleidigens oder Grüßens). Die Informa-

men), Eigenschaften (Rund-Sein der Uhr), Ver-

tionsübertragung funktioniert allein mit solchen

halten und Handlungen (etwas kleben), Ereig-

Gesten. 25

nissen (Wirbelsturm) oder dem Ort (Uhr steht im obersten Fach). Der Sprecher kann mit der re-

Die diskursive Geste gliedert die sprachlichen

ferentiellen Geste durch abstrakte Redegegen-

Äußerungen. So verweisen z.B. zweiphasige

stände (Uhr als runden Umriss nachzeichnen) im

rhythmische Hin- und Herbewegungen durch

23

Sachverhalt konkreter sein.

Wiederholen einer bereits verwendeten Geste die Verbindung auseinandergerissener Äu-

Performative Gesten stellen Äußerungen bild-

ßerungsteile oder verleihen eine syntaktische

lich dar. Man unterscheidet zwei Typen:

Struktur von Aneinanderreihung verschiedener

Der eine Typ ist mit der Gesprächssituation und

Gestenformen. Kennzeichnend für die Geste

dem Redefluss so eng verbunden, dass deren

ist, dass sie mit anderen Gestenformen über-

Ausbleiben die Rede sinnlos werden lassen wür-

lagern kann. So kann eine vorführende Geste

de (z.B. Gesten, die Argumente abwägen, vor-

durch rhythmische Auf- und Abbewegungen in

führen, auflisten oder zurückweisen). 24

ihren Argumenten eine deutlichere Prägnanz

Der zweite Typ wird häufig auch spracherset-

geben.26

zend eingesetzt, da er eine starke Tendenz

23

Ebd., S. 25.

24

Ebd., S. 26.

25

Ebd.

26

Ebd.

Wahrnehmung Gesten und Sprachen scheinen hinsichtlich ih-

der Bildhauerei. Durch unsere Hände erweisen

schaften des Anschauungsgebildes (Darstellung

rer Funktionalität ähnlich strukturiert, in ihrer

wir uns gestisch in unserer Welt einen Stand-

der Taille einer Frau).30

zeichenhaften Darstellung jedoch nicht. Gesten

punkt: wir agieren, zeichnen, modellieren und

Die repräsentierende Darstellungsweise spie-

beruhen mehr auf einem bildhaften Zeichensys-

repräsentieren.27

gelt den Sinneseindruck der kennzeichnenden

tem. Motiviert, nicht nur mehr Informationen zu

Gestalt des Anschauungsgebildes und deren

transportieren, sondern diese auch so deutlich

Die agierende Darstellungsweise spiegelt wie-

Bewegungen wieder (Zeiger als langes, dünnes

wie möglich zu machen, verwenden wir mehr

dererkennbare Wesenszüge aus dem Hand-

Objekt, das in Kreisform bewegt wird; Position

Zeichenformen. Gestische Darstellungen sind

lungsalltag wieder (Wischbewegungen beim

der Wanduhr im Raum).31

gleichzeitig bildnerische Darstellungen, die als

Fensterputzen, Auf- und Zubewegung einer

künstlerische Darbietung von einem selbst zu

Hand als Tratschen, imaginäre Schublade öffnen

Die Schöpfung der Gestenbilder resultiert aus

analysieren sind. Es gibt verschiedene Arten von

und etwas herausholen).28

der eigenen Wahrnehmung. Nach Arnheim gilt

Gestenbildern. Ähnlich der Bildenden Kunst,

Die zeichnende Darstellungsweise stellt Körper-

für Gesten, dass „jegliche Form aus dem be-

beruhen sie auf unterschiedlichem Darstellungs-

linien oder Umrisse eines Anschauungsgebil-

stimmten Medium gewonnen werden muß, in

und Abstraktionsvermögen. Kurz gefasst wer-

des dar (Den Weg durch Linien erklären, Umriss

dem das Abbild geschaffen wird“.32 Cornelia

den Gestenbilder durch unsere schöpfenden

einer Uhr nachzeichnen und nicht deren plasti-

Müller drück dies folgendermaßen aus: „Ges-

Hände mit künstlerischen Mitteln hergestellt.

schen Gestalt).29

ten sind Ausdruck kreativer bildnerische Abs-

Hände werden beim Gestikulieren zu Illustrati-

Die modellierende Darstellungsweise zeigt be-

traktion.“33

onsmitteln transformiert, vergleichbar mit Stift

deutungstragende Wesenszüge der Oberflä-

und Pinsel in der Malerei oder Gips und Ton in

chengebilde aus den dreidimensionalen Eigen-

27

Ebd., S. 27.

30

Ebd.

28

Ebd., S. 28.

31

Ebd.

29

Ebd.

32

Arnheim, 1954-1978 in: Ebd., S. 28.

33

Müller, Cornelia: Körperbewegungen und ihre Bedeutungen,Berlin, 1998, S. 29.

20 Verhältnis Gestik und Sprache Unterschied: Sprache und Gestik Genauso wie die Sprache sind auch die die

Gestik-Standard. Durch die Verwendung von

Sprache begleitenden oder alleinstehenden

Körperteilen zur Darstellung der Gesten nutzen

Gesten kontextsensitiv. So können Gesten, je

diese im Gegensatz zur Sprache eine dreidimen-

nach verwendetem Satz, eine unterschiedliche

sionale Komponente. Da es sich bei Gesten nur

Bedeutung annehmen. Letztendlich muss nur

um vereinfachte Darstellungen von Bildern han-

die Intention erkennbar sein. Während der Auf-

delt, ist ihr Informationsgehalt im Vergleich zur

bau einer Sprache gewissen Regeln wie Syntax

Sprache eher gering. 36

und Semantik unterliegt, existiert jedoch kein

36

Vgl. Ganzer Absatz nach: Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld,2002, S. 8.

37

Ebd., S. 8-9.

38

Ebd., S. 9 f.

Gemeinsamkeit: Sprache und Gestik Während Gesten und Sprache Informationen

Wegbeschreibung. Fragt uns eine ortsfremde

auf unterschiedliche Art und Weise übermit-

Person an einer Kreuzung nach dem Weg zum

teln, dienen jedoch beide dem Ziel der Infor-

Bahnhof, so deuten wir instinktiv in die Richtung,

mationsübermittlung. Sowohl Sprache als auch

in die die Person als nächstes gehen soll. Die

Gestik können getrennt voneinander verwendet

einfache Angabe: „einfach 200 Meter die Straße

werden. Während eine Kombination aus die-

runter und dann rechts“, ohne die Angabe einer

sen beiden Komponenten einen Informations-

Richtung durch Zeigen, erzeugt keine zusätzli-

gewinn darstellen kann, kann das Fehlen einer

che Information, da die ortsfremde Person die

der Komponenten auch zu einem Informati-

Richtung nicht kennt. 37

onsverlust führen, wie beispielsweise bei einer

Verbindung: Gestik und Sprache Gesten werden in ihrem Verlauf in drei Phasen

chen. Dabei greift der Sprecher bei dem Be-

unterteilt. Dies sind die Vorbereitende, die Zeit-

griff „Türgriff“ nach dem imaginären Griff und

gleiche und die Endende Phase. Die vorberei-

demonstriert das Öffnen einer Tür. Die Geste ist

tende Geste bildet den Auftakt, in der die Hand

jedoch schon vor Beenden des Begriffes vollen-

aus dem Ruhezustand in Aktion tritt, aber Spra-

det. McNeill begründet dies damit, dass wir uns

che noch nicht verwendet wird. In der endenden

zunächst eine bildliche Vorstellung im Kopf er-

Phase kehrt die Hand in die Ruheposition zurück.

zeugen, bevor es in Sprache umgewandelt wird.

So kann z.B. ein Sprecher das Öffnen einer Au-

In Gedanken werden Gestik und Sprache dann

totür mit den Worten „Sie griff zum Türgriff und

zusammengesetzt.38

öffnete die Autotür“ ihre Handlung verdeutli-

22 Gesten sind ein Zeichen von Intelligenz Während Sprache im Gehirn entsteht und nur

kam zu der Erkenntnis, dass Kinder Worte erst

einen verhältnismäßig kleinen Teil des Körpers

durch Gesten erlernen, indem sie zuerst auf ei-

nutzt, nutzt Gestik den gesamten Körper. Ges-

nen Gegenstand deuten, worauf die Mutter das

ten müssen genauso wie die Sprache erst vom

passende Wort verrät („Die Gesten der Kinder

Körper beziehungsweise Gehirn erlernt werden.

könnten das Wörterlernen indirekt unterstützen,

Daher ist es naheliegend, dass Gesten unter-

indem sie die Eltern im richtigen Moment zum

stützende Lernprozesse sind.

Sprechen bringen“39). Kinder sind damit in der

Ein Experiment mit Kindern aus unterschied-

Lage, bestimmte Begriffe auszudrücken, zu de-

lichen Bildungsschichten brachte folgendes

nen sie noch nicht in der Lage sind. Mithilfe der

Ergebnis hervor: Kinder aus höheren Bildungs-

Kernspintomographie konnte herausgefunden

schichten waren in der Lage, 24 Gesten wie-

werden, dass Gesten und Sprache dasselbe

derzugeben, während Kinder aus niedrigeren

Hirnareal verwenden. In einem weiteren Test

Bildungsschichten nur zur Wiedergabe von 13

konnte ermittelt werden, dass Gesten hilfreich

Gesten in der Lage waren. Diese Kinder wurden

bei der Bewältigung von Gedächtnisübungen

später einem erneuten Test unterzogen, welcher

waren. Bewegungen der Hände entlasten das

zu dem Ergebnis kam, dass Kinder, welche mehr

Gedächtnis, sodass dieses in der Lage ist, mehr

Gesten erlernt hatten, über einen deutlich grö-

Informationen aufzunehmen.40

ßeren Wortschatz verfügten. Goldin-Meadow

39

G oldin-Meadow, Universität Chicago in: http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/wie-die-haende-unser-denken-lenken/ [gesehen am 06.04.14].

40

Vgl., http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/wie-die-haende-unser-denken-lenken/ [gese-hen am 06.04.14].

24 Politik Es existieren unterschiedliche Anwendungs-

Helen Hammerfeldt, eine Diplom-Psychologin

deutschen Bundeskanzlers Willy Brandt im War-

formen für die Verwendung von Gestik. Die im

und anerkannter Coach für Körpersprache, be-

schauer Ghetto 1970, welcher bei den Zuschau-

unseren Alltag verwendeten Gesten wirken im

schreibt dies folgendermaßen: „Eine Glaubwür-

ern Emotionen weckt. Mit gefalteten Händen

Vergleich zu den Gesten, die in der Politik ver-

digkeit einer Person zielt 55% deren Körperspra-

kniet Brandt kerzengerade mit leicht gesenktem

wendet werden, eher schüchtern oder zurück-

che, zu 38% die Stimme und nur zu 7% der Inhalt

Blick. Brandt signalisiert damit Trauer, Würde,

haltend. Politiker setzen Gesten stark betont

der Worte.“41

Demut und Schuld aus, was in der Politik eher

und mit viel Ausdruck ein, um ihre Glaubwür-

Hierzu werden folgende Bilder analysiert:

eine seltene Geste ist.

digkeit und ihren Standpunkt besser zu vertre-

Auf dem linken Bild (siehe Seite 25) verwendet

Politiker arbeiten nicht nur allein mit Worten,

ten. Ausdrucksstarke Gesten vermitteln dem

der damalige französische Staatsprä-sident Ni-

sondern setzten auch verstärkt Gesten ein, um

Gegenüber Engagement, Dominanz und Füh-

colas Sarkozy eine weniger diplomatische Geste

ihre Ziele zu erreichen. Der ungeschriebene

rungskraft, im Sinne von: „Ich kann euch führen,

mit der Aussage: „Die spinnen doch“; dies ist

Grundsatz der Macht bestimmt darüber, ob das

also denkt so wie ich!“

grundsätzlich grenzwertig. Durch das sogenann-

Volk die Politik als Kasperletheater ausbuht oder

Als Barack Obama am 04.11.2008 als neuer Prä-

te „Vogel zeigen“ wird eine Abwehrreaktion

als unverfälschtes Mienenspiel applaudiert.42

sident der USA die Bühne betritt, ruft er dabei

beim Publikum provoziert, drückt aber auch

„Yes, we can!“. Dabei streckt er die Hand zum

eine starke Entschlossenheit sowie die Aussa-

Himmel und winkt den Menschen zu. Diese Art

ge „Leute, denkt so wie ich!“ aus. Ein perfektes

von Gesten ist in vielen Momenten der Politik

Beispiel für spontane und ehrliche Körperspra-

zu finden.

che hingegen ist der Kniefall des damaligen

41

Hammerfeldt, Helen, in: http://macht-maschine.de/?PID=static,geheimnisse,gestendermacht [gesehen am 06.04.14].

42

Unger, Christian: Alles in einer Hand, 2008, in: http://macht-maschine.de/?PID=static,geheimnisse,gestendermacht [gesehen am 06.04.14].

43

Vgl. http://www.n-tv.de/wissen/Gesicht-und-Gesten-verraten-alles-article7262441.html [gesehen am 06.04.14].

Körper entlarven Da der Körper und das Hirn sowohl im Denken als auch im Fühlen eng mit einander verwoben sind, spiegeln Gesten unsere Gefühle und Empfindungen wieder. Durch unbewusste Gesten können Lügen entlarvt werden. Ein sehr bekanntes Beispiel hierfür ist die Befragung des früheren US-Präsidenten Bill Clinton zu seiner Affäre mit Monica Lewinsky, bei der er mehrfach seine Unschuld beteuert. Psychiatern fielen dabei Clintons Gesten besonders auf, da er sich Französischer Staatspräsident Nicolas Sarkozy

Deutscher Bundeskanzler Willy Brandt

bei der Befragung wiederholt an die Nase gefasst hat. Der Grund, weswegen wir uns beim Lügen häufig an die Nase fassen, ist, dass die Nase in Stresssituation stärker durchblutet wird, wodurch diese um Bruchteile von Millimetern anschwillt.43

26 Ăœbersicht der praktischen Untersuchung

28 Schienenapparat an der Hand Als ich einmal einen kaputten Regenschirm zer-

zung der Bewegung wurde mir der Umgang mit

legte, fielen mir die langen Schienen auf, wel-

dem Modell erstaunlich schnell vertraut. Auch

che ich als Versuch um meine Finger befestigte.

bekam man durch das Ein- und Ausfahren der

Sowohl Aussehen, als auch die dazugehörige,

Schiene eine andere Art von Fingerbewegung,

flüssige Bewegung wirkten mit einer besonde-

vergleichbar mit der einer Spinne. Weiterhin

ren Ästhetik auf mich. Im Modell war auffällig,

verspürte man eine Überlegenheit und Sinne-

dass eine kleine Fingerbewegung in Sekunden-

serweiterung. Konkret ist damit gemeint, dass

schnelle über eine sehr beachtliche Länge über-

Vibrationen beim Kontakt mit Objekte an die

tragen werden konnte: streckte man einen Fin-

Finger weitergeleitet wurden und ich damit

ger aus, klappte die Schiene auseinander, zog

Gegenstände erfühlen konnte, die außerhalb

man den Finger zurück, zog sich die Vorrichtung

der direkten Reichweite meiner eigenen Finger

wieder zusammen. Durch die flüssige Überset-

lagen.

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRLVZTYi1mY3VwSXM/edit

30 Analoges Versuchsmodell an einer Hand Dieser Versuchsaufbau verdeutlicht die Mög-

soll, das Prinzip in seinen allgemeinen Grundzü-

lichkeit zur Übertragung der eigenen Handbe-

gen zu veranschaulichen und zu verdeutlichen.

wegungen mit Hilfe eines abstrakten Modells

Bereits durch ein so simples Modell wird auf

einer Hand. Die kleinen Röhren werden durch

erstaunliche Weise klar, wie gut der Effekt ei-

Fäden gesteuert, welche mit der Hand verbun-

ner natürlichen Bewegung funktioniert. Jedoch

den sind. Dabei sind diese Fäden jeweils an den

benötigt man zum Ziehen der Finger ein wenig

Fingerspitzen der abstrakten Hand befestigt

Kraft, sodass man einen kleinen Widerstand

und durchlaufen die Röhrchen, vergleichbar mit

spürt. Dies führt dazu, dass die Bewegung doch

den Sehnen einer echten Hand. Wird an einem

nicht ganz flüssig verlaufen kann, weil die Finger

Faden gezogen, streckt sich der entsprechende

durch den Widerstand ihre freie Bewegung ver-

Finger, bei Entspannung krümmt er sich wieder.

lieren. Darum wird die Bedienung, im Vergleich

Dieser Vorgang geschieht umgehend ohne Ver-

mit den nachfolgenden Experimenten, als unna-

zögerung und macht den Versuch direkt erfahr-

türlich empfunden. Ein zusätzlicher Nachteil ist,

bar. Die Anatomie einer menschlichen Hand ist

dass man mit der abstrakten Hand direkt ver-

dabei sehr viel komplexer als nur diese wenigen

bunden ist und so auch räumlich eingeschränkt

Sehnen des Modells, welches aber dazu dienen

ist.

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRY2VMQXhLSW9TeDg/edit

32 Versuchsmodell an einer Hand mit Flexsensor Das zweite Versuchsmodell ist dem Ersten ähn-

gen. So kann das Objekt auch über eine große

lich, jedoch wird hier die Sehne mithilfe eines

Entfernung gesteuert werden. Bei dem Modell

Servomotors gezogen. Wie weit die Sehne

fiel mir auf, dass die Übertragung der Informa-

vom Servo gezogen werden soll, wird anhand

tionen eine gewisse Zeit dauert, weshalb der

eines Flexsensors bestimmt. Der Flexsensor

künstliche Finger sich erst mit einiger Verzöge-

wird auf den Finger aufgelegt und misst die

rung bewegt hat. Dieses Versuchsmodell weißt

Krümmung des Fingers. Dies bedeutet, dass je

aber eine geringere Fehlerbewegung auf als

nach Bewegung der Finger der Flexsensor un-

der Nachfolgende mit der Leap Motion. Auch

terschiedliche Messwerte nimmt, die dann auf

hier verspürt man durch den Flexsensor einen

den Servo übertragen werden und die Sehne

Widerstand beim Bewegen des Fingers.

entsprechend spannt.

Dieses Versuchsmodell kann weiterentwickelt werden, so dass ein Handschuh verwendet werden kann. Die Daten werden dann mittels Funk oder eines entsprechend langen Kabels übertra-

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRZzBBdXRMeFAxVWc/edit

34 Versuchsmodell an einer Hand mit Leap Motion Dieses Versuchsmodell ist ähnlich zu dem Vo-

bei genau handelt. Ein weiteres Problem stellte

rangehenden, mit dem der Flexsensor einge-

die Filterung der Informationen dar. Die Lösung

künstliche Hand sollte sich dann flüssig und bei-

setzt wurde. Jedoch, anstelle des Flexsensors,

hierfür ist, die Daten nach den Werten auf der

nahe fehlerlos bewegen. Dadurch wäre das Ver-

Bewegungen nachgestellt werden können. Die

wird hier der Servo über das System Leap Mo-

X-Achse zu sortieren. So können die Daten mit

suchsmodell mit der Leap Motion dann besser

tion gesteuert. Die Leap Motion ist ein kleines

dem kleinsten X-Wert als Daten des Daumens

als die vorherigen Versuchsmodelle.

Gerät, welches über einen USB-Anschluss mit

und die mit dem größten X-Wert als Daten des

Die Nachahmung der Gesten wirkt durch die

einem PC verbunden wird. Die Leap Motion ver-

kleinen Fingers interpretiert werden. Das erfor-

Kontaktlosigkeit sehr natürlich. Des Weiteren

fügt über ein Sensorfeld, über das Finger und

dert, dass die Hand gerade über den Senor ge-

kann dieses Model über sehr große Entfernun-

Handgesten erkannt werden können.

halten werden muss.

gen gesteuert werden. Eine Möglichkeit ist, mit einem Computer die Information der Leap Mo-

Der Vorteil der Leap Motion besteht darin, dass

Zwischenzeitlich produzierte die Leap Motion

diese völlig kontaktlos funktioniert. Man braucht

Fehlermeldungen, da das Tracking der Finger

tion aufzunehmen und diese zu einem anderen,

nur die Hand über den Sensor halten; die Finger

mithilfe des Sensors nicht sauber verlief. Diese

entfernten Computer zu senden, welcher das

sind völlig frei (Siehe Seite 35).

Probleme sollen aber durch ein späteres Update

Ardurino-Board mit den dazu gehörenden Servo

44

(28.05.14) der Trackingsoftware auf V2 Beta be-

steuert. Dadurch müsste sich die Person, welche

Die Erstellung eines funktionierenden Proto-

hoben werden. Diese Version ist nun fähig, das

die künstliche Hand steuert, nicht mit der Hand

typs gestaltete sich schwierig. Das Problem der

gesamte Skelett der Hand zu tracken.

im selben Raum befinden. Andere Zeugen, die

Leap Motion ist, dass Daten für jeden Finger

Die Erkennung soll mit der V2 Beta der Tra-

das Versuchsmodell ausprobierten, waren total

aufgenommen werden, den sie erkennt, jedoch

ckingsoftware erstaunlich gut verlaufen, sodass

begeistert und fasziniert davon, die künstliche

erkennt sie nicht, um welche Finger es sich da-

sowohl schnelle, als auch ganz kleine, präzise

Hand kontaktlos steuern zu können.

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRanh6VTV4bUdGalE/edit 44

https://www.leapmotion.com/blog/leap-motion-v2-tracking-now-in-public-developer-beta/ [gesehen am 30.06.14]

36 VVVV -Programm-Oberfl채che

38 Zwischenfazit An den bisherigen Versuchsmodellen zeigte

sehr intuitiv, da das Modell die normalen, ver-

wurde dies mithilfe eines Gebisses, welches

sich, dass das sogenannte Mapping (die zeit-

trauten Bewegungen nachahmt. Der Informati-

einen abstrakten Mund darstellt. Das Öffnen

gleiche Umsetzung der Bewegung der Hand

onsgehalt verringert sich nicht, da die abstrakte

der Hand entspricht dabei dem Öffnen des

auf Bewegungen des größeren Handmodells)

Gestalt und die dazugehörige Bewegung der

Mundes, entsprechend auch das Schließen der

besser auf digitale Art und Weise umzusetzen

Finger sehr gut als Bewegung normaler Finger

Hand. Die Sprechen-Handgeste wurde so auf

ist als mithilfe der analogen Bedienung. Weiter-

zu identifizieren ist.

einen tatsächlichen Mund umgesetzt, welcher entsprechend der Handbewegung spricht. Die

hin ist es interessant, festzustellen, dass das sehr einfach gehaltene Handmodell für diesen Zweck

Bis hierhin wurden nur die aufgezeichneten

Bewegung der Hand führt also zu einer umge-

sehr gut geeignet ist und im Vergleich zu kom-

Gesten wiedergegeben, es fehlte die Umset-

wandelten Aktion. Dadurch entsteht eine Ver-

plexeren Modellen, wie beispielsweise einer

zung der Information. Die daraus entstandene

änderung der übertragenen Informationen, im

Roboterhand, ebenso flüssige, wenn nicht sogar

Kommunikation gewann bisher keinen Informa-

Vergleich zur Mimikry. Eine ähnliche Umsetzung

flüssigere und natürlicher wirkende Bewegun-

tionsgehalt hinzu. Eine Möglichkeit, an dieses

von Handgesten auf unähnliche Aktionen sieht

gen zustande bringt. Diese höher technisierten

Problem heranzugehen, war die Übertragung

man bei der Gestensprache am Touchscreen

Handmodelle sind jedoch für andere Zwecke

der Information auf ein anderes Medium. Eine

(siehe Seite 39).

konzipiert, z.B. das Greifen einer handelsübli-

Überlegung hierzu war es, eine bestimmte Ges-

chen Flasche, welches noch heute Probleme

te, wie beispielsweise das Öffnen und Schließen

aufweist. Mein Handmodell eignet sich für die

der Hand, auf eine Figur zu übertragen, welche

Mimikry der steuernden Bewegungen sehr gut.

nichts mit der Hand zu tun hat, diese Geste aber

Das Gefühl, eine fremde Hand zu steuern, ist

sinnvoll umwandeln kann. Konkret umgesetzt

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvReDJXRkdvTEh4QUU/edit

40 Musiksteuerung durch Gesten In diesem Versuchsmodell wurde eine Verknüpfung von Geste und Musik geschaffen. Mit Hilfe der Leap Motion ist es mir gelungen, Musik mittels meiner Hände zu gestalten. Je nach Positionierung der Hand konnte ich den Sound schneller, langsamer, lauter oder leiser modellieren.

Das faszinierende war, dass ich das Gefühl hatte, Musik ertasten zu können, obwohl eigentlich nur Luft zwischen den Fingern lag. Da aber die Interaktion zeitgleich mit der Bewegung meiner Hand verlief, vermittelt der Sinn eine Art Berührung der Geräuschkulisse.

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRZ1I5blZJejU4ZHM/edit

42 Magie

44 Digitale Visualisation mit der Leap Motion In diesem Versuchsmodell geht es darum, Ges-

im totalen Einklang mit der Bewegung stand.

Kügelchen zusammengesetzt sind. Hält man

ten visuell „ertastbarer“ zu machen. Dazu habe

Bei dem „Magic Sparks“-Effekt wurden von

die Hand in einer geschlossenen Position, ver-

ich drei Szenarien generiert: „Flexible Web“,

jeder Fingerspitze aus kleine Leuchtperlen ver-

gleichbar mit einer Greifbewegung, so sieht

„Magic Sparks“ und „Magical Ball“ (siehe Seite 45).

sprüht, welche zu einer flüssigen Handbewe-

man den magischen Ball, zusammengesetzt aus

gung eine Spur ebendieser Bewegung hinter-

den kleinen Leuchtkügelchen. Öffnet man nun

Das „Flexible Web“ ist ein Netz, welches sich

ließen. Zur Umsetzung wurde die VVVV Node

die Hand vollständig und streckt sie zu einer Flä-

der Handbewegung des Nutzers anpasst. Das

„Spray" genutzt. Dieser Effekt ist vergleichbar

che, so sieht man, wie sich der Ball immer weiter

bedeutet, dass sich das Netz an genau der Stel-

mit den magischen Effekten, welche man in den

vergrößert, bis schließlich die kleinen Kügel-

le wölbte, an der sich die Hand befand. Nach-

Medien sehen kann. Es fühlt sich an, als würde

chen in alle Richtungen davonwirbeln.

dem die Hand weggezogen wurde, schwang

man zaubern. Durch die sinnliche Erweiterung

Alle drei Szenarien dieses Versuchsmodells wur-

sich das Netz wieder in seiner Ursprungsposi-

meiner Hände war ich selbst dazu geneigt,

den durch die Interaktion mit der Leap Motion

tion ein. Realisiert wurde dieser Effekt mithilfe

durch die Luft zu dirigieren, ähnlich wie der Diri-

gesteuert. Die holographische Projektion der

der VVVV Node „Damper“. Der Effekt war sehr

gent eines Orchesters.

Bilder in die Luft erfolgte mithilfe eines Tricks.

schön zu beobachten, da sich das Gitter der

Das dritte Szenario, der „Magical Ball“, stellt

Dabei platzierte ich meinen Laptop direkt vor

Handbewegung ohne Kontakt anpasste und so

einen Ball dar, dessen Außenlinien aus kleinen

einer Glasscheibe und stellte den Kontrast

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRUGpEWVlHV2s3b3c/edit

möglichst hoch ein. Zudem nutzte ich in den projizierten Bildern nur Schwarz und Weiß, um den Kontrast so hoch wie möglich zu bekommen. Dadurch wurde das weiße Licht des Laptopmonitors auf die Glasscheibe projiziert, wohingegen der schwarze Anteil für die Kamera unsichtbar war. Die Kamera stellte ich direkt hinter den Laptop, sodass diese die Spiegelung

Flexible Web

auf dem Glas, sowie den Benutzer des Versuchs hinter der Glasscheibe filmte. Beim Vorführen des Experimentes waren andere Personen fasziniert von der Einfachheit und Direktheit der Bewegungen. Zudem wirkte das blaue Licht sehr ästhetisch. Man konnte feststellen, dass sie dies ebenfalls ausprobieren möchten.

Magic Sparks

Magical Ball

46 Untersuchung von drei Bereichen der Sinne mit der Leap Motion „Wenn das Herstellen von Werkzeugen wie jedes

Werkzeuge verstehen zu können, ist es notwen-

beliebige andere Machen auch ist, wenn die

dig, auf die anfängliche Beschreibung der Geste

wohl akustisch als auch optisch und haptisch

Hände in dieser Geste ihre Berufung finden und

des Machens zurückzukommen.“45

verändern und beeinflussen. Es liegt ein großer

seren nackten Händen unsere Umgebung, so-

durch diesen Gestenraum miteinander überein-

Wie in dem Vergleich zu Vilém Flussers Zitat

Einfluss in unseren Gesten, der uns zumeist gar

stimmen können – warum soll man dann über-

zeigt mein Handapparat durch die Verschmel-

nicht direkt bewusst wird. Man ist plötzlich durch das Experiment zu dem fähig, was früher als He-

haupt zwischen anfänglichen und abgeleiteten

zung der Hand und den Schienen eine solche

Gegenständen unterscheiden? - Die einfache

Metamorphose, die es erlaubt, sehr weit in

xerei und Zauberei bekannt war. Zauberei wurde

Antwort darauf lautet: weil die mit Werkzeugen

den Raum (hin-)eingreifen zu können. Bei dem

als etwas empfunden, was für Menschen unbe-

ausgerüsteten Hände sich von den nackten, un-

oben genannten Zitat fällt zudem auf, dass es

greiflich galt. Allein Hände reichen aus, um die

bestückten unterscheiden. Zusammen gehen

für natürlich hingenommen wird, Werkzeuge zu

Umwelt zu beeinflussen.

sie eine Metamorphose ein, in der das Werk-

verwenden, um etwas zu beeinflussen und zu

zeug die Hände simuliert, die Hände aber auch

modellieren. Mit meinem Experiment hingegen

gleichzeitig das Werkzeug sind. Um die Wirkung

zeige ich, dass das Werkzeuge in dieser Form

dieser Metamorphose der Hände durch die

nicht vonnöten sind. Wir können allein mit un-

45

Flusser, Vilém: Die Geste des Machers, in: Ders. (Hg.): Gesten: ein Buchprojekt von FotographieStudenten der Hochschule für Graphik und Buchkunst Leipzig, Brakel 1995, S. 117.

Haptisch

Akustisch

Optisch

48 Faszination Gestik Auch bei weiteren Personen in meinem Umfeld

Der Umgang mir der Leap Motion weckte für

Gespräche erklärte er das Prinzip von „Nodes“,

mich die Faszination der Interaktion mit Objek-

also Knotenpunkten logischer Verbindungen

konnte ich dieses Phänomen, Gesten zu nutzen,

ten an einer Glasscheibe und den Möglichkeiten

im Rahmen der Programmierung wie mit dem

um Objekte imaginär zu erzeugen und als Basis

zur Visualisierung. Diese wurde zusätzlich durch

Programm VVVV. Gestikulierend zeichnete Herr

zur Verständigung zu verwenden, beobachten.

meine Beobachtungen und Gespräche mit ei-

Ewald einen imaginären Kasten in die Luft, den

Dies führte mich zu der Überlegung, diese flüch-

nem Dozenten der Muthesius Kunsthochschu-

er mit seinen Händen in Bereiche unterteilte

tigen und nur imaginären Objekte tatsächlich

le, Herrn Jens Ewald, verstärkt. Somit wandte

und diesen Ziffern zuordnete. Dieses Konstrukt

sichtbar zu machen. Mir kam der Gedanke, die

ich mich voll und ganz der Frage zu, in welcher

nutzte er für seine weiteren Erklärungen: „Von

bereits existierenden Ebenen der gesprochen

Form wir Gesten verwenden.

der Eins ausgehend wandert sie weiter zur Zwei-

Sprache, der Körpersprache und der vokalen

Wie viele andere griff auch Herr Ewald auf bild-

ten, welches keine Information enthält und so

Geste, also dem Klang der Stimme und ihrem

liche, imaginäre Elemente zurück, die er neben

zur Dritten wandert, bis der Rechner am Ende

Tonfall, um eine weitere vierte Ebene zu erwei-

den visuellen Mitteln des Zeichnens oder Schrei-

angelangt ist und so wieder von vorne beginnen

tern. Wäre es nicht reizvoll, ein nur imaginär

bens zur Erklärung von Thematiken verwandte.

muss.“ Auf diesem Wege konnte er mir diese

existierendes Konstrukt tatsächlich sichtbar zu machen?

Dabei erzeugte er durch Gestik Objekte in der

sonst nur schwer begreifliche, virtuelle Thematik

Luft, die tatsächlich aber nur in der Vorstellungs-

veranschaulichen und erzeugte eine kreative Ba-

kraft der Beteiligten existierten. In einem unserer

sis zur gegenseitigen Verständigung.

Die Gespräche mit Herrn Ewald zeigten mir weiterhin, dass auf gestalterischem Wege, durch Abstraktion von Erklärungen, Themen verständlicher ausgedrückt werden können.

Konnte ich eine seiner Ausführungen nicht eindeutig nachvollziehen, wiederholte er seine Aussage in abgewandelter, abstrakter Form: "Wenn A und B nicht zusammen passen, man somit aber merkt, dass eine Verbindung zwischen B und C existiert, dann ist das doch eine Erkenntnis!" Auch wenn A, B und C nicht wirklich existierten und die Aussage wenig umfangreich war, half mir diese Abwandlung beim Verständnis seiner Aussage.

So gewann ich für mich die Erkenntnis, dass eine Argumentation sowohl gestalterisch, als auch sprachlich ausformuliert sein kann.

Ebenso können Gesten als gestalterisch kreatives Mittel genutzt werden, um zu argumentieren und bekräftigen mich in meiner These, dass auch sie wesentliche Informationsträger sind.

50 Visualisierung als stützendes Erklärungs-Element de Ergänzungen der bestehenden Ebenen eine

Bildschirme haben sich bis zum Google-Glass,

die Informationen aus Gesprächen und meiner

weitaus umfangreichere Information als die sim-

einer speziellen Brille zur visuellen Sinneserwei-

weiteren Arbeit sinnvoll zu organisieren und in

ple Existenz einer geometrischen Form. Durch

terung, entwickelt und können beispielsweise

eine verständliche Form zu bringen, erzeugte

die Aufteilung und verbale Ergänzung als Num-

bei Nachrichtendiensten wie Skype verwendet

ich einen Video-Clip, der veranschaulichte, wie

mer 1 der Auflistung entsteht eine Hierarchie

genutzt werden. In die Erweiterung der Umwelt

eigens kreierte, imaginäre Objekte im Rahmen

zu weiteren Formen. Es wird schnell ersichtlich,

fließt zudem auch die Erfassung der Umwelt ein,

einer Diskussion eingebracht und genutzt wer-

dass bereits einfache Abstraktionen einen enor-

beispielsweise durch Geräte wie der Microsoft

den könnten. Der Rahmen, in dem wir unsere

men Informationsträger formen und große Kom-

Kinect, der Leap Motion, dem Myo-Armband,

Gesten allgemein verständlich ausdrücken kön-

plexität erreichen können (siehe Seite 51).

Wärmebildkameras, Trackern für Stimme oder

nen, beschränkt sich auf sehr abstrakte Formen,

Warum aber sollten solche komplexen Konstruk-

Gesicht und weiteren.46

ähnlich simpler Rechtecke, Kreise oder weiterer

te nur imaginär bestehen? Könnte diese vierte

Diesbezüglich existiert offensichtlich schon eine

leicht darstellbare Formen. Innerhalb einer neu-

Ebene nicht auch andauernder veranschaulicht

breite Palette, jedoch betrachte ich die Thema-

en, vierten Ebene können diese abstrakten Ele-

werden? Erste Überlegungen bezüglich dessen

tik für mich als sehr komplex, sodass ich mich

Um sowohl meine eigenen Gedanken, als auch

mente durch unterschiedliche Formen, Position,

wurden bereits angestellt und auf technische

vorerst tiefgehender mit Gesten in Verbindung

Anzahl oder Geschwindigkeit des „Zeichnens“

Umsetzbarkeit hin untersucht. Bekannt ist uns

mit speziellen Geräten und Computern experi-

entsprechende Beziehungen und Informationen

die Thematik durch den Begriff der „Augmen-

mentell auseinander setzen musste.

erhalten. Wie am Beispiel der erklärten „Node“

ted Reality“, einer erweiterten Realität. Anfäng-

erhält ein einfacher Kasten durch entsprechen-

liche lichtdurchlässige Folien sowie transparente

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRRHN4TkJZdnJ6ZGs/edit 46

http://www.connected-home.de/ratgeber/zukunft-der-steuerung-gesten-sprache-google-glass-leap-motion-fernbedienung-1943252.html [gesehen am 30.06.14].

52 Integrieren von Grafiken in vorhandenen Diskussionen Mein Video-Clip „Visualisierung als unterstüt-

würde laut Herrn Jens Ewald die Kernaussage

zendes Element der Erklärung“ stellt ein Bei-

entscheidend verstärkt und fokussiert. Diese ge-

spiel dar, in welcher Form mit der neuen vierten

nannten Formen halfen ihm bereits, Studenten

Ebene umgegangen werden könnte. Um die

eine Thematik zu Sender und Empfänger zu ver-

verwendeten Rechtecke mit Informationen bele-

deutlichen. Durch Zeigen auf räumlich getrenn-

gen zu können, benötigte ich Diskussionen, wel-

te Objekte, in diesem Falle Rechtecke, sowie

che ich in dem Film verarbeiten konnte. So zei-

eine Linie als Verbindung entsteht eine Bezie-

gen die bearbeiteten Aufzeichnungen, wie ein

hung zueinander, die jedoch zugleich verdeut-

Kommilitone zum Beispiel seine Bachelor-Arbeit

licht, dass es sich um unterschiedliche Einhei-

zu erklären versucht und dabei vorerst einfache

ten, den Sender und den Empfänger, handelte.

2D-Elemente erzeugte und diese in den folgen-

Diese konnten wiederum während des Erklärens

den Schritten durch wenige einfache Bewegun-

gezielt angesprochen und gezeigt werden, so-

gen zu dreidimensionalen Körpern ausarbeitete (siehe Seite 52).

Durch die Abstraktion und beschränkten Mög-

dass es sich nicht nur um "linkes Rechteck" und "rechtes Rechteck", sondern viel mehr um einen imaginären Sender und einen separaten Emp-

lichkeiten zur Darstellung werden die Formen

fänger in einer "Input-Output-Beziehung" han-

und Konstrukte sehr einfach gehalten und kön-

delte (siehe Seite 49).

nen sich beispielsweise auf wenige Rechtecke und Linien beschränken. Gerade dadurch aber

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRbGoxbjluVXZTdUE/edit 47

http://www.youtube.com/watch?v=9JkGf9vsJDA [gesehen am 30.06.14].

Zuletzt stieß ich auf ein Video von "MeinTutorTV - Atommodelle - Physik mit Homer"47. Hierbei wurde Brot mit der Geste offener, zueinander gehaltener Hände dargestellt. Anschließen wurde eine Hand zur Darstellung des "Durchhackens" und somit Zweiteilens des Brotes genutzt. Trotz des Entfernens einer Hand blieb die Bedeutung der verbleibenden Hand in Verbindung mit der verbalen Darstellung weiterhin bestehen, sodass auch Abläufe dargestellt werden konnten (siehe Seite 53).

Weiterhin wurden gestikulierte Bilder genutzt, um das Unteilbare, also ein Atom, verständlich zu machen. Eine Kreisform ergänzte dabei das Atom um ein Proton, welches durch eine Zeigegeste zu einem kreisenden Objekt auf einer speziellen Umlaufbahn ausformuliert wurde.

54 Versuch mit mehreren Probanden Im nächsten Versuch ließ ich Probanden einen

versucht der Zuhörer eine Verbindung zwischen

solche Geste unterstützend sein und eine ver-

beliebigen Begriff erklären und nahm das Ge-

dem Gesprochenen und der Gestik herzustellen.

stärkende Wirkung erzielen. Somit wird deutlich,

schehen mit einer Kamera auf. Abhängig von

Sind die Gestikulationen dabei nicht bekannt

dass jederzeit versucht werden sollte, Gestik an-

dem Begriff und dem Charakter der jeweiligen

oder eignen sich in den Augen des Zuhörers

gemessen und bewusst einzusetzen.

Person variierten die Ergebnisse des Experimen-

nicht zur Verdeutlichung des Verbalen, kann ein

Neben der Verwendung reiner Gesten erhielt die

tes, welche unterschiedlicher als erwartet ausfie-

Widerspruch entstehen, der das Verstehen des

Probandin nach dem ersten Durchlauf die Mög-

len. Wie so oft war weiterhin eine Schüchternheit

Inhaltes erschwert oder gar unmöglich macht.

lichkeit, den Begriff erneut zu erklären - diesmal

vor der Kamera erkennbar, weshalb auch die

So gilt für uns beispielsweise der aufrecht nach

unter Zuhilfenahme eines Stiftes und einer Glas-

Gestikulation zaghafter ausfiel. Während eine

oben zeigende Daumen als ein Zuspruch, ein

scheibe. Es wurde eine deutliche Erleichterung

Probandin eine umfassende Thematik aus ihrem

Einverständnis, ein „Gut“ oder „Okay“. Versu-

der Probandin spürbar, die sich nun auf einem

Biologie-Studium zu erklären versuchte, nutzte

chen wir dieses Zeichen jedoch in Verbindung

weiteren Wege ausdrücken konnte. Offensicht-

sie wenig eindeutige und letztlich verwirrende

mit einem Gesprochenen „Nein“ zu verstehen,

lich konnte so mehr Inhalt verdeutlicht werden.

Gestik, welche zu Verständnisschwierigkeiten

treffen zwei gegensätzliche Aussagen aufeinan-

Zudem empfand sie es als angenehm, anstelle

führten. Dies zeigt, dass Gestik zwar immer

der: die Aussage verwirrt und ist nicht eindeu-

einer Tafel eine Glasscheibe nutzen zu können,

mit dem Gesprochenen in Verbindung gesetzt

tig verständlich. Werden hingegen vier Finger

die ein Hindurchsehen ermöglichte und durch

werden kann, diese aber nicht immer unterstüt-

an der Hand benutzt, um die Anzahl von etwas

welche der Blickkontakt bewahrt werden konnte.

zend wirken muss. Innerhalb eines Gespräches

zu verdeutlichen, kann die Aussage durch eine

56 Einer weiteren Probandin fiel es einfacher, Ges-

tern. Hierbei wurde eine Verbindung zu der be-

zen der Gesten gesteigert werden. Somit stellt

ten kreativ zu nutzen. Sie erklärte die drei ver-

kannten „Einer- und Andererseits“-Geste (siehe

der dritte Teil eine Kombination der beiden

schiedenen Punkte, was ein Laternen-Fisch sei,

Seite 73) deutlich, mittels derer sie auf der einen

vorhergehenden Versuchsschritte dar. Hierbei

wo er lebe und was seine Jagdstrategie sei.

Seite den kleinen Beutefisch und auf der ande-

wurden nun beispielsweise Linien als faktische

Anfangs nutzte sie die Form der Gestik allein:

ren Seite den Jagdfisch darstellte. Im zweiten

Anhaltspunkte aufgezeichnet, um das Wasser

um den Ort des Fisches zu verdeutlichen, be-

Teil des Experimentes, der die Verwendung der

zu verdeutlichen, flexible Informationen, wie die

wegte sie schrittweise ihre Hand nach unten.

Glasscheibe erlaubte, fiel auf, dass die Körper-

unterschiedlichen Wasserschichten jedoch mit

Dabei verdeutlichte sie schrittweise die ver-

sprache etwas verloren ging und mehr Konzent-

der freien Gestikulation der Hand. Schließlich

schiedenen Tiefenschichten des Meeres. An

ration auf das Zeichnen verwendet wurde.

gab die „Zeigegeste“ an, wo der Fisch zu finden

einer unteren Position ließ sie ihre Hand ruhen,

Als Erweiterung wurde das Experiment in ei-

sei. Zur Erklärung der Jagdstrategie nutzte die

um den Aufenthaltsort des Fisches zu verdeut-

nem dritten Teil so eingeschränkt, dass nur

Probandin drei gezeichnete Kreise (Jagdfisch,

lichen. Weiterhin malte die Probandin mithilfe

abstrakte Formen genutzt werden durften. So

seine Laterne, Beute) und zeigte durch Gesten

beider Hände einen kleinen und einen großen

sollte der Zwang, hochwertig zeichnen zu müs-

die Beziehungen zueinander auf (siehe Seite 57,

Fisch in die Luft, um die Jagdstrategie zu erläu-

sen, genommen und die Motivation zum Nut-

rechts unten).

Link zum Video: https://drive.google.com/file/d/0Bwtx5YXxlnvRMXc3THprcURMNDA/edit?usp=sharing

1. Durchgang: Gestik allein

2. Durchgang: Mithilfe von Aufzeichnungen

3. Durchgang: Nur mit Abstrakten Formen

58 Schlussendlich wird deutlich, dass die Proban-

gestikulieren. In meinen Augen sollte man es

den dazu neigten, beim Zeichnen schnell kom-

anstreben, Gesten bewusst und oft einzusetzen,

plex und detailliert zu werden, wobei die Ges-

um seinen Ausdruck zu verstärken. Vorteile da-

tik vernachlässigt wird oder ganz verschwindet.

bei sind unter anderem, dass Gesten die Merk-

Gesten sind offensichtlich immer sehr abstrakt

fähigkeit entlasten können und ein bildlicher

gehalten und eignen sich zum Verdeutlichen

Bezug zum Gesprochenen entsteht. Aus psy-

allgemeiner und leichter Informationen, blei-

chologischer Sicht kann sogar gesagt werden,

ben dabei jedoch immer allgemein und leicht

dass dadurch, dass mehr Raum für die Gesten

verständlich. Im Großen und Ganzen kann das

beansprucht wird, sich ebenso das Selbstwert-

Zeichnen auch als eine Art „Zeigegeste“ be-

gefühl steigert.57 Menschen, die bereits eine

trachtet werden, die Spuren hinterlässt und da-

ausgeprägte Körpersprache besitzen, werden

durch weitaus umfangreicher werden kann.

durch das Zeichnen jedoch eher abgebremst, während schüchterne Menschen mit ungeüb-

Mein Erkenntnisgewinn zu dem Experiment ist,

tem Umgang ihrer Gestik dies als sehr hilfreich

dass es Menschen gibt, die mehr oder weniger

und entlastend empfinden.

57

http://www.amica.de/liebe-psychologie/tid-3421/ratgeber-selbstbewusstes-auftreten_aid_7490.html [gesehen am 30.06.14].

60 Argumented Reality

62 Mir kam der Gedanke, ein Interface zu gestalten,

diesen Menschen, die ein Problem dabei haben,

das auf die Bedienung durch eigene, bewusst

einen Sachverhalt von Gedanken in Sprache zu

genutzte Gesten beruhte. Ich wollte erreichen,

übersetzen, ein Medium zu bieten, das ihnen

diese bereits erwähnten imaginären Konstrukte

eine neue und bessere Ausdrucksweise ermög-

und abstrakten Weisen der Erklärung angemes-

licht. Denkbar wäre so die Unterstützung von Le-

sen visuell darzustellen und wieder auszublen-

gasthenikern und Einwanderern, für welche die

den. Somit könnte bei Erklärungen eine Hilfe an-

Sprache oft ein großes Hindernis darstellt.

gezeigt werden, welche dann zurückgestellt und

Da ich durch persönliche Erfahrungen weiß, wie

bei Bedarf später auch erneut aufgerufen wer-

schwierig es ist, in diesen Bereichen Hilfe zu er-

den kann. Die Realisierung sollte im Rahmen der

halten, liegt mir dies sehr am Herzen. Zu beach-

neuen vierten Dimension erfolgen, in der Bilder

ten ist dabei für mich allerdings auch die Frage,

durch Gesten geschaffen werden und so abs-

ob diese Visualisierungen der vierten Dimensi-

trakte Konstrukte sichtbar machen sollten. Diese

on bei einer Diskussion hinderlich oder störend

neuartige Visualisierung würde besonders Men-

sein können. Dies gilt es im Folgenden noch zu

schen helfen können, die einen bildlichen Bezug

untersuchen.

benötigen, um einen Sachverhalt besser verstehen zu können. Meine Hilfe soll darin bestehen,

64 Versuchexperiment: Erklärende Diskussion Da mich das „Probanden-Experiment“ noch

eine große Basis hatte, um die Informationen

nicht zufrieden stellte, versuchte ich, genauere

mit Gesten darstellen zu können.

Untersuchungen durch Erzeugung von inter-

Mein persönliches Empfinden bei der Möglich-

aktiven Oberflächen des Programms VVVV zu

keit, mir auf eigene Weise Gedanken visuell

erlangen, wobei ich mich von „Playground 2D“

darstellen zu können, war sehr positiv. Zwar han-

(VVVV Programmoberfläche) inspirieren ließ (sie-

delte es sich immer noch um abstrakte Darstel-

he Seite 65).

lungen, jedoch waren diese für mich visuell er-

Im Grunde war eine Anzeige sichtbar, die das

fahrbar und baten mir eine weitere Möglichkeit,

Bild einer Webcam übertrug und vor der eine

Informationen für mein Gehirn verständlich zu

Person die Leap-Motion mit Gesten steuerte.

machen und vor allem nach meinen Wünschen

Diese Gesten wurden programmtechnisch aus-

darzustellen. Zu diesem Zeitpunkt hätte ich mir

gewertet, sodass im sichtbaren Bild Grafiken

allerdings weiterhin gewünscht, dass auch ande-

dargestellt werden konnten, die auf die ge-

re Personen an der Gestaltung meiner Visuali-

zeigten Gesten reagierten. Im Versuch erklärte

sierungen teilhaben könnten. Probleme stellten

mir ein Physikstudent per Fernübertragung am

sich für mich jedoch dar, als sehr viele Informa-

Computer einen Teil der Plasmaphysik. Um eine

tionen in kurzer Zeit darzustellen waren, da ich

ausgedehnte Diskussion führen zu können, frag-

mich hierbei nicht schnell genug auf visuellem

te ich bewusst oft und intensiv nach, sodass ich

Wege auszudrücken wusste.

66 Zwar unterstützte die vierte Ebene mich beim

In dem Video-Clip, in dem ich Flächen nachträg-

Verstehen der Thematik, allerdings musste ich

lich einfügte (Integrieren von Grafiken in vorhan-

auch feststellen, dass die zwischenmenschliche

denen Diskussionen, siehe Seite 53), wirkte die

Kommunikation eingeschränkt wurde, da ich

Gesamtszene, im Nachhinein betrachtet, ohne

mich nun neben dem reinen Zuhören und Ver-

die Visualisierungen viel authentischer. Somit

stehen auch auf das eigene Darstellen und Ver-

wäre eine weitere Überlegung, den Computer

arbeiten konzentrieren musste und die eigene

Gesten lernen zu lassen, die er interpretieren

Körpersprache (Mimik und Gestik) einfließen

und auf die er reagieren kann. Dies würde eine

lassen musste. Hier denke ich allerdings, dass

Interaktion mit Menschen ermöglichen. Zusam-

es trotz alledem eine Unterstützung bietet,

men mit einer Spracherkennung, könnte eine

wenn man etwas geübter geworden ist, ähnlich

Maschine somit eine große Fülle an Informati-

wie das Schreiben an der Tafel für einen Lehrer

onen alleine anhand unserer Ausdrucksformen

in der Schule, der es vermeiden sollte, seinen

gewinnen und auswerten. Möglichweise wäre so

Zuhörern zu oft den Rücken zuzuwenden (was

eine Auswertung der bestehenden Gefühlslage

beim Schreiben nicht ganz leicht ist).

umsetzbar.

68 Unterschied zwischen natürlichen und angepassten Gesten Grundsätzlich nutzt der Mensch zwei Arten von

Maus. Um auf einer Karte oder einem großen

se durch neue Steuerungsmöglichkeiten ersetzt.

Gesten. Das sind zunächst die Gesten, welche

Bild zu navigieren, wird zunächst per Mausklick

Aber auch die Verwendung der neuen Technolo-

die eigene Diskussion unterstützen und bekräf-

ein Punkt fixiert und dann in die entsprechen-

gien wie Leap Motion und/oder Kinect benötigt

tigen, aber auch die Gefühlslage widerspiegeln.

de Richtung gezogen. Analog wird bei einem

zunächst individuell für das System angepass-

Die zweite Art von Gesten nutzen wir eher in ei-

Touchscreen verfahren.

te Gesten. Für die relativ junge Technologie

nem technischen Hintergrund, wie zum Beispiel

Diese Art der Gesten wird als unnatürlich emp-

der Leap Motion wurde eine Gestenbibliothek

bei der Bedienung technischer Geräte. Diese

funden. Jedoch führte die ständige Nutzung zu

angelegt, in welcher bereits viele Gesten des

Arten von Gesten werden auch angepasste

einer Gewöhnung beziehungsweise Akzeptanz.

Touchscreens übernommen wurden (siehe Seite

Gesten genannt. Der Grund für die Verwendung

Trotz technischer Neuerungen in dem Bereich

69). Diese Bibliothek ist jedoch auf das jeweilige

solcher Gesten ist recht simpel: technische Sys-

der Gestensteuerung (z.B. Leap Motion, Kinect)

Programm beschränkt; jedes Programm hat also

teme nutzen eine sehr abstrakte Wahrnehmung,

verspürt der Mensch trotzdem das Bedürfnis,

seine eigene Bibliothek .

um Befehle zu erhalten. Hinzu kommt, dass die-

die Bedienung noch freier zu gestalten. Viele

se Befehle eine gewisse Eindeutigkeit benöti-

Arten der herkömmlichen Bedienung (z.B. Maus,

gen. Ein Beispiel hierfür sei die Bedienung der

Controller, Fernbedienung), werden schrittwei-

Schwierig gestaltet sich die Umsetzung unserer natürlichen Gesten in eine für Rechner verständliche Gestik. Dies liegt darin begründet, dass Gesten bei ihrer Umsetzung eine räumliche Komponente nutzen und ihre Bedeutung erst durch die komplexe Kreativität unserer Wahrnehmung bestimmt wird. Ein Ziel muss es daher sein, diese Komplexität soweit zu reduzieren, dass es für ein technisches System interpretierbar wird. Hierbei wäre anzustreben, dass das technische System sich an den Bediener anpasst und nicht umgekehrt. Der Ansatz meiner Arbeit ist deshalb der Versuch, unsere natürlichen Gesten für die Technik begreifbarer zu machen.

Zoomen mit der Leap Motion; ähnlich die Gesten beim Touchscreen

70 Charakter Gestik

72

„Vergiss es“

„Abwägen“

Hände ruhen in Halsnähe in gekreuzter Haltung,

Die Hände bewegen sich wie Waagschalen

fallen dann nach vorne. Ausdrucksstärke kann

beim Abwägen.

varieren.

„Darausfolgt“

„Und, und, und...“

Die Hand vollführt eine Drehung nach außen

Diese Geste ähnelt der vorherigen.

und ruht anschließend flach.

Auch hier wird eine Drehung der Hand gezeigt.

Die Hand ruht jedoch nicht flach vor dem Körper.

„Einerseits und Andererseits“

„Präsentieren“

„Weiß nicht“

Zwei Seiten von etwas, z.B. eines Argumentes

Die Hände simulieren das Halten eines Objektes

Da hierbei das Achselzucken nicht zu erkennen

werden durch die Hände verdeutlicht. Sie dre-

und verharren dabei vor dem Körper, wo sie nur

ist, erscheint diese Geste nicht ganz eindeutig.

hen vom Körper in einem Halbkreis weg. Die fla-

leicht hin und her bewegt werden.

Die Hände bewegen sich mehrmals halbkreisförmig nach außen und gehen wieder in einem

che Hand symbolisiert das gerade Präsentierte.

Punkt zusammen.

„Schneller“

„Und so weiter ...“

„Gut“

Merhfache Kreisbewegung der Hand ohne Pau-

Stufenweise nach oben wird die Hand mit leich-

Im Gegensatz zu den vorherigen Gesten ist hier

se symbolisiert einen schnellen Vorgang oder

ten Kreisbewegungen nach außen bewegt.

keine Bewegung vonnöten, um dieses Zeichen

die Aufforderung dazu. Hierbei bestehen Ähn-

zu verstehen. Der nach oben gerichtete Daumen

lichkeiten zur „Und, und, und“-Geste. Sie wirkt

symbolisiert Zustimmung.

jedoch unkontrollierter.

74

„Schlecht“

„Klein“

Ebenfalls ohne Bewegung kommt die gegen-

Daumen und Zeigefinger in kleinem Abstand

sätzliche Variante aus. Jedoch fühlt sich die Aus-

zeigen etwas kleines, was man mit zwei Fingern

führung der Geste unangenhem an.

halten kann.

„Heiß“

„Hmm...“

Ähnliches gilt beim Streichen über die Stirn mit

Die Hand zum Kopf führen bedeutet in den

dem Handrücken.

meisten Fällen das Nachdenken oder Nervosität.

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRaXMwRks0X0IyUnc/edit

„Groß“

„Einsam“

„Kalt“

Hände "drücken" in flacher Haltung etwas aus-

Ein Zeichen von Einsamkeit ist das Streichen

Rubbeln der Hände am eigenen Oberköprer,

einander, ähnlich dem Drängeln in Massen, um

über die eigene Haut.

meist Oberarme. Eher als Pantomime definiert, selten gestisch verdeutlicht.

etwas zu erreichen, Handrücken außen. Man nähert sich also Deteils an, vergleichbar dem Hinein-zoomen in etwas, um Details zu sehen.

„Achso“

„Hohes Engagement“

Der Schlag auf die Stirn verdeutlicht einen plötz-

Beim Gestikulieren wird viel Raum beansprucht,

Mangelnde Ausnutzung des Raumes, sowie

lichen Einfall. Dies kann aber auch, je nach Hal-

was auf ein hohes Engagement und Selbstbe-

geringe Bewegung deuten hingegen auf Ver-

tung des Kopfes und Geschwindigkeit der Hand,

wusstein schließen lässt.

schlossenheit und Unsicherheit hin.

Bestürzung oder Enttäuschung ausdrücken.

„Schüchtern/ Nervös“

76 Gesten bedienen sich einem Muster kettungen von Einzelzeichen. Sichtbar wird dies

Gesten stellen ein Kulturgut dar, das wir seit

aktuellen Gedanken. Die Geste „Einer- und An-

Jahrtausenden kennen und verwenden – so-

dererseits“ (siehe Seite 73) wird beispielsweise

in der Unterscheidung der „Daraus folgt“- und

wohl unbewusst als auch gezielt – um unsere

immer dann verwendet, wenn es sich um zwei

der „Und und…“-Geste. Während die „Daraus

Gedanken darzustellen und zu verstärken. Für

verschiedene Sachverhalte handelt, die klar von-

folgt“-Geste nach einer kreisenden Bewegung

mich stellt es eine große Herausforderung dar,

einander unterschieden werden müssen. Wie

endet, beruht die „Und und…“-Geste auf dem

einer Maschine dieses Kulturgut „beizubringen“

nach der Philosophie von Ying und Yang; das

gleichen Grundelement, wiederholt jedoch die-

und im natürlich wirkenden Umgang nutzbar zu

eine kann ohne das andere nicht existieren (z.B.

se kreisende Bewegung mehrere Male und ver-

machen – eine einfache Gestik-Steuerung mit

ohne Nacht kein Tag, ohne Böse kein Gutes).

zichtet auf die endende offene, flache Hand, wodurch beide Gesten klar unterscheidbar werden

größtmöglicher Natürlichkeit.

Aus meiner Beobachtung ging hervor, dass sich

Muster bestehen nicht nur aus der Haltung der

und eine unterschiedliche Bedeutung erhalten

die Gesten gliedern lassen. Dabei treten im-

Hand (flach, senkrecht, nach unten) oder einem

(siehe Seite 72).

pulsive aber auch zurückhaltende Varianten auf,

eindeutigen Gestenzeichen (Daumen hoch, Te-

ebenso Gesten zur Gliederung oder auch zur

lefonieren-Geste, Mittelfinger), sondern basie-

Verdeutlichung der eigenen Gefühlswelt oder

ren auch auf Bewegungsmustern oder gar Ver-

Es wurde mir klar, dass ich eine kleine Bibliothek zur Gestenauflistung und -unterscheidung ausarbeiten musste. Als Basis hierfür nutzte ich sowohl meine eigenen Erfahrungen als auch Beobachtungen aus Gesprächen mit Probanden aus Experimenten, Personen aus Filmen oder Bekannten in persönlichen Gesprächen. Den nach meinem Empfinden gängigsten Gesten ordnete ich schließlich passende Symbole zu, um das Verständnis für die Nutzung am Computer herzustellen.

78 Genauere Untersuchung von Gestenbildern am Beispiel Ich führte eine genauere Untersuchung mit dem

Im Grunde lässt sich sagen, dass wir fast immer

Vorwissen vom bekannten Gestenbildern am

gestikulieren.

Beispiel des Laternenfisches durch. Zunächst

geste“ soll dies nun erläutert werden. Sie wird

untermalte ich alle auffälligen Bewe-gungen

durch das Ruhen der Hände auf einem gewis-

und ordnete ihnen teilweise eine Funktion zu.

sen Punkt in Höhe des Bauches (siehe Seite 79,

Anhand

der

„Konzentrations-

Hierbei ist zu sehen, dass eine Funktion immer

links oben) dargestellt und wird von der Proban-

durch eine bestimmte Geste erfüllt wurde. Teil-

din sehr häufig verwendet, vor allem dann, wenn

weise wurde auch das Gesprochene durch die

sie sich gerade darauf konzentriert, etwas zu er-

Geste komplett ersetzt. Deutlich wurde dies, als

klären und entsprechend nichts darstellt. Dies

die Probandin den kleinen Fisch als Beute für

kann zum einen als ein Zeichen zur Vorbereitung,

den Laternenfisch darstellte, indem sie ledig-

etwas zu zeigen, oder als ein Zeichen dafür, dass

lich auf die Größe, bzw. das Größenverhältnis

gerade nichts dargestellt wird, verstanden wer-

verbal hinwies. Dies tat sie mithilfe der „Daraus-

den. Zudem dient diese Geste als Abgrenzung

folgt-Geste“. Diese Geste fungiert im konkre-

zum weiteren gestikulieren; sie stellt eine Art

ten Fall als Mittel zur Satzergänzung („kleiner

„Ruhepunkt der Gestik“ dar, ist aber selbst Teil

Fisch, ‚Draus-folgt-Geste‘, Beute für den großen Fisch“).

von ihr.

80 Beim erstmaligen Ansehen des Videomaterials

oder unterstützen. Ebenfalls interessant ist die

fallen die eingesetzten Gesten nur begrenzt

Beobachtung, dass die Probandin auf das von

auf. Man ordnet ihnen ebenfalls nicht sofort

ihr gezeichnete Bild des Laternenfisches Bezug

eine Funktion zu, sondern tut dies erst bei ge-

nimmt, indem sie darauf zeigt, obwohl es kein

nauerem Betrachten. Erst durch mehrmaliges

dauerhaftes Bild ist, welches für alle sichtbar

Ansehen einiger Sequenzen (z.T. auch in Zeit-

wäre. Dies wird in der Fassung, in welcher ich

lupe) wurden mir die Geste und die dazugehöri-

die Gesten mit Linien dargestellt habe, noch

ge Funktion bewusst. Diese Tatsache zeigt, dass

deutlicher. Daraus lässt sich ableiten, dass wir

Gesten so allgegenwärtig sind, dass wir sie zu-

mithilfe von Gestik in der Lage sind, Bilder zu

nächst nur unbewusst wahrnehmen und ebenso

schaffen und diese auch in unserem Kopf eine

benutzen. Erst durch genauere Betrachtung und

Form annehmen können, ohne dass sie in der

Analyse der einzelnen Gesten wird uns über-

Wirklichkeit existieren (siehe Seite 81).

haupt bewusst, wie wir das Gesagte ergänzen

Link zum Video: https://docs.google.com/file/d/0Bwtx5YXxlnvRMXo3U2UwZFJFa0U/edit

82 Design von Gestenbefehlen Wenn ich die aktuellen Gestenbibliotheken der

Tastatur vor dem PC sitzt und etwas Bestimmtes

Computer anschaue, scheinen diese noch im

suchen möchte, wäre der Gestenbefehl eine Al-

anfänglichen Stadium sein, da die Art der Ges-

ternative zur Navigation mit Tastatur und/oder

tenbefehle sich je nach Programm und Medium

Maus. Dies würde einen weiteren Eingabeweg

unterscheidet. Es wäre hilfreich, allgegenwärti-

ermöglichen, welcher direkter und intuitiver

ge Gestenbefehle aufzustellen, die einfach und

wäre. Selbiges gilt für das Suchen nach Hilfe

intuitiv für den Benutzer sind. Hierbei wären

bei bestimmten Problemen: eine fragende Be-

Gesten geeignet, die möglichst natürlich sind.

wegung mit den Armen würde entsprechend

Dabei ging es mir weniger darum, eine vollstän-

ein Hilfefenster öffnen, welches Vorschläge zur

dige Bibliothek aufzustellen, sondern eher um

Lösung des Problems beinhaltet. Eine Herzens-

ein gutes Design jeder einzelnen Geste mit ihrer

angelegenheit vieler Nutzer ist das Speichern

Nutzung. Für eine gute und praktische Nutzung

von Dateien, was durch die Hand aufs Herz um-

wäre es wünschenswert, wenn der Computer

gesetzt werden könnte (siehe Seite 85).

zukünftig Hand in Hand mit Maus, Sprachsteuerung und Gestensteuerung zusammenarbeiten kann. In der Situation, in der man mit Maus und

84 Mein Ziel ist es daher, ein klares Design von Ges-

Die Grundlagen für die Gestenbefehle stam-

tenbefehlen zu erstellen, welches eine Vielzahl

men aus unterschiedlichen Gebieten. Zu nen-

von Nutzern einfach und intuitiv anwenden kann.

nen wären hier unter anderem Gebärdenspra-

Gleichzeitig sollen möglichst viele aktuelle und

che, Sport und Alltagssituationen. Auch die

auch zukünftige Medien und Programme dies

Beobachtungen meiner Experimente sowie per-

ohne Probleme erkennen und umsetzen kön-

sönliche Erfahrungen sind in die Erstellung der

nen, sodass stets die gleichen Resultate beim

Gestenbibliothek eingeflossen. So soll erreicht

Einsatz einer bestimmten Geste erzielt werden.

werden, dass diese möglichst einfach und intu-

Dies stellt eine große Herausforderung an die

itiv gestaltet ist.

Technik dar, wäre jedoch ein wünschenswertes Ziel für viele Nutzer unterschiedlicher Medien und Programme.

86 Das Ergebnis meiner Arbeit sellt der folgende

der Hand die „Und-und“-Geste zu nutzen, um

Computers bestimmte Gesten und Sprache zu

Film dar, welcher aufzeigt, wie die Gestenbefeh-

damit schrittweise herunter zu scrollen. Denkbar

erkennen. Zudem stelle ich einige besondere

le in Alltagssituationen integriert werden kön-

sind auch Situationen, in denen man nicht direkt

Gestenbefehle dar, wobei es nicht das Ziel ist,

nen und dass weiterhin gewisse Gesten als Be-

am Rechner sitzen möchte oder kann, wie z.B.

eine komplette Gestenbibliothek zu kreieren;

fehle (wie z.B. dem Durchzappen oder Scrollen)

bei der Essenszubereitung, wenn man am Com-

vielmehr geht es hierbei darum, von bestimm-

in bestimmen Bereichen einen viel leichteren

puter ein Rezept (z.B. im Internet) nachschlagen

ten Gesten unabhängig zu sein, wenn es wenige

Umgang ermöglichen. Als Beispiel sei hier die

möchte, die Hände aber jedes Mal vorher wa-

an der Zahl sind, aber diese Gesten in bestimm-

Bedienung einer Scrollleiste zu nennen: wenn

schen müsste, um die Tastatur oder Maus ver-

ten Situationen recht praktisch und angenehm

eine Scrollleiste durch die Auf- und Abwärtsbe-

wenden zu können; mit gezielten Gesten wäre

auszuführen sind, wie es der Film verdeutlichen

wegung einer flachen Hand bedient wird, ist die-

es auch kontaktlos möglich, mit dem Bildschirm

soll. Auf diese Weise soll gezeigt werden, dass

se Bedienung durch natürliche, leichte Eigen-

zu interagieren, was wesentlich einfacher wäre

es möglich wäre, dass die von mir entworfe-

bewegungen der Hand relativ ungenau. Diese

und weniger Mühe kosten würde.

nen Gesten für eine fiktive Interface- oder Pro-

Eigenbewegungen bewusst zu kompensieren

Dieser Film zeigt Situationen, die die Möglich-

duktvorstellung übernommen werden können.

wird zudem mit der Zeit relativ anstrengend. Es

keit simulieren, mit dem Computer über Ges-

wäre einfacher und sehr viel angenehmer, mit

ten zu interagieren, und fiktiven Technik des

90 Quellenangabe Bildverzeichnis Rückle, Horst, Körpersprache verstehen und deuten, Niedernhausen, 1991, S. 52. http://www.experto.de/wie-viel-kostet-ein-kind-995px-1024px.jpg [gesehen am 04.07.14]. http://commons.wikimedia.org/wiki/File:Pholcus.phalangioides.6905.jpg [gesehen am 04.07.14]. http://i.huffpost.com/gen/1763714/thumbs/o-TALKING-facebook.jpg [gesehen am 04.07.14]. http://1.bp.blogspot.com/-HpMRu-5dUho/Uk0LSPlk6sI/AAAAAAAAAWY/xF5-HLQnrkg/s1600/picstitch.jpg [gesehen am 04.07.14]. http://www.serviceplan.com/files/serviceplan.com/06_Press/Press-Releases/13-05-22_Facit%20Digital%20erforscht%20weltweit/03_Downloads/ facit_gesten_bewegungen.jpg [gesehen am 04.07.14]. http://4.bp.blogspot.com/_CCZ-xq7pHHQ/SoGllH5YTOI/AAAAAAAAEc4/u_NX9oTg7Ig/s1600-h/koerpersprache_2.jpg [gesehen am 04.07.14]. http://www.tauchbuecher24.de/popup_image.php/pID/360/imgID/1?XTCsid=ad23a5cb39c3daf9c0dc37a3ef8f8d60 [gesehen am 04.07.14]. http://ksk.iphpbb3.com/forum/download/file.php?nxu=27624767nx49372&id=1 [gesehen am 04.07.14]. http://www.bgbau-medien.de/zh/z103a/19.htm [gesehen am 04.07.14]. http://video.golem.de/pc-hardware/8062/leap-motion-demo-der-3d-steuerung.html [gesehen am 30.06.14]. http://www.theaftd.org/wp-content/uploads/2009/03/Support-Group.jpg [gesehen am 04.07.14].

Lituaturverzeichnis Chalmann, Elena: Thiel, Sebastian; Sprache | Gestik, Bielefeld,2002 Flusser, Vilém: Die Geste des Machers, in: Ders. (Hg.): Gesten: ein Buchprojekt von Fotographie-Studenten der Hochschule für Graphik und Buchkunst Leipzig, Brakel 1995 Hofemann, Nils (Hg.):Videobasierte Handlungserkennung für die natürliche Mensch-Maschine-Interaktion, Bielefeld, 2006 Reinecke, Wolfgang: Signale im Gespräch, Heidelberg, 1983 Müller, Cornelia: Körperbewegungen und ihre Bedeutungen, Berlin, 1998 Rückle, Horst: Körpersprache verstehen und deuten, Niedernhausen, 1991 Saffer, Dan: Designing Gestural Interfaces, Beijing [u.a.] : O‘Reilly, 2009 Weinemann, Martin (Hg.): München [u.a] : Elsevier [u.a.], 2005

Weblinks http://www.daserste.de/information/wissen-kultur/w-wie-wissen/sendung/sprechende-haende-100.html [gesehen am 06.04.14]. http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/die-grammatik-der-gesten/ [gesehen am 06.04.14]. http://dasgehirn.info/handeln/mimik-gestik-koerpersprache/wie-die-haende-unser-denken-lenken/ [gesehen am 06.04.14]. http://www.n-tv.de/wissen/Gesicht-und-Gesten-verraten-alles-article7262441.html [gesehen am 06.04.14]. http://www.connected-home.de/ratgeber/zukunft-der-steuerung-gesten-sprache-google-glass-leap-motion-fernbedienung-1943252.html [gesehen am 30.06.14].

Filmquellen http://macht-maschine.de/?PID=static,geheimnisse,gestendermacht [gesehen am 06.04.14]. http://www.youtube.com/watch?v=9JkGf9vsJDA [gesehen am 30.06.14].

92 Danke f端r Ihr Interesse