Udviklingsværktøjer og platforme
AU CAVI-brochure_30.06.2017_200x200-højresider.indd 1
AARHUS UNIVERSITET
10-08-2017 13:42:37
2
Indhold
3
CAVI - UdviklingsvÌrktøjer og platforme
4
Interaktionsborde
6
Sound-O-Matic
8
Avanceret 3D-projektion
10
Virtuelt Studie
12
3D-biograf og VR
14
Mediearkitektur
16
BullsEye
16
DUL Radio
17
Guard-I-aM
17
Kameratracking
18
Process Reflection Tool
18
Unity3D
19
ProxiMagic
19
Webstrates
CAVI-brochure_07.08.2017_200x200-venstresider.indd 2
07-08-2017 15:39:15
3
CAVI – Udviklingsværktøjer og platforme CAVI er et forskningscenter på Institut for Kommunikation og Kultur på Aarhus Universitet. CAVI blev etableret i 2001. Centret har med et fokus på interaktionsdesign, designprocesser, digital æstetik samt digitale teknologier dannet grundlag for en række tværfaglige forskningsprojekter og samarbejder med både erhvervs- og kulturliv. Projekter og samarbejder har dannet ramme om design, udvikling og produktion af eksperimentelle og blivende installationer, hvor anvendelse af nye teknologier og nye måder at interagere på bliver afprøvet i den virkelige verden. I dette katalog præsenteres en række af CAVIs digitale udviklingsværktøjer og platforme, som anvendes til at afprøve, teste, eksperimentere og undersøge inden for blandt andet: interaktionsdesign, 3D, digitale oplevelser og digital æstetik. Anvendelsesområderne omfatter kulturarvsformidling, mediearkitektur, produktpræsentation, digital kreativitet, design, digital kunst, leg og læring samt andre områder. Intentionen med dette katalog er at give indblik i og derigennem inspirere til at samarbejde med CAVI om konkrete forskningsmæssige problemstillinger, hvor CAVIs kompetencer og teknologier kan bidrage. CAVIs udviklingsværktøjer og platforme udgør i mange tilfælde en effektiv og innovativ ressource for forskning,
CAVI-brochure_30.06.2017_200x200-højresider.indd 3
der har et anvendelsesorienteret element. Vi har på CAVI den udviklingsfilosofi, at vi, når vi udvikler og producerer nyt, systematisk bygger oven på den viden og de teknologiske platforme, vi har. I tillæg hertil tilstræber vi, at vores løsninger kan anvendes til igen at bygge oven på i fremtidige projekter. Det er denne udviklingsfilosofi, der har ført til, at vi i dag råder over en omfattende portefølje af udviklingsværktøjer og platforme med en høj grad af anvendelighed. I det følgende gives et overblik over CAVIs udviklingsværktøjer og platforme. Visse værktøjer er både nævnt som selvstændige værktøjer og indgår samtidig som del-værktøjer i andre. Er du interesseret i yderligere oplysninger om CAVIs ressourcer og kompetencer, eller har du projekter eller ansøgninger, hvor CAVI kan bidrage, er du velkommen til at kontakte os. Kim Halskov, centerleder, halskov@cavi.au.dk, 2899 2251 Morten Lervig, produktionsleder, lervig@cavi.au.dk, 2899 2100 www.cavi.au.dk
07-08-2017 15:33:22
Foto: Jakob Halskov
CAVI-brochure_07.08.2017_200x200-venstresider.indd 4
07-08-2017 15:39:16
5
RadarTable En interaktiv social musikinstallation til opstilling i offentlige rum, som udfolder sig på et interaktionsbord med lyd. Deltagerne har to typer af fysiske klodser til deres rådighed: kuber og flade cylindre. Når en kube placeres på bordet afspilles et musikloop, der er knyttet til netop det tag (grafiske mønster), som brugeren vender ned mod bordpladen. Det musikalske indhold er skabt, så alle de musikloops, det er muligt at spille samtidigt, passer sammen og dermed giver et konsistent og musikalsk udtryk. De flade cylindre repræsenterer lydeffekter, som påvirker de musikloops, der er i nærheden.
Interaktionsborde
Installationens udformning lægger op til, at flere mennesker deltager sammen. RadarTable har vist sig at være en socialt samlende og engagerende installation, hvor brugerne lærer den simple anvendelse ved at se hinandens aktiviteter. Resultatet er et overraskende varieret og sammenhængende musikalsk udtryk. Der er noget ved brugernes oplevelser, der minder om at spille på instrumenter, uden at der kræves nogen særlige kompetencer eller forudsætninger for at deltage.
Interaktionsborde er vandrette interaktionsflader, ofte udformet som et bord, hvor et eller flere mennesker samtidig kan interagere med det digitale indhold, der vises på skærmen. CAVI har både udviklet egne interaktionsborde og anvendt andre producenters interaktionsborde til interaktive installationer. CAVIs interaktionsborde giver mulighed for fingertouch interaktion såvel som interaktion baseret på tags placeret i bunden af fysiske objekter. CAVI har til dette formål udviklet sit eget standardsættende tag-tracking system, BullsEye. I tillæg til disse interaktionsformer har CAVI anvendt Avanceret 3D-projektion på de fysiske interaktionsobjekter, der anvendes på bordfladen, hvorved de fysiske objekter også kan fungere som displays.
www.cavi.au.dk/Radartable
www.cavi.au.dk/Interactivetables
CAVI-brochure_30.06.2017_200x200-højresider.indd 5
07-08-2017 15:33:23
CAVI-brochure_07.08.2017_200x200-venstresider.indd 6
07-08-2017 15:39:18
7
Sound-O-Matic
Væksthusene Sound-O-Matic blev oprindelig udviklet til Væksthusene i Botanisk Have i Aarhus, hvor mere end 100 højttalere befolker bede og beplantninger og bidrager til at understøtte oplevelsens autenticitet. Da lydene afvikles i realtid, kan afviklingen variere fra gang til gang. En flok fugle skræmmes op og flyver med hørbar flaksen gennem tropehusets regnskov. Retning og flugt af fugleflokken varieres af tilfældighedsalgoritmer i SoundO-Matic, så flokken aldrig lyder helt ens og aldrig følger det samme spor gennem regnskoven. www.cavi.au.dk/Vaeksthuslyd
CAVI-brochure_30.06.2017_200x200-højresider.indd 7
Sound-O-Matic er et avanceret lydsystem til brug i rumlige og interaktive installationer. Sound-O-Matic kan afspille lyd fra flere højttalere på samme tid. Man kan placere højttalerne præcis, hvor man ønsker, lytteren skal opleve lyden komme fra. Sound-O-Matic er en soundengine i den betydning, at lyde, som brugeren har lagt op i systemets database, kan afspilles i et vilkårligt setup af højttalere. Styring og kontrol af lyd finder sted i programmet Unity3D, som har et grafisk 3D interface. Man kan sige, at Unity3D fungerer som Sound-O-Matics grafiske brugerflade. At bruge et grafisk 3D-program – her Unity 3D - som editor til et lydsystem, er en af Sound-O-Matics særlige egenskaber. Det giver en enestående grafisk og rumlig tilgang til redigering og afvikling af lyd. Sound-O-Matic kan også håndtere live lydinput. Oplevelsen af et Sound-O-Matic system med mange højttalere kan sammenlignes med et surround sound setup i en biograf, men adskiller sig dog på flere måder. I Sound-O-Matic er den rumlige placering af højttalerne fri. Hvilke lyde, der afvikles hvor og hvornår, bestemmer brugeren selv i Unity3D. CAVI har udviklet en trådløs variant baseret på wi-fi. Det betyder, at man på kort tid kan opstille et antal trådløse og batteridrevne højttalere i en vilkårlig rumlig opstilling og herefter afspille rumlige lydinstallationer på dem. www.cavi.au.dk/Sound-O-Matic
07-08-2017 15:33:25
CAVI-brochure_07.08.2017_200x200-venstresider.indd 8
07-08-2017 15:39:19
9
Avanceret 3D projektion
Terracottakrigeren på Moesgaard En 1:1 kopi af en kriger fra terracottahæren blev opstillet som en del af Moesgaard Museums særudstilling i 2015, Den første kejser – Kinas terracottahær. På krigeren, der var fremstillet i uglaseret terracotta, blev de klædningsstykker, som hans dragt var sammensat af, projiceret i farver efter publikums valg. Museets gæster havde via en touchskærm mulighed for at vælge farven på de enkelte klædningsdele. På den måde kunne de sammensætte deres personlige farvekombination af krigerens dragt. Efterfølgende indgik den færdigmalede kriger i hæren, der var projiceret på væggen bag krigeren. www.cavi.au.dk/TerracottaWarrior
CAVI-brochure_30.06.2017_200x200-højresider.indd 9
Avanceret 3D-projektion tilføjer digitalt indhold til en fysisk genstand ved at projicere digitalt materiale på genstanden. Teknologien har på CAVI fundet forskellige anvendelser blandt andet i designprocesser, hvor den visuelle fremtræden af fysiske objekter, eller skalamodeller af disse, kan ændres blot ved projektion. Dette giver mulighed for at skabe illusioner og simulere dynamiske forløb. Der kan arbejdes med både farver og mønstre på genstandens overflade samtidig med, at der kan arbejdes med lys og refleksioner fra simulerede lyskilder og dynamisk lys. På den måde kan et omfattende mulighedsfelt undersøges i samspillet mellem den fysiske genstand og det digitale materiale. CAVI har endvidere anvendt avanceret 3D-projektion til forskellige former for formidling, hvor projektion på fysiske genstande har givet mulighed for at formidle genstandens fortællinger, egenskaber eller historie. Avanceret 3D-projektion ses også i stigende omfang anvendt på bygninger og andre store objekter i offentlige rum, som event i sig selv, eller som understøttelse af events. CAVIs værktøjer til avanceret 3D-projektion har meget høj præcision, der muliggør æstetiske og magiske effekter. www.cavi.au.dk/ProjectionMapping
07-08-2017 15:33:26
CAVI-brochure_07.08.2017_200x200-venstresider.indd 10
07-08-2017 15:39:20
11
3XN Odenplan Det virtuelle studie blev anvendt som et skitseredskab i designet af en mediearkitektur til Odenplan, en undergrundsstation i Stockholm, i samarbejde med arkitektfirmaet 3XN. En virtuel model af prototypen på mediearkitekturen, blev skabt i Unity3D og derefter benyttet til at eksperimentere og udforske mulighederne for interaktionen under en workshop. Ideen var en stor amfitrappe, hvor indbyggede interaktive lyskilder kunne understøtte en legende, udforskende oplevelse for brugerne. I det virtuelle studie var det muligt at interagere kropsligt med prototypen og flytte kameraet i studiet for herved at udforske rumligheden af designet. Ved at teste prototypen i det virtuelle studie kunne man afprøve forskellige scenarier, og samtidig kunne man opdage nye muligheder for interaktionen. Afslutningsvis blev en virtuel videoprototype produceret i studiet til at kommunikere konceptet. www.cavi.au.dk/Odenplan
CAVI-brochure_30.06.2017_200x200-højresider.indd 11
Virtuelt Studie Det virtuelle studie er en videoteknologi, som gør det muligt at kombinere fysiske objekter med digitale 3D-objekter i en virtuel scene. I stedet for at bygge prototyper i træ og andre materialer kan scenen og en eventuel prototype skabes ved brug af digitale 3D-objekter. CAVIs virtuelle studie er et videostudie med blå vægge, blåt gulv og objekter i blåt, hvor kameraets bevægelser og indstillinger registreres med motion tracking. Man kan derfor bevæge kameraet og lave optagelser i realtid, hvor fysiske objekter, eksempelvis en person, kan kombineres med en digital 3D-verden. Det virtuelle studie kan benyttes som et værktøj til at skabe virtuelle video-prototyper og afholde design-workshops, hvor digitale 3D-verdener kan inddrages. www.cavi.au.dk/VirtualStudio
07-08-2017 15:33:28
CAVI-brochure_07.08.2017_200x200-venstresider.indd 12
07-08-2017 15:39:25
13
3D-biograf og VR
Den Virtuelle Landsudstilling (1909) I anledningen af hundredeårs-jubilæet for Landsudstillingen i 1909 på Tangkrogen i Aarhus, var det i 2009 muligt at opleve en virtuel rekonstruktion af landsudstillingen. 3D-modellen fungerede som et historisk univers, der kunne navigeres i ved brug af en Wii Remote i 3D-biografen. Brugerne kunne derved bevæge sig rundt i en digital kilderepræsentation af Landsudstillingen 1909. Et virtuelt univers blev skabt ud fra kildemateriale bestående af blandt andet de originale arkitekttegninger. Modellen blev på den måde på en gang en repræsentation af selve udstillingen og i formatet en præsentation af datidens fine håndtegnede arkitekttegninger. www.cavi.au.dk/Aarhus1909
CAVI-brochure_30.06.2017_200x200-højresider.indd 13
I 3D-biografen kan man ved brug af 3D-briller skabe en illusion af dybde i billedet. Billedet, der vises, kan være skabt i en 3D-engine såsom Unity3D, hvori det er muligt at indsætte to kameraer for at simulere menneskets øjne. En sådan 3D-visualisering kan være interaktiv. Under fremvisning i 3D-biografen kan man interagere i realtime ved brug af eksempelvis en Wii Remote. I 3D-biografen har man en fælles oplevelse med de andre tilskuere og deltagere. CAVI arbejder også med Headmounted Displays eller på dansk – VR-briller. VR-brillerne tillader én bruger ad gangen. Til forskel fra 3D-biografen omslutter det virtuelle univers den enkelte bruger fuldstændigt, og man oplever en højere grad af tilstedeværelse i den digitale verden. Via sensorer registreres hovedets position og bevægelse, og det er derfor muligt for brugeren at kigge rundt og bevæge sig i et virtuelt univers. Derudover er der tilknyttet en controller til hver hånd således, at brugeren kan interagere med hænderne. www.cavi.au.dk/3Dcinema
07-08-2017 15:33:35
CAVI-brochure_07.08.2017_200x200-venstresider.indd 14
07-08-2017 15:39:28
15
EXPO 2010 Denmark Pavillon på verdensudstillingen i Shanghai Omkring 3600 lyskilder indlejret i facaden på tegnestuen BIGs arkitektoniske værk udgjorde en samlet mediefacade, der fulgte den krumme facade hele vejen. På grund af pavillonens unikke form og mediefacadens lave opløsning (max 9 pixels i højden) var det nødvendigt at undersøge, hvad der kunne vises, og hvordan det visuelle udtryk fremstod. Et sortiment af særligt udviklede designværktøjer muliggjorde tests og eksperimenter, inden bygningen var opført. Designværktøjerne var udviklet, så samme software styrede lamperne i bygningen i Shanghai. www.cavi.au.dk/Expo2010
CAVI-brochure_30.06.2017_200x200-højresider.indd 15
Mediearkitektur
Begrebet mediearkitektur dækker over anvendelser af displays og lyskilder som en integreret del af bygninger og byrum. Vi har på CAVI arbejdet med forskellige teknologiske og æstetiske løsninger ofte med fokus på brugerinteraktion i forbindelse med mediearkitektur. Vi er i stand til at realisere både design- og udviklingsproces med eksperimenter, undersøgelser og tests samt egentlig produktion af mediearkitektur. www.cavi.au.dk/Mediaarchitecture
07-08-2017 15:33:36
BullsEye BullsEye er en softwareløsning, der gør det muligt at tracke grafiske markører og fingre på interaktionsborde. Position og bevægelse af objekter, der er udstyret med BullsEye-markører, omsættes til en strøm af realtidsdata og muliggør dermed, at objekterne kan anvendes som interaktionsværktøjer. BullsEye er et system, CAVI har udviklet, der er sammenligneligt med det udbredte system ReacTIVision. BullsEye tilbyder dog en mere præcis tracking. BullsEye kan levere output i den - for interaktionsborde - udbredte protokol: TUIO såvel som i WebSocket. www.cavi.au.dk/BullsEye
Ved indbygning af DUL Radioer i gamle bøger er disse omskabt til interaktionsredskaber, hvor publikums bevægelser og tryk på bøgerne medvirker til at skabe et digt på Poesimaskinen. Projektet er udviklet af CAVI i samarbejde med Roskilde Bibliotek.
DUL Radio DUL Radioen er et kompakt, trådløst sensorboard, der med anvendelse af radiokommunikation opnår en rækkevidde sammenlignelig med Bluetooth. DUL Radioen har accelerometer og gyroskop indbygget. DUL Radioen kan således umiddelbart registrere bevægelser og videresende information om disse. Andre sensorer og eksterne enheder kan tilsluttes. DUL Radioen er optimeret til at have et meget lavt batteriforbrug. BullsEye tracking tags monteret på syv klodser, der bruges som interaktionsdevice til at frembringe og kontrollere musik på RadarTable - en applikation til interaktionsborde. CAVI-brochure_07.08.2017_200x200-venstresider.indd 16
www.cavi.au.dk/DULradio
07-08-2017 15:39:32
Guard-I-aM Guard-I-aM (GIM) er en kontrol- og moniteringsenhed til at overvåge drift samt styre opstart og nedlukning af interaktive installationer over internettet. GIM består af en mikrocomputer med tilhørende software. Der er ved brug af GIM mulighed for at skræddersy den ønskede monitering. En installations enkelte enheder kan driftsmæssigt overvåges. Der kan tilsluttes kamera og mikrofon, så man ikke alene får tekniske informationer men også kan overvåge, om installationen fungerer, som den skal i forhold til brugerne.
Klimavæggen var en installation, der projicerede klimarelaterede udsagn op på Ridehuset i Aarhus i stor skala. Forbipasserende kunne med deres bevægelser styre ordene på plads i sætningerne og derigennem bidrage med udsagn om klimaet.
www.cavi.au.dk/Guard-I-aM
Kameratracking
Guard-I-aM er en mikrocomputer, der monteres ved den installation, der ønskes styret og overvåget
CAVI-brochure_30.06.2017_200x200-højresider.indd 17
Kameratracking anvendes i bestræbelsen på at få information ud af en video fra et kamera. CAVI har udviklet og anvendt kameratracking til en række specialiserede formål gennem årene. Eksempelvis tracking af en persons tilstedeværelse og bevægelser til brug som input i interaktive installationer. Logning af den slags data kan også anvendes til at finde mønstre i menneskers bevægelser i rum over tid. www.cavi.au.dk/CameraTracking
10-08-2017 12:16:22
Process Reflection Tool Process Reflection Tool (PRT) er et blog-baseret værktøj, som oprindelig er udviklet til dokumentation af og refleksion over designprocesser, men som kan anvendes som generelt procesdokumentationsværktøj. Det centrale element i PRT er events, som dokumenteres gennem en beskrivende del og en refleksionsdel. Events kan opdeles i sub-events med samme struktur. I forbindelse med begge elementer kan der uploades og tilknyttes stillbilleder, video og dokumenter.
Illustration(er) fra Signe Klejs og Niels Rønsholts smartphone og tablet opera: Breathless Moment. En interaktiv musikdramatisk oplevelse udviklet og produceret på CAVI i Unity3D. Tilgængelig på App Store og Google Play.
www.cavi.au.dk/PRT
Unity3D
Process Reflection Tool blev anvendt i forbindelse med designprocessen, som gik forud for produktionen af en interaktiv installation, til en udstilling af arkitekten Zaha Hadids værk, på Dansk Arkitektur Center i 2013.
Unity3D er en kommerciel gameengine, som udvikles og sælges af firmaet Unity Technologies. Den nævnes her, fordi vi på CAVI bruger Unity3D til en række produktioner og platforme. Unity3D er en software, der er beregnet til at udvikle og producere digitale spil. En kernefunktionalitet i Unity3D er at anvende 3D-modeller som omgivelse. Kombinationen af 3D-verdener og realtidsinteraktion er grundlæggende i mange af CAVIs projekter. Unity3D er et forholdsvis åbent software, hvor der er mulighed for at udvikle funktionalitet i stort omfang. Vi har på CAVI udviklet og bygget mange højt specialiserede add-ons til Unity3D, som vi bruger i vores udviklingsværktøjer og vores projekter. www.cavi.au.dk/Unity3D
CAVI-brochure_07.08.2017_200x200-venstresider.indd 18
07-08-2017 15:39:40
ProxiMagic
En figur redigeres med forskelligt værktøj, mens den live opdaterer i dokumentet, hvor den er indsat.
15
ProxiMagic er en web-baseret infrastruktur, der giver mulighed for at fastslå, hvor personer, der er logget på et bestemt wifi-netværk, befinder sig og dermed skabe lokationsbestemte digitale oplevelser og digital kommunikation. Det særlige er, at der kan skabes en situation, hvor man skal være på en bestemt fysisk lokation med sin smartphone, tablet eller computer for at få adgang til tilrettelagt digitalt indhold. www.cavi.au.dk/ProxiMagic
Webstrates Gæster på udstillingen Local Area Artworks på Kunsthal Aarhus kommenterede og kommunikerede omkring de enkelte værker. ProxiMagic sørgede for, at det eksklusivt handlede om det værk, gæsten stod foran.
Webstrates er en web-baseret software-platform, som gør det nemt at udvikle software, der understøtter samtidigt samarbejde. Webstrates kan bruges på tværs af laptops, smartphones, tablets o.a. og kan let omprogrammeres. Webstrates danner grundlag for en række eksperimentelle måder at bruge software på. Dette inkluderer blandt andet software til at understøtte kollaborativt, kreativt arbejde, og software hvor afstanden mellem det at bruge og udvikle software er mindsket. www.webstrates.net
CAVI-brochure_30.06.2017_200x200-højresider.indd 19
07-08-2017 16:31:05
AU
INSTITUT FOR KOMMUNIKATION OG KULTUR AARHUS UNIVERSITET
CAVI-brochure_07.08.2017_200x200-venstresider.indd 20
07-08-2017 15:39:41