Innhold Forord......................................................................................................................... 9 Hvordan lese denne boken.................................................................................... 11 Kapittel 1 En formidlingsrevolusjon ...................................................................................... 13 Kapittel 2 Hva betyr ordene? .................................................................................................. 18 Sentrale definisjoner ............................................................................................... 19 Kapittel 3 Jakten på en kunstig virkelighet ......................................................................... 24 Kapittel 4 Slik opplever du XR ................................................................................................ 37 Hvordan oppleve VR ............................................................................................... 39 Hvordan oppleve AR ............................................................................................... 41 Kapittel 5 Mulighetene med virtuell virkelighet ................................................................ 43 Hjernekirurgi ............................................................................................................. 43 Arkitektur .................................................................................................................. 45 Byggemøter ............................................................................................................... 46 Virtuell praksisplass ................................................................................................ 47 Gjenoppbygger historien ........................................................................................ 47 Brannøvelser i VR .................................................................................................... 48 Opplæring av ansatte ............................................................................................. 49 Gå på boligvisning ................................................................................................... 49
5
100587 GRMAT VR og AR 180101.indd 5
12/10/2018 09:21
innhold
Lærer matematikk med VR .................................................................................... 50 Fotballtrening med landslaget ............................................................................... 51 HMS-opplæring i Statnett ..................................................................................... 52 Lærdommer .............................................................................................................. 52 Kapittel 6 Dette er utvidet virkelighet .................................................................................. 53 Kapittel 7 Slik virker teknologiene ........................................................................................ 62 360-bilder ................................................................................................................. 62 360-video .................................................................................................................. 65 Stereoskopisk 360-video ....................................................................................... 67 Stereoskopisk 180-video ........................................................................................ 68 Volumetriske bilder og video ................................................................................. 68 Fotogrammetri og LiDAR ........................................................................................ 70 Datagenerert VR ...................................................................................................... 71 Lyd i VR ...................................................................................................................... 72 VR-brillene ................................................................................................................ 73 AR – geobasert ......................................................................................................... 74 2D-basert AR ........................................................................................................... 75 3D-basert AR / Mixed reality ................................................................................ 75 AR-brillene ................................................................................................................ 75 Kapittel 8 VR og AR som sosiale arenaer ............................................................................ 77 Kapittel 9 Trening og utdanning ............................................................................................. 84
6
100587 GRMAT VR og AR 180101.indd 6
12/10/2018 09:21
innhold
Kapittel 10 Helse .......................................................................................................................... 92 Kapittel 11 Journalistikk og dokumentar ............................................................................... 99 Kapittel 12 Historiefortelling i 360 grader ............................................................................ 105 Kapittel 13 Ă… drive innovasjon innen VR og AR ................................................................... 116 Kapittel 14 Hvordan lage innhold i VR og AR ........................................................................ 121 360-video .................................................................................................................. 121 Datagenerert XR ...................................................................................................... 127 Kapittel 15 Lov og etikk .............................................................................................................. 130 Kapittel 16 Noen framtidsvisjoner ........................................................................................... 138 Kapittel 17 Forkortelser, ord og uttrykk ................................................................................. 145 Ressurser .................................................................................................................. 152
7
100587 GRMAT VR og AR 180101.indd 7
12/10/2018 09:21
100587 GRMAT VR og AR 180101.indd 8
12/10/2018 09:21
Forord I denne boken henvender jeg meg spesielt til to målgrupper: de som ikke har særlig peiling på VR og AR, og de som faktisk har det. Det skal med andre ord være en bok for alle. Enkelte vil kanskje innvende at tematikken er litt smal, eller enda verre: At VR og AR ikke er så viktig for samfunnet eller deg personlig. Disse vet forhåpentligvis bedre etter å ha lest boken. Dette skal være en introduksjonsbok, som skal gi innsikt og inspirere til både opplevelser og produksjoner i VR og AR. Teknologiene er i lynrask utvikling. Målet mitt er at du skal få en grunnleggende forståelse av både historikken, nåtiden og framtiden for disse teknologiene. Som fotograf har jeg holdt på med ulike 360-teknologier siden 2005. Min interesse for både teknologi og fotografi har ført til mange rare prosjekter gjennom årene, i stadige forsøk på å utvikle mulighetene innenfor spesielt den visuelle journalistikken. I Teknisk Ukeblad har jeg ikke bare kunnet jobbe intensivt med dette, men også fått se på nært hold hva de store teknologimiljøene i Norge og utlandet får til med avansert VR- og AR-teknologi. Dette har vært til stor inspirasjon. Til slutt måtte det bare bli en bok. Det har vært en krevende prosess, ikke minst når det gjelder å forklare kompliserte sammenhenger. Eller begreper som stadig endrer betydning. Heldigvis har jeg fått mye hjelp og støtte underveis. Jeg vil spesielt takke min kone Linda og våre barn Ole og Torbjørn, som har stilt opp på fantastisk vis gjennom travle måneder med både jobb, reiser og bok. Videre vil jeg takke redaktør Ragnhild Hjorth og Cappelen Damm Akademisk, som satset på ideen og har vært til stødig hjelp underveis. Jeg takker også for støtten fra Pressens Faglitterære Fond. Denne boken hadde heller ikke blitt til uten Teknisk Ukeblad og mine fine og knalldyktige kollegaer i hele mediehuset. 9
100587 GRMAT VR og AR 180101.indd 9
12/10/2018 09:21
forord
Fra de norske XR-miljøene er det mange flere å takke enn det blir plass til her. Men jeg vil spesielt nevne Kim Baumann Larsen, Ekaterina Prasolova-Førland, Tormod Utne og Anne Lise Waal; Aleksander Langmyhr og Christer-André Fagerbakk i Dimension10, Renate Fossum og BjørnMorten Nerland i Stargate Media, Are Søby Vindfallet og gjengen i Making View, Ali Zareiee, Keith Mellingen, Jo Jørgen Stordal og Pointmedia, Joakim Vindenes og generelt VR-miljøene i Oslo, Bergen, Trondheim og Innlandet. Jeg vil også takke Frode Solum, mine foreldre Bjørnar Urke og Liv Helland, Google DNI, VRLA, IVRPA, folk på Svalbard og en hel rekke andre som har vært til hjelp med stort og smått. Husk å stikke innom nettsiden for boken! Der finner du oppdateringer, rettelser, kontaktinformasjon og flere ressurser for deg som er opptatt av VR, AR og alt som ligner. Oslo, 1. oktober 2018 Eirik Helland Urke
10
100587 GRMAT VR og AR 180101.indd 10
12/10/2018 09:21
Hvordan lese denne boken Først og fremst kan du lese boken fra perm til perm, og være litt klokere etterpå. Det finnes dessuten noen ekstra muligheter: 1. Det handler om teknologi i rask utvikling, som naturligvis vil fortsette etter at boken er trykket. For relevante oppdateringer kan du gå til bokens hjemmeside: http://vr-ar.no 2. Alle nettadresser er forkortet for å gjøre det lettere å skrive inn manuelt. Disse vil også kunne oppdateres dersom kildene bytter adresse 3. Det finnes en oversikt over ord og begreper bakerst i boken. Den kan være grei å ha hvis du faller av underveis. Bakerst er det også samlet en del nyttige ressurser for videre fordypning, og en oversikt over relevante miljøer, nettsteder og konferanser innenfor AR og VR 4. Du kan gjerne kontakte forfatteren direkte på e-post: eirik@urke.com
11
100587 GRMAT VR og AR 180101.indd 11
12/10/2018 09:21
100587 GRMAT VR og AR 180101.indd 12
12/10/2018 09:21
Kapittel 1
Filn
En formidlingsrevolusjon
Redningsmann Arne Marius Pettersen p책 Svalbard f책r oppleve sin egen arbeidsplass i VR.
Denne boken handler om teknologier som brukes til 책 forbedre og til en viss grad erstatte den fysiske virkeligheten v책r. Som regel ved hjelp av rare briller. 13
100587 GRMAT VR og AR 180101.indd 13
12/10/2018 09:21
kapittel 1
Er det et blaff eller en altomfattende endring vi er vitne til? Robert Scoble og Shel Israel er blant dem som skriver om den «fjerde transformasjonen» (Scoble & Israel, 2016). De tre første transformasjonene er henholdsvis den personlige datamaskinen, internett og smarttelefonen. Hver for seg er det gjennombrudd som har hatt massiv betydning for hverdagen til de fleste av oss, både privat og i jobbsammenheng. Den siste bølgen handler om teknologiene jeg beskriver i denne boken. Teknologiene har mange navn, og som regel engelske. Vi snakker om virtual reality (VR), augmented reality (AR), mixed reality (MR), extended reality (XR) – og når du leser dette kalles de kanskje noe helt annet. Det er ikke så rart at det kan bli forvirrende, selv for dem som jobber med de nye teknologiene til daglig. På de neste sidene skal jeg forsøke å rydde opp i begrepene, og se på hvordan disse teknologiene kan bidra til å forandre verden. Du skal både kunne oppleve og lage innhold for VR og AR, i hvert fall på et enkelt nivå. Du skal til og med få et blikk inn i framtiden! Men la oss starte helt på begynnelsen. Hva er egentlig virkeligheten? Virkelighet kan sies å omfatte alt som er sant og ekte, ting som eksisterer i verden. Noe opplever vi selv, annet blir vi fortalt. Enkelte ganger må vi justere vår oppfatning av hva som er virkelig og hva som ikke er det. Virkeligheten kan være krevende, har de fleste erfart. Det er ikke så lett å vite alt, i hvert fall ikke til riktig tid. Så hvordan kan vi forbedre virkeligheten? Det er faktisk hovedoppgaven til det som kalles augmented reality (AR), eller utvidet virkelighet. Den tar for seg virkeligheten og legger til noe mer, noe som er nyttig i den konteksten vi befinner oss i. Konteksten kan være stedet vi er på, tidspunktet eller rett og slett den oppgaven vi skal ta fatt på. Den siste AR-bølgen har kommet med mobilskjermene, den enheten de fleste har tilgjengelig i hverdagen. Gjennombruddet kom med spillet Pokemon Go i 2016. Millioner av mennesker bruker AR med Snapchat hver dag. Mer avanserte brukere i industri og næringsliv har benyttet seg av egne AR-briller som HoloLens, og etter hvert kommer det slike briller for vanlige forbrukere også.
14
100587 GRMAT VR og AR 180101.indd 14
12/10/2018 09:21
en formidlingsrevolusjon
Å ha på seg avanserte AR-briller kjennes nesten som å ha på seg en hjelm med briller. De ligger som regel ganske tungt på hodet, og foran øynene har du brilleglass med komplekse detaljer. Du kan se igjennom dem. Når systemet skrus på og kobles til innhold, kan du se digitale modeller foran deg. De framstår som integrert i virkeligheten rundt deg. Det kan dukke opp et vindu på en vegg der det egentlig ikke er et vindu, eller en hel oljeplattform på bordet framfor deg. Du kan gå rundt modellen og se på den fra flere kanter. Du vil antakelig fortsatt se forskjell på de digitale og virkelige objektene, men dette gapet fylles etter hvert som utviklingen fortsetter. Du vil antakelig heller ikke se det digitale innholdet i hele synsfeltet, bare i midten. Synsvinkelen er noe som forbedres for hver generasjon av briller. Utviklingen er altså bare så vidt begynt. Ingen vet hvordan VR og AR fungerer om 20 eller 30 år, men det er garantert helt annerledes enn i dag. Det kan faktisk være nyttig å glemme dagens teknologi for et øyeblikk når vi skal tenke framover. Alle dingser kan i prinsippet være hinder for opplevelsen eller oppgaven som skal løses, og disse hindrene vil miste sin styrke etter hvert som utviklingen tar stadig nye steg videre. Så derfor: Tenk deg AR som noe innebygget i en kontaktlinse, eller for den saks skyld i øyet eller i selve synsnerven. Tenk deg at lyden er implementert i øret, eller i hjernens hørselssenter. Datakraften er distribuert i nettskyen, eller hvor man nå tenker at den ikke er i veien. Kort sagt: Se for deg at teknologien er helt usynlig og umerkelig i seg selv. Nå begynner det virkelig å bli interessant. Forestill deg at du spaserer en tur i nærmiljøet. Du kan få informasjon om hva enn du fester blikket på, etter hvert som du trenger det. • Hvor er veien til butikken jeg leter etter? Diskrete piler i veien kan vise deg. • Det var en kul bil. Hva koster den, og hvor kan jeg kjøpe en slik? • Oi, der kommer det en person jeg burde kjenne igjen. Hvem er det? • Det mennesket er i nød, hvordan gir jeg førstehjelp? • Hvordan fikser jeg denne maskinen? Og så videre. Du er blitt et menneske med en hel rekke nye egenskaper, noe man i det amerikanske selskapet EON Reality kaller «Human 2.0» (EON 15
100587 GRMAT VR og AR 180101.indd 15
12/10/2018 09:21
kapittel 1
Reality, 2017). Du er altså oppgradert som menneske. En smart assistent forstår alltid hva du trenger å vite, og hjelper deg videre med det du skal gjøre. Teknologiene er her i stor grad allerede, nå må vi bare lære å bruke dem riktig. La tankene spinne litt videre. Da har du et godt utgangspunkt for å skape dine egne muligheter innenfor AR. Enten det handler om å utvikle nye tjenester eller nyte godt av det andre har laget. Når du har en mening om hvor du skal, er det også mye lettere å vite hva som skal til for å komme dit. Eller hva du skal finne på når du er der. Vi har så vidt sett på hvordan hverdagen kan gjøres bedre med AR, og fordelene er åpenbare. Men er det slik at vi ikke trenger å tenke selv lenger med AR? Assistenten gjør all jobben, mens hjernene våre visner av mangel på utfordringer og ny kunnskap? Ikke helt. Det er nemlig slik at vi lærer bedre når vi bruker flere av sansene våre aktivt. En opplevelse lagres på en annen måte enn noe man leser. Læring i riktig kontekst, der motivasjonen ligger i situasjonen, gir også en klar positiv effekt. Det skal vi se mye mer på i denne boken. AR har altså sine helt tydelige bruksområder, både nå og i framtiden. Den gir deg en forbedret versjon av virkeligheten. Men det er også mulig å gå helt ut av virkeligheten og inn i en fullstendig konstruert verden. Da er vi over på det andre store temaet i denne boken – virtual reality (VR) eller virtuell virkelighet. I den virtuelle virkeligheten overlater du sansene dine til en kunstig verden, enten den er fullstendig datakonstruert eller basert på omsluttende bilder eller video. Samtidig kobler du mer eller mindre ut den virkelige verden. Hva kan dette brukes til? I den futuristiske TV-serien Star Trek var rekreasjon et av hovedpoengene med VR-teknologien. I de siste årene har spillutviklere vært blant de fremste driverne av VR-utviklingen, mens vi etter hvert har sett interessante bruksområder innen undervisning, helse, media og industri. Og pornografi, selvsagt. Etter hvert ser vi at VR finner sin naturlige plass på de fleste samfunnsområder. Mulighetene er åpenbart enorme, hvis vi sier at potensialet ligger i å konstruere en parallell virkelighet med blanke ark og alle muligheter. Kan du ikke fly, sier du? Joda, nå kan du det – i VR. 16
100587 GRMAT VR og AR 180101.indd 16
12/10/2018 09:21
en formidlingsrevolusjon
En viktig forutsetning for at VR skal fungere er at vi TROR på det sansene forteller oss. I hvert fall nok til at vi lar oss rive litt med. Med god VR går det faktisk overraskende greit å fortelle hjernen at dette er den nye virkeligheten vi skal forholde oss til. Samtidig flyttes stadig grensene for hva vi lar oss imponere av. De mest avanserte VR-brillene kjennes godt på hodet, den framtunge vekta balanseres med solide strikk rundt og over hodet. De er koblet til en datamaskin med ledning eller en trådløs forbindelse. Med brillene på vil du se et rundt bilde med et noe begrenset synsfelt, kanskje 100 grader. Bildet inne i VR dekker 360 grader og vil «sitte fast» på samme sted selv om du beveger hodet. Hva du ser gjennom brillene er nøyaktig synkronisert med bevegelsene dine. Hvis du ser opp, vil du se himmelen i den virtuelle verdenen. Når du ser ned, vil du se bakken. Med øreklokker vil du nå kunne føle deg koblet fra den virkelige verden. Den videre opplevelsen styres av innholdet du har lastet inn på VR-maskinen. Kanskje er du nå i en Formel 1-bil, på månen eller bare i stillheten på et fjell. Opplevelsen kan begynne! Fortsatt er teknologien en veldig tydelig og merkbar del av VR. Vi har på oss tunge og klumpete briller. Vi ser fortsatt bildepunktene på skjermen og lar oss ikke helt lure av datagenerert realisme. Det vi føler med hender og hud, er heller ikke helt i samsvar med det vi ser og hører. Men vi kommer stadig nærmere denne realismen. Derfor er det også med VR, som med AR, at det kan være hensiktsmessig å se for seg at dette bare vil funke om noen år. Det vil bli mulig å plassere seg selv i en kunstig virkelighet, og mulighetene vil være nesten uendelige. Hva kan vi gjøre da? Det har du forhåpentligvis noen gode svar på selv etter å ha lest denne boken. Men først skal vi se litt nærmere på de mest grunnleggende konseptene innenfor VR og AR, og deretter sette det hele i litt historisk kontekst.
17
100587 GRMAT VR og AR 180101.indd 17
12/10/2018 09:21