Reservados todos os direitos, incluindo os de reprodução total ou parcial em qualquer formato ou de suporte e base de dados, quaisquer que sejam os seus objetivos, sem prévia autorização expressa por escrito da Editora.
® Marca registada da FCA PACTOR Editores, Lda. ISBN edição impressa: 978-972-722-929-1
1.ª edição impressa: agosto 2024
Paginação: Carlos Mendes
Impressão e acabamento: Cafilesa – Soluções Gráficas, Lda. – Venda do Pinheiro Depósito Legal n.º 536128/24
Capa: José M. Ferrão – Look-Ahead
Todos os nossos livros passam por um rigoroso controlo de qualidade, no entanto aconselhamos a consulta periódica do nosso site (www.fca.pt) para fazer o download de eventuais correções.
Não nos responsabilizamos por desatualizações das hiperligações presentes nesta obra, que foram verificadas à data de publicação da mesma.
Os nomes comerciais referenciados neste livro têm patente registada Reservados todos os direitos. Esta publicação não pode ser reproduzida, nem transmitida, no todo ou em parte, por qualquer processo eletrónico, mecânico, fotocópia, digitalização, gravação, sistema de armazenamento e disponibilização de informação, sítio Web, blogue ou outros, sem prévia autorização escrita da Editora, exceto o permitido pelo CDADC, em termos de cópia privada pela AGECOP – Associação para a Gestão da Cópia Privada, através do pagamento das respetivas taxas.
Os QR Codes incluídos nesta publicação remetem para páginas web com informação complementar ou cujos dados vão sendo atualizados. O reconhecimento de QR Codes, em modelos mais antigos de dispositivos, pode não ser imediato, pelo que se apresenta, juntamente, o respetivo link
Índice Geral
1. Introdução à Realidade Virtual 1
1.1 Retrospetiva cronológica histórica da Realidade Virtual 1
1.1.1 Os primórdios da Realidade Virtual 2
1.1.2 Décadas de 1920 e 1930 do século xx – Os primeiros simuladores de Realidade Virtual 4
1.1.3 Década de 1940 do século xx – O aparecimento do primeiro computador e o transístor 5
1.1.4 Décadas de 1950 e 1960 do século xx – Os primeiros equipamentos imersivos 6
1.1.5 Décadas de 1970 e 1980 do século xx – A primeira vaga de Realidade Virtual 9
1.1.6 Década de 1990 do século xx – As primeiras experiências imersivas de Realidade Virtual comerciais 11
1.1.7 Década de 2000 do século xxi – O abrandamento no interesse nas tecnologias de Realidade Virtual 13
1.1.8 Década de 2010 do século xxi – A democratização das tecnologias imersivas de Realidade Virtual 14
1.1.9 Década de 2020 e mais além – O futuro das tecnologias imersivas de Realidade Virtual 16
1.2 Conceitos-chave 16
1.2.1. Realidade Virtual 16
1.2.2 Interação 17
1.2.3 Sistema imersivo 17
1.2.4 Ambiente virtual 19
1.2.5 Cybersickness 20
1.2.6 Metaverso 20
1.2.7 Realismo 21
1.2.8 Sistema de Realidade Virtual 22
3. Sistemas de Realidade
3.1.1.1
3.1.1.2
3.1.1.3
3.1.2.1
3.1.4.2
3.2
3.2.2.3
3.2.2.4
3.2.2.5
3.2.2.6
3.2.2.7
4.1 Fontes de interação
4.1.1 Mãos
4.1.1.1
4.1.1.2
4.1.1.3
4.1.4.1 Captura baseada em câmaras
4.1.4.2 Captura baseada
4.2 Modelos mentais de interação e interações intuitivas
4.3. Princípios
4.4
4.5
4.6
4.7
4.8
4.9
4.9.5
4.9.6
5. O Mundo Virtual
5.1 A experiência virtual: elementos do cenário virtual
5.2 Ferramentas para a criação de aplicações de Realidade Virtual
5.2.1 Unity
5.2.2 Unreal Engine
5.2.3 CryEngine
5.3 Criação do Cenário Virtual
5.3.1 Cenário virtual
5.3.2 Elementos do Cenário Virtual
5.3.2.1 Interfaces Virtuais
5.3.2.2 Avatares
5.3.2.3 Agentes virtuais
5.3.2.4 Objetos
5.3.3 Iluminação
5.3.4 Físicas dos ambientes virtuais
5.3.5 Performance e otimização
5.3.5.1 FPS e taxa de atualização
5.3.5.2 Resolução
5.3.5.3 Método de renderização
5.3.5.4 Renderização foveal
5.3.5.5 Latência de renderização visual
5.3.5.6 Nível de detalhe
5.3.5.7 Seleção por oclusão
5.3.5.8 Atlas de textura
5.3.5.9 Decimação de polígonos
5.3.5.10
6. Avaliação de Experiências de Realidade
6.1 Avaliação funcional e avaliação da experiência de utilizador
6.2 Métricas de avaliação subjetiva
6.2.1 Questionários de presença
6.2.1.1 Slater-Usoh-Steed (SUS)
6.2.1.2 Presence Questionnaire (PQ)
6.2.1.3 Igroup Presence Questionnaire (IPQ)
6.2.1.4 International Test Commission – Sense of Presence Inventory (ITC-SOPI)
6.2.1.5 Temple Presence Inventory (TPI)
6.2.2 Cybersickness
6.2.3 Experiência do utilizador
6.2.4
6.3
6.3.1
6.3.1.1
6.3.1.2
6.3.1.3
6.3.1.4
6.3.1.5
6.3.2.1
6.3.2.2
6.3.2.3
6.3.2.4
6.3.3
7.1
7.1.2
7.1.3
7.1.4
7.2
7.3
7.4
7.5
7.5.1
7.5.2
7.6
Sobre o Livro
A Realidade Virtual (RV) é uma tecnologia inovadora que tem o potencial de transformar a nossa interação com o mundo digital. Permite aos utilizadores imergirem em ambientes tridimensionais (3D) simulados através de dispositivos como óculos de RV, luvas hápticas e outros acessórios. Esta experiência cria a sensação de presença num mundo virtual, proporcionando uma interação mais intuitiva e natural com conteúdos digitais.
A RV encontra aplicação em diversas áreas, cada uma com objetivos específicos e de grande impacto, proporcionando experiências imersivas e interativas. Os seus objetivos vão além do entretenimento, demonstrando o seu potencial para transformar a forma como interagimos com o mundo digital e real.
Este livro pretende enquadrar e informar o leitor, quer seja profissional da área, aluno ou interessado em saber mais, sobre as diferentes facetas da RV enquanto tecnologia e dispositivo. Ao contrário do que se possa pensar, a RV pretende auxiliar as diversas tarefas do dia a dia, quer a nível profissional, quer a nível pessoal.
O
que pode encontrar neste livro?
Ao longo dos oito capítulos que compõem o livro, apresentam-se as suas possíveis áreas de aplicação como o treino e certificação, o turismo, a educação, o comércio eletrónico e a saúde. Qualquer utilizador, de qualquer área, pode beneficiar de diversas formas com o apoio de sistemas de RV, através da entrega de estímulos sensoriais (como a visão, a audição, o olfato e o paladar), da interação com uma situação via simulação (quer seja direta ou indireta) e do acesso a um mundo virtual (que nos permite explorar cenários que de outra forma não poderiam ser acedidos).
O Capítulo 1 deste livro tem como objetivo familiarizar o leitor com os eventos mais significativos relacionados com a RV de um ponto de vista histórico,
tentando contextualizar os vários acontecimentos de forma a permitir perceber quais foram de facto os eventos que espoletaram determinados desenvolvimentos tecnológicos na área.
Para além disso, este capítulo pretende familiarizar o leitor com os conceitos-chave relacionados com a RV.
No Capítulo 2 é abordada a relação entre a RV e a perceção e cognição humanas, assim como a relação entre a perceção humana e os cinco sentidos, tendo em conta os aspetos a considerar aquando da criação de experiências virtuais multissensoriais.
O Capítulo 3 aborda os principais componentes que compõem um sistema típico de RV e servem como interface entre os utilizadores e os mundos virtuais, estando estruturado em duas grandes secções. Na primeira, descreve-se como os dispositivos e os métodos permitem transportar o utilizador para o ambiente virtual, aumentando ou substituindo os seus estímulos sensoriais reais e apresenta-se cada tipo de estímulo sensorial separadamente, indicando os dispositivos associados a cada um. Numa segunda parte, descrevem-se os diversos sistemas de rastreamento para uma interação em RV, os tipos de rastreamento e as tecnologias capazes de monitorar a posição e a rotação dos dispositivos e utilizadores, garantindo assim a correta entrega de estímulos sensoriais. O objetivo é fornecer uma explicação clara e estruturada dos componentes e mecanismos envolvidos no funcionamento de um sistema típico de RV.
O Capítulo 4 foca na interação em RV e apresenta os dispositivos e métodos de entrada mais usados em RV e como estes requerem, muitas vezes, algum tipo de tracking. São explicadas as tecnologias e os tipos de tracking existentes para os mesmos. Por fim, serão também apresentados conceitos relativos à interação.
No Capítulo 5, para além da temática da criação de ambientes virtuais, são apresentadas as ferramentas de desenvolvimento de aplicações de RV mais proeminentes e os fatores a ter em conta aquando da criação de mundos virtuais.
O Capítulo 6 descreve o processo de avaliação de experiências de RV, o qual se subdivide em duas fases: a avaliação funcional e a avaliação da experiência de utilizador.
No Capítulo 7 é discutido o potencial da utilização da RV em diferentes áreas de aplicação (treino e certificação, turismo, educação, comércio eletrónico e saúde) e são apresentadas as suas principais vantagens, os desafios que ainda existem
e exemplos de aplicações de RV em diferentes áreas. No final, são apresentadas algumas considerações transversais às áreas de aplicação onde as tecnologias de RV podem ser adotadas.
Imagens
Todas as imagens deste livro são um importante suporte ilustrativo de apoio à doutrina e metodologia apresentadas pelos autores, através das quais se procura que o leitor perceba melhor os conteúdos apresentados. Para um melhor entendimento das mesmas, quer do contexto, quer de cores e outras características, as imagens são acompanhadas de códigos QR que remetem o leitor para as suas versões a cores ou para os links de vídeos ilustrativos.
Como fazer a leitura de um código QR no meu iPhone, iPad ou dispositivo Android?
A maioria dos smartphones já têm leitores de QR integrados nas suas câmaras, mas alguns dispositivos mais antigos podem exigir uma aplicação especial para fazer a leitura dos códigos QR, que podem ser facilmente encontradas na Apple App Store e no Google Play. Para fazer a leitura do código QR:
1. Abra a câmara de seu smartphone ou a aplicação do leitor de código QR.
2. Aponte-o para o código QR. Independentemente do ângulo da câmara, deve conseguir receber as informações necessárias e os dados serão instantaneamente mostrados no visor.
Interação em Realidade
Virtual
A interação em Realidade Virtual (RV) é feita através de dispositivos de entrada. Estes dispositivos, tal como os dispositivos de entrega de estímulos sensoriais, ajudam a fornecer aos utilizadores uma sensação de imersão e apoiam os utilizadores na navegação e interação dentro de um ambiente virtual para torná-lo mais intuitivo e natural possível.
Neste capítulo, serão apresentados os dispositivos e métodos de entrada mais usados em RV e como estes requerem, muitas vezes, algum tipo de tracking. São explicadas também as tecnologias e os tipos de tracking existentes para os mesmos. Depois, serão também apresentados conceitos relativos à interação.
4.1 Fontes de interação
O corpo humano é capaz de interagir e comunicar com o ambiente à sua volta de diversas maneiras. No entanto, implementar todas as formas possíveis de interação numa experiência virtual poderá ser complexo e, até mesmo, desnecessário. Desse modo, devemos optar pelas metáforas de interação que se adequam melhor ao objetivo da aplicação de RV e ao equipamento disponível.
A maioria das fontes de interação provém de movimentos do corpo humano. Normalmente, é assim que interagimos com o mundo real, ao mover o nosso corpo (ou partes dele) para exercer alterações no meio à nossa volta. No entanto, podemos incluir outro tipo de interações menos comuns no dia a dia e que envolvem um intermediário (algo ou alguém) que interprete o que queremos e execute as ações para esse fim. Exemplo disso é o uso da voz que, por si só, não permite efetuar alterações no ambiente diretamente, pois serve maioritariamente como um meio de comunicação. No entanto, a voz pode levar a alterações no ambiente de forma indireta, ao comunicar com o sistema que, por sua vez, executa as ações
por nós. No mundo real, já usamos esse tipo de interação com assistentes como a Alexa, a Siri ou o Google Assistant. O próprio corpo também permite comunicar indiretamente, por exemplo, ao clicar em botões num comando ou através de gestos (sequência de movimentos) ou poses (postura estática), através dos quais podemos enviar uma mensagem para que o sistema mova um objeto de sítio, em vez de nos deslocarmos fisicamente para o fazer.
4.1.1 Mãos
As mãos são uma das partes do corpo de que mais dependemos para executar as várias tarefas do dia a dia. É com elas que frequentemente manipulamos objetos, principalmente aqueles que requerem destreza (e.g., escrever num teclado ou tocar piano). Naturalmente, as mãos são também importantes na interação com o mundo virtual. Diversos dispositivos podem interagir com as mãos em aplicações de RV, podendo ser categorizados como:
Dispositivos fixos;
Dispositivos móveis sem tracking;
Dispositivos móveis com tracking;
Wearables;
Mãos livres.
4.1.1.1 Dispositivos fixos
Como o próprio nome indica, são dispositivos estáticos no mundo real e são restringidos na forma como podem ser manipulados no ambiente virtual e no ambiente real. No entanto, existem várias utilizações para estes dispositivos em RV como na condução de veículos onde o volante e outros controlos se encontram fixos em relação ao utilizador, quer no espaço físico, quer no espaço virtual. Por se encontrarem sempre no mesmo sítio, não requerem necessariamente tracking espacial, mas apenas tracking das suas partes (e.g., saber qual a rotação do volante e a posição dos aceleradores num simulador de condução).
4.1.1.2 Dispositivos móveis com tracking
Estes dispositivos podem servir como trackers, por exemplo, das mãos (assumindo que um dispositivo é usado por cada mão durante o decorrer de toda a experiência) e como meio de interagir com o mundo virtual. Podem também oferecer feedback háptico propriocetivo1 e passivo. Alguns destes dispositivos integram também botões com sensores de contacto ou de pressão, de forma a aumentar a informação de tracking. Esta informação pode ser usada para estimar a posição dos dedos da mão em relação ao dispositivo, criando uma representação da mão virtual mais fidedigna e possibilitando mais formas de interação (e.g., quanto maior a pressão sobre o gatilho do comando, maior a força de um berbequim virtual).
4.1.1.3 Dispositivos móveis sem tracking
Estes são dispositivos que podem ser movidos mas que, no entanto, não permitem o tracking espacial. Embora estes dispositivos não transmitam ao sistema a localização e rotação das mãos, podem ser usados para permitir que o utilizador interaja com as aplicações por via de botões, joysticks, entre outros.
As consolas de videojogos usam, tradicionalmente, este tipo de dispositivos de input, vulgarmente chamados de comandos, como o comando Xbox, PlayStation, etc.
1 Consciência da localização das partes do corpo.
Figura 4.1 – Comando dos HTC Vive como exemplo de comando com tracking
Apesar de não oferecerem tracking, a informação do estado dos botões e joysticks pode, ainda assim, permitir calcular a posição dos dedos sobre o comando (Figura 4.2).
4.1.1.4
Wearables
Os wearables, no contexto de mãos como fonte de interação, são considerados como uma das melhores interfaces para RV. Oferecem vantagens tais como a interação natural e melhorada com gestos, o facto de as mãos poderem ser mantidas em posições confortáveis sem problemas de linha de visão e, ainda, as mãos e os dedos poderem interagir na mesma com objetos reais (ao contrário do uso de comandos, pois enquanto o utilizador segura os comandos nas mãos, estas encontram-se ocupadas para manipular outros objetos reais).
Um exemplo desta tecnologia pode ser encontrado em luvas (data gloves) de dois tipos (Figura 4.3):
Bend sensing gloves – Têm como características o input passivo, deteção da posição e dos gestos da mão;
Pinch gloves – São usadas para a seleção de objetos, navegar em menus, etc., e têm um material condutor na ponta dos dedos permitindo, entre outros, determinar se as pontas dos dedos tocam entre si.
De notar que, caso as luvas apenas façam tracking dos dedos em relação à mão, será necessário algum tipo de tracking adicional para rastrear a localização da mão em relação ao resto do corpo e ao mundo.
Figura 4.2 – Comando da Xbox como exemplo de comando sem tracking
O Mundo Virtual
A criação de ambientes virtuais imersivos requer o domínio de diversas técnicas que permitam simular o comportamento do mundo real de forma credível. Neste capítulo será explorada a construção de mundos virtuais, abordando os aspetos fundamentais que garantem uma experiência envolvente aos utilizadores.
Tendo em conta que a natureza das aplicações de Realidade Virtual (RV) consiste em transportar os seus utilizadores para um mundo virtual, o sucesso desse “transporte” está na forma como estimulamos os sentidos dos utilizadores para que estes sintam que estão realmente num mundo paralelo. Neste capítulo, para além da temática da criação de ambientes virtuais, são apresentadas as ferramentas de desenvolvimento de aplicações de RV mais proeminentes e os fatores a ter em conta aquando da criação de mundos virtuais.
5.1 A experiência virtual: elementos do cenário virtual
Em teoria, para criar a experiência virtual perfeita, todos os estímulos teriam de ser sintetizados de forma equiparada aos estímulos reais para recriar uma realidade alternativa. No entanto, não bastaria apenas entregar os estímulos na sua qualidade máxima: é importante garantir que os estímulos entregues são coerentes com o ambiente virtual e que estão devidamente sincronizados com o mesmo. Por exemplo, se estamos perante uma experiência que pretende replicar uma expedição ao Polo Norte, entregar estímulos de calor e humidade representativos de um deserto irá ter um efeito negativo na experiência virtual. Em termos de sincronismo, caso haja algum movimento do utilizador que não esteja sincronizado, sobretudo com o estímulo visual, irá ter um efeito negativo na experiência de realismo e pode até criar sintomas de cybersickness.
Além do realismo dos estímulos, existem outros fatores a ter em conta que contribuem para uma total imersão do utilizador. Jerald (2015) classifica esses fatores em seis categorias:
Extensão;
Correspondência;
Envolvência;
Vivacidade;
Interatividade;
Enredo.
A extensão refere-se ao número de diferentes sentidos que o sistema de RV consegue estimular ao utilizador, sendo que quanto mais extensão (e.g., mais estímulos relativos a diferentes sentidos devidamente entregues), mais rica e imersiva a experiência virtual se torna.
E Se o utilizador estiver numa experiência de RV consistindo no topo de uma montanha com neve, é expectável que este sinta frio e possivelmente vento. Se o sistema não entregar todos esses estímulos, o utilizador irá apenas sentir a temperatura ambiente, o que irá resultar numa imersão e credibilidade da experiência menores do que se todos os estímulos fossem entregues de forma coerente.
A correspondência refere-se à congruência entre a proprioceção (e.g., a capacidade que o corpo tem de entender o seu posicionamento e a sensação de movimento) e os restantes estímulos sensoriais, devendo haver uma harmonia entre ambos. Isto inclui os estímulos utilizados para representar o corpo do utilizador no ambiente virtual e a sua interação com o mesmo.
E Quando corremos, sentimos e vemos as pernas a mover e sentimos uma brisa devido à deslocação, percecionando assim essa deslocação. Estes aspetos são expectáveis numa aplicação de RV para nos assegure uma correspondência entre aquilo que fazemos no ambiente virtual e a forma como o percecionamos na realidade.
No que diz respeito à envolvência, caracteriza-se por quanto os estímulos envolvem o utilizador. Dizem respeito à envolvência fatores como a percentagem do campo de visão que os sistemas de RV conseguem cobrir ou a existência de som espacializado que permite aos utilizadores perceber a direção e localização de certos sons nos ambientes virtuais. Outro fator que leva a uma maior envolvência são os sistemas que conseguem fazer tracking completo do utilizador,
permitindo que este se localize com todos os graus de liberdade dentro dos ambientes virtuais.
E Um utilizador que se encontre numa experiência virtual em que o ambiente seja uma floresta, um head-mounted display (HMD) com um grande campo de visão irá permitir uma maior estimulação da visão, juntamente com som espacializado de forma a identificar a localização de pássaros à sua volta ou até mesmo de um riacho. Alternativamente, se for uma experiência colaborativa e alguma pessoa estiver a falar, uma experiência é mais envolvente caso o utilizador entenda a voz dessa pessoa como tendo origem nela.
Por sua vez, o conceito de vivacidade refere-se à qualidade e intensidade dos estímulos que são simulados e entregues ao utilizador. Neste caso, importam fatores como a resolução e taxa de atualização dos dispositivos de visualização, a qualidade do áudio e a fidelidade da simulação (iluminação, texturas, físicas, frame rate ou a intensidade dos aromas). A qualidade dos estímulos influenciará diretamente a experiência de RV e a perceção do utilizador sobre a credibilidade da experiência virtual.
E Uma experiência que use equipamentos de visualização com baixa resolução e uma simulação que não inclua sombras e apresente texturas de baixa resolução e detalhe não irá conseguir convencer os sentidos humanos da mesma maneira que equipamentos de alta-fidelidade, levando assim a uma menor imersão e a uma experiência virtual menos credível.
A interatividade, tal como o próprio nome sugere, refere-se ao leque de interações disponíveis no mundo virtual, sendo idealmente o mesmo que no real e no qual as ações do utilizador têm consequências, tal como na realidade. Assim, a interatividade é a capacidade do utilizador de atuar no mundo virtual, bem como a resposta das entidades virtuais às ações do utilizador e a capacidade deste poder influenciar eventos no ambiente virtual.
E Uma aplicação imersiva em que o utilizador apenas pode olhar à sua volta para ver conteúdos 360°, trata-se de uma aplicação passiva onde apenas é possível fazer a visualização dos conteúdos. Não permitir interações pode levar a que o utilizador sinta que não faz parte do mundo virtual e que é apenas um agente externo, diminuindo a credibilidade da experiência virtual.
Por fim, o fator enredo consiste na história retratada na aplicação de RV ou, por outras palavras, o contexto semântico dos acontecimentos do ambiente virtual.
