Tutorial EVI 2015: Realidad Aumentada

UNIVERSIDAD SIMÓN BOLÍVAR

Aumentada

Realidad

Prof. Angela Di Serio

recuerdan

?

MinorityReport

... y la visi贸n de

Terminator

?

QuĂŠ es

Realidad Aumentada

? ?

visi贸n enriquecida del mundo real

?

escena real

vista por el usuario

objetosVirtuales

que enriquecen percepci贸n del usuario

https://www.youtube.com/watch?v=5ks1u0A8xdU

?

Realidad Virtual

Reemplaza la realidad Inmersivos, FOV amplio https://www.youtube.com/watch?v=j3vHv4lNvg4

Realidad Aumentada

Amplía la realidad No inmersivo, FOV pequeño https://www.youtube.com/watch?v=ZMATzMV6Qz0

?

QR-Codes Es un c贸digo bi-dimensional similar a los c贸digos de barras pero que contiene informaci贸n en ambas direcciones (horizontal y vertical)

QR-Codes Permiten acceder r谩pidamente a todo tipo de informaci贸n pero ...

QR-Codes Realidad Aumentada ... No es

?

Sensores y similares para hacer seguimiento de la D isplay Sensores posición del usuario y su orientación para un correcto registro de lo virtual con lo real Tecnología para combinar los objetos virtuales con los reales.

Procesador

Entrada

Tecnología que permita la interacción a tiempo real con los objetos virtuales También incluye reconocimiento de voz, gestos

Tecnología Necesaria

Técnicas para despliegue visual * Video see-through El usuario no ve directamente el mundo real La video cámara continuamente captura fotogramas del mundo real y se los pasa al sistema de aumentación

* Optical see-through

* Projective

Video see-through

Video see-through Económico y fácil de implementar Es fácil eliminar objetos de la realidad dado que ésta es digitalizada Esto incluye remover o reemplazar marcas con objetos virtuales

Técnicas para despliegue visual * Video see-through El usuario no ve directamente el mundo real La video cámara continuamente captura fotogramas del mundo real y se los pasa al sistema de aumentación

* Optical see-through

El usuario ve el mundo real a través de un display semitransparente y los objetos virtuales son mezclados en la escena de forma óptica en frente de los ojos del usuario basado en su posición actual

* Projective

Optical see-through

Optical see-through No presenta problemas de resolución y retardos como video see-through Crear aumentaciones convincentes se vuelve un tanto difícil dado que el mundo real aparece de forma natural y los objetos virtuales pueden aparecer pixelados Dado que no hay cámara, es necesario algún mecanismo o sensor de posición que facilite el proceso de registro

Técnicas para despliegue visual * Video see-through El usuario no ve directamente el mundo real La video cámara continuamente captura fotogramas del mundo real y se los pasa al sistema de aumentación

* Optical see-through

El usuario ve el mundo real a través de un display semitransparente y los objetos virtuales son mezclados en la escena de forma óptica en frente de los ojos del usuario basado en su posición actual

* Projective

La información virtual es proyectada directamente sobre el objeto físico a ser aumentado

Uso de tecnolog铆a de proyecci贸n para aumentar y mejorar objetos 3D y espacios en el mundo real por medio de la proyecci贸n de im谩genes sobre sus superficies visibles http://web.cs.wpi.edu/~gogo/courses/cs525A/papers/Mine_2012_ProjectionAR.pdf

Generalmente se usan uno o mรกs proyectores ubicados alrededor del objeto o distribuidos a lo largo de un espacio 3D (una escena completa). http://web.cs.wpi.edu/~gogo/courses/cs525A/papers/Mine_2012_ProjectionAR.pdf

Se pueden crear ambientes dinĂĄmicos y que puede ser disfrutado por mĂşltiples personas al mismo tiempo http://web.cs.wpi.edu/~gogo/courses/cs525A/papers/Mine_2012_ProjectionAR.pdf

SixthSense

https://www.youtube.com/watch?v=nZ-VjUKAsao

SixthSense

Un marcador de referencia o fiduciario es un objeto colocado en el campo de visi贸n para ser usado como punto de referencia Generalmente se trata de una marca cuadrada en blanco y negro con un borde amplio negro y fondo blanco

Usando una cámara, el sistema reconoce la posición y orientación de la marca y en base a esta información crea un “espacio 3D virtual” con origen en el centro de la marca y los ejes X y Y son paralelos a los dos lados no opuestos de la marca

Tipo de rastreo que combina dos o más fuentes de datos como GPS, compás, acelerómetro para calcular la posición actual y la orientación.

El sistema de geolocalización permite conocer la posición actual del dispositivo y con esta información conseguir objetos cercanos que serán aumentados.

Utiliza conocimiento previo de la apariencia de objetos 3D en el ambiente Usando la representación geométrica de objetos 3D podemos manipular su posición y orientación adecuándolos con su contraparte en el campo de visión Ejemplo: carro en movimiento Real-T im e Markerless 3D T racking.m p4

https://www.youtube.com/watch?v=_Dln257k2Sc

Permite el uso de objetos en el mundo real como marcadores mediante el reconocimiento de sus caracterĂ­sticas naturales

Natural Feature Augm ented Reality.m p4

https://www.youtube.com/watch?v=orf5M4K01RY

http://socialcompare.com/en/comparison/augmented-reality-sdks

realidad aumentada

ARToolKit

biblioteca de funciones escrita en C para el desarrollo de aplicaciones de realidad aumentada

Facilita el registro de la c谩mara usando visi贸n por computador

Obtiene el posicionamiento relativo de 6 grados de libertad haciendo el seguimiento de marcadores cuadrados en tiempo real

multiplataforma

?

cĂĄmara captura video del mundo real envĂ­a imagen al computaador

busca a lo largo de los fotogramas del video cualquier marca cuadrada

imagen se convierte a escala de grises se binariza se detectan posibles marcas se asigna un valor de fidelidad para decidir cuรกl de las marcas posibles es la real

se detectan los contornos de la regi贸n de la marca v茅rtices y lados

si encuentra un cuadrado calcula la posici贸n de la c谩mara relativa al cuadrado

verifica identidad de la marca

mediante transformaciones geomĂŠtricas alinea los objetos virtuales sobre las marcas

los objetos virtuales son renderizados en los fotogramas del video para dar la sensaci贸n de fusi贸n con el mundo real

UNIVERSIDAD SIMÓN BOLÍVAR

Prof. Angela Di Serio

Plataforma para el desarrollo de aplicaciones de realidad virtual y realidad aumentada El desarrollador puede incluir f谩cilmente funcionalidad avanzada de visi贸n por computadora en cualquier aplicaci贸n Permite el reconocimiento de im谩genes y objetos en el mundo real

Image Target Imรกgenes planas A diferencia de los marcadores fiduciarios, no necesitan de regiones especiales en blanco y negro

Multi Target Consiste en múltiple image targets en un objeto geométrico específico.

La posición y orientación de cada imagen está en función al origen del multi-target

Cylinder Target ImĂĄgenes dispuestas sobre objetos cilĂ­ndricos como latas

Frame Marker Provee 512 marcas enumeradas del 0 al 511 que pueden ser usadas con cualquier imagen.

Estas marcas pueden ser pequeĂąas y varias de ellas pueden ser detectadas simultĂĄneamente

Object Recognition Permite la detección y rastreo de objetos 3D como juguetes, vehículos y otros productos de consumo Se crean por medio del escaneo del objeto físico usando Vuforia Object Scanner

Text Recognition Detecta palabras que pertenecen a una lista predefinida.

El SDK provee una lista de 100,000 palabras frecuentemente usadas en inglĂŠs TambiĂŠn se pueden definir otras palabras

Componentes Motor Vuforia

Herramientas

Cloud Recognition Service

Es la librería del lado del cliente que es estáticamente enlazada a la aplicación.

Disponible a través del cliente SDK y soporta Android e iOS. Se puede usar Eclipse, Xcode o Unity Herramientas para la creación de los targets, manejo de las bases de datos de target y licencias: Vuforia Object Scanner, Target Manager, License Manager Necesidad de reconocer un conjunto grande de imágenes. Manejo eficiente de estas bases de datos grandes en la nube

Soporte para Lentes Digitales Video see‐through – Samsung Gear VR, Google Cardboard Optical see‐through – Epson BT‐200, ODG R‐6 and R‐7 (final del 2015)

Vuforia License Manager Aplicaciones en Vuforia 5 utilizan una clave de licencia que identifica la aplicaci贸n y permite el acceso a la plataforma de Vuforia Su creaci贸n es a trav茅s del License Manager

Vuforia License Manager Creación Clave

Escoger un SDK: Mobile – Digital Eyewear Escoger opción de licencia:

Crear clave de licencia que será introducida posteriormente en la aplicación (en nuestro caso en Unity)

Vuforia License Manager Creaci贸n Clave

Adsi_LicenciaVuforia.m p4.wm v

https://youtu.be/LOiURwTGFLg

Vuforia Target Manager Herramienta web que permite creaciรณn de bases de datos para dispositivos y en la nube asignaciรณn de claves de licencia manejos de targets (creaciรณn, modificaciรณn, eliminaciรณn) descarga de bases de datos de targets

Vuforia Target Manager Soporta imágenes para Image Targets, Multi‐Targets y Cylinder Targets de 8 o 24 bit PNG o JPG Los archivos JPG deben ser RGB o en escala de grises El tamaño máximo soportado es de 2.25 MB Soporta archivos Object Data (*.od) generados por la herramienta Vuforia Object Scanner usados en el reconocimiento de objetos 3D

Vuforia Target Manager Es necesario una cuenta como Desarrollador Vuforia Todas las bases de datos creadas deben estar asociadas a una clave de licencia Una vez creada la licencia se podrรก crear una base de datos, agregar nuevos targets, descargar la base de datos y agregarlo al proyecto Vuforia

Vuforia Target Manager Soporta dos tipos de bases de datos para almacenar los targets: Base de Datos en Dispositivo Base de datos en la Nube

Vuforia Target Manager Base de Datos en Dispositivo Almacenado localmente en el dispositivo del usuario Acceso r谩pido para el reconocimiento de Image, Multi y Cylinder Targets Conviene su uso cuando no hay cambios frecuentes en el conjunto de targets reconocidos por la aplicaci贸n Permite el reconocimiento de varios targets al mismo tiempo

Vuforia Target Manager Base de Datos en la Nube Conveniente su uso cuando: Se desea detectar hasta un millón de Image Targets Se desea manejar activamente en línea el conjunto de targets No soporta Cylinder o Multi‐Targets

Vuforia Target Manager

Adsi_TargetManager.m p4

https://youtu.be/1RHk8M_BzuU

Instalaci贸n Unity

Adsi_InstalacionUnityVuforia.m p4

https://youtu.be/hGC4ndP3iFI

Unity

Game Objects Objeto mรกs importante en Unity Cada objeto en el juego es un GameObject pero no tienen vida propia.

No hacen nada por su cuenta Necesitan ciertas propiedades para que se conviertan en algo, un ambiente, un efecto especial.

Ejemplo: colorear un objeto Cubo

Adsi_Agregar Textura Color.m p4

https://youtu.be/THiJ2WJhIls

Game Objects Son “cajas vacías” que pueden contener diferentes piezas que le dan vida Para esto se utilizan los “Components” So to really understand GameObjects, you have to understand these pieces; they are called Components. Depending on what kind of object you want to create, you will add different combinations of Components to the GameObject. Think of a GameObject as an empty cooking pot, and Components as different ingredients that make up your recipe of gameplay. You can also make your own Components using Scripts.

Unity

Botones Virtuales

https://youtu.be/r_DJC1W4IqI

Script en C# para el manejo de Botones Virtuales

Interfaz de Usuario https://youtu.be/hMUymaNPohs Script en C# para el uso de UI