UNIVERSIDAD SIMÓN BOLÍVAR
Aumentada
Realidad
Prof. Angela Di Serio
recuerdan
?
MinorityReport
... y la visi贸n de
Terminator
?
QuĂŠ es
Realidad Aumentada
? ?
visi贸n enriquecida del mundo real
?
escena real
vista por el usuario
objetosVirtuales
que enriquecen percepci贸n del usuario
https://www.youtube.com/watch?v=5ks1u0A8xdU
?
Realidad Virtual
Reemplaza la realidad Inmersivos, FOV amplio https://www.youtube.com/watch?v=j3vHv4lNvg4
Realidad Aumentada
Amplía la realidad No inmersivo, FOV pequeño https://www.youtube.com/watch?v=ZMATzMV6Qz0
?
QR-Codes Es un c贸digo bi-dimensional similar a los c贸digos de barras pero que contiene informaci贸n en ambas direcciones (horizontal y vertical)
QR-Codes Permiten acceder r谩pidamente a todo tipo de informaci贸n pero ...
QR-Codes Realidad Aumentada ... No es
?
Sensores y similares para hacer seguimiento de la D isplay Sensores posición del usuario y su orientación para un correcto registro de lo virtual con lo real Tecnología para combinar los objetos virtuales con los reales. Procesador
Entrada
Tecnología que permita la interacción a tiempo real con los objetos virtuales También incluye reconocimiento de voz, gestos
Tecnología Necesaria
Técnicas para despliegue visual * Video see-through El usuario no ve directamente el mundo real La video cámara continuamente captura fotogramas del mundo real y se los pasa al sistema de aumentación
* Optical see-through
* Projective
Video see-through
Video see-through Económico y fácil de implementar Es fácil eliminar objetos de la realidad dado que ésta es digitalizada Esto incluye remover o reemplazar marcas con objetos virtuales
Técnicas para despliegue visual * Video see-through El usuario no ve directamente el mundo real La video cámara continuamente captura fotogramas del mundo real y se los pasa al sistema de aumentación
* Optical see-through
El usuario ve el mundo real a través de un display semitransparente y los objetos virtuales son mezclados en la escena de forma óptica en frente de los ojos del usuario basado en su posición actual
* Projective
Optical see-through
Optical see-through No presenta problemas de resolución y retardos como video see-through Crear aumentaciones convincentes se vuelve un tanto difícil dado que el mundo real aparece de forma natural y los objetos virtuales pueden aparecer pixelados Dado que no hay cámara, es necesario algún mecanismo o sensor de posición que facilite el proceso de registro
Técnicas para despliegue visual * Video see-through El usuario no ve directamente el mundo real La video cámara continuamente captura fotogramas del mundo real y se los pasa al sistema de aumentación
* Optical see-through
El usuario ve el mundo real a través de un display semitransparente y los objetos virtuales son mezclados en la escena de forma óptica en frente de los ojos del usuario basado en su posición actual
* Projective
La información virtual es proyectada directamente sobre el objeto físico a ser aumentado
Uso de tecnolog铆a de proyecci贸n para aumentar y mejorar objetos 3D y espacios en el mundo real por medio de la proyecci贸n de im谩genes sobre sus superficies visibles http://web.cs.wpi.edu/~gogo/courses/cs525A/papers/Mine_2012_ProjectionAR.pdf
Generalmente se usan uno o mรกs proyectores ubicados alrededor del objeto o distribuidos a lo largo de un espacio 3D (una escena completa). http://web.cs.wpi.edu/~gogo/courses/cs525A/papers/Mine_2012_ProjectionAR.pdf
Se pueden crear ambientes dinĂĄmicos y que puede ser disfrutado por mĂşltiples personas al mismo tiempo http://web.cs.wpi.edu/~gogo/courses/cs525A/papers/Mine_2012_ProjectionAR.pdf
SixthSense
https://www.youtube.com/watch?v=nZ-VjUKAsao
SixthSense
Un marcador de referencia o fiduciario es un objeto colocado en el campo de visi贸n para ser usado como punto de referencia Generalmente se trata de una marca cuadrada en blanco y negro con un borde amplio negro y fondo blanco
Usando una cámara, el sistema reconoce la posición y orientación de la marca y en base a esta información crea un “espacio 3D virtual” con origen en el centro de la marca y los ejes X y Y son paralelos a los dos lados no opuestos de la marca
Tipo de rastreo que combina dos o más fuentes de datos como GPS, compás, acelerómetro para calcular la posición actual y la orientación. El sistema de geolocalización permite conocer la posición actual del dispositivo y con esta información conseguir objetos cercanos que serán aumentados.
Utiliza conocimiento previo de la apariencia de objetos 3D en el ambiente Usando la representación geométrica de objetos 3D podemos manipular su posición y orientación adecuándolos con su contraparte en el campo de visión Ejemplo: carro en movimiento Real-T im e Markerless 3D T racking.m p4
https://www.youtube.com/watch?v=_Dln257k2Sc
Permite el uso de objetos en el mundo real como marcadores mediante el reconocimiento de sus caracterĂsticas naturales
Natural Feature Augm ented Reality.m p4
https://www.youtube.com/watch?v=orf5M4K01RY
http://socialcompare.com/en/comparison/augmented-reality-sdks
realidad aumentada
ARToolKit
biblioteca de funciones escrita en C para el desarrollo de aplicaciones de realidad aumentada
Facilita el registro de la c谩mara usando visi贸n por computador
Obtiene el posicionamiento relativo de 6 grados de libertad haciendo el seguimiento de marcadores cuadrados en tiempo real
multiplataforma
?
cĂĄmara captura video del mundo real envĂa imagen al computaador
busca a lo largo de los fotogramas del video cualquier marca cuadrada
imagen se convierte a escala de grises se binariza se detectan posibles marcas se asigna un valor de fidelidad para decidir cuรกl de las marcas posibles es la real
se detectan los contornos de la regi贸n de la marca v茅rtices y lados
si encuentra un cuadrado calcula la posici贸n de la c谩mara relativa al cuadrado
verifica identidad de la marca
mediante transformaciones geomĂŠtricas alinea los objetos virtuales sobre las marcas
los objetos virtuales son renderizados en los fotogramas del video para dar la sensaci贸n de fusi贸n con el mundo real
UNIVERSIDAD SIMÓN BOLÍVAR
Prof. Angela Di Serio
Plataforma para el desarrollo de aplicaciones de realidad virtual y realidad aumentada El desarrollador puede incluir f谩cilmente funcionalidad avanzada de visi贸n por computadora en cualquier aplicaci贸n Permite el reconocimiento de im谩genes y objetos en el mundo real
Image Target Imรกgenes planas A diferencia de los marcadores fiduciarios, no necesitan de regiones especiales en blanco y negro
Multi Target Consiste en múltiple image targets en un objeto geométrico específico. La posición y orientación de cada imagen está en función al origen del multi-target
Cylinder Target ImĂĄgenes dispuestas sobre objetos cilĂndricos como latas
Frame Marker Provee 512 marcas enumeradas del 0 al 511 que pueden ser usadas con cualquier imagen. Estas marcas pueden ser pequeĂąas y varias de ellas pueden ser detectadas simultĂĄneamente
Object Recognition Permite la detección y rastreo de objetos 3D como juguetes, vehículos y otros productos de consumo Se crean por medio del escaneo del objeto físico usando Vuforia Object Scanner
Text Recognition Detecta palabras que pertenecen a una lista predefinida. El SDK provee una lista de 100,000 palabras frecuentemente usadas en inglĂŠs TambiĂŠn se pueden definir otras palabras
Componentes Motor Vuforia
Herramientas
Cloud Recognition Service
Es la librería del lado del cliente que es estáticamente enlazada a la aplicación. Disponible a través del cliente SDK y soporta Android e iOS. Se puede usar Eclipse, Xcode o Unity Herramientas para la creación de los targets, manejo de las bases de datos de target y licencias: Vuforia Object Scanner, Target Manager, License Manager Necesidad de reconocer un conjunto grande de imágenes. Manejo eficiente de estas bases de datos grandes en la nube
Soporte para Lentes Digitales Video see‐through – Samsung Gear VR, Google Cardboard Optical see‐through – Epson BT‐200, ODG R‐6 and R‐7 (final del 2015)
Vuforia License Manager Aplicaciones en Vuforia 5 utilizan una clave de licencia que identifica la aplicaci贸n y permite el acceso a la plataforma de Vuforia Su creaci贸n es a trav茅s del License Manager
Vuforia License Manager Creación Clave
Escoger un SDK: Mobile – Digital Eyewear Escoger opción de licencia:
Crear clave de licencia que será introducida posteriormente en la aplicación (en nuestro caso en Unity)
Vuforia License Manager Creaci贸n Clave
Adsi_LicenciaVuforia.m p4.wm v
https://youtu.be/LOiURwTGFLg
Vuforia Target Manager Herramienta web que permite creaciรณn de bases de datos para dispositivos y en la nube asignaciรณn de claves de licencia manejos de targets (creaciรณn, modificaciรณn, eliminaciรณn) descarga de bases de datos de targets
Vuforia Target Manager Soporta imágenes para Image Targets, Multi‐Targets y Cylinder Targets de 8 o 24 bit PNG o JPG Los archivos JPG deben ser RGB o en escala de grises El tamaño máximo soportado es de 2.25 MB Soporta archivos Object Data (*.od) generados por la herramienta Vuforia Object Scanner usados en el reconocimiento de objetos 3D
Vuforia Target Manager Es necesario una cuenta como Desarrollador Vuforia Todas las bases de datos creadas deben estar asociadas a una clave de licencia Una vez creada la licencia se podrรก crear una base de datos, agregar nuevos targets, descargar la base de datos y agregarlo al proyecto Vuforia
Vuforia Target Manager Soporta dos tipos de bases de datos para almacenar los targets: Base de Datos en Dispositivo Base de datos en la Nube
Vuforia Target Manager Base de Datos en Dispositivo Almacenado localmente en el dispositivo del usuario Acceso r谩pido para el reconocimiento de Image, Multi y Cylinder Targets Conviene su uso cuando no hay cambios frecuentes en el conjunto de targets reconocidos por la aplicaci贸n Permite el reconocimiento de varios targets al mismo tiempo
Vuforia Target Manager Base de Datos en la Nube Conveniente su uso cuando: Se desea detectar hasta un millón de Image Targets Se desea manejar activamente en línea el conjunto de targets No soporta Cylinder o Multi‐Targets
Vuforia Target Manager
Adsi_TargetManager.m p4
https://youtu.be/1RHk8M_BzuU
Instalaci贸n Unity
Adsi_InstalacionUnityVuforia.m p4
https://youtu.be/hGC4ndP3iFI
Unity
Game Objects Objeto mรกs importante en Unity Cada objeto en el juego es un GameObject pero no tienen vida propia. No hacen nada por su cuenta Necesitan ciertas propiedades para que se conviertan en algo, un ambiente, un efecto especial. Ejemplo: colorear un objeto Cubo
Adsi_Agregar Textura Color.m p4
https://youtu.be/THiJ2WJhIls
Game Objects Son “cajas vacías” que pueden contener diferentes piezas que le dan vida Para esto se utilizan los “Components” So to really understand GameObjects, you have to understand these pieces; they are called Components. Depending on what kind of object you want to create, you will add different combinations of Components to the GameObject. Think of a GameObject as an empty cooking pot, and Components as different ingredients that make up your recipe of gameplay. You can also make your own Components using Scripts.
Unity
Botones Virtuales
https://youtu.be/r_DJC1W4IqI
Script en C# para el manejo de Botones Virtuales
Interfaz de Usuario https://youtu.be/hMUymaNPohs Script en C# para el uso de UI