Creando experiencias únicas

La presencia de dispositivos de realidad virtual/aumentada y el avance en los sistemas de captura volumétrica permiten nuevas formas para crear contenidos audiovisuales.

mixONreality es una de esas empresas que llevará estos contenidos a un nuevo nivel. Se trata de un estudio que integra todas las soluciones tecnológicas y servicios para crear vídeos volumétricos y ofrecer experiencias únicas a los usuarios.

Saben que esta tecnología es el siguiente paso para la evolución de la producción virtual. Javier Valverde, Head Volumetric Capture de mixONreality, nos habla de cómo están creando estos contenidos.

¿Qué es mixONreality?

mixONreality es un estudio de captura de vídeo volumétrico ubicado en Boadilla del Monte, en Madrid. El video volumétrico es una de las técnicas más avanzada para la captura de personas y movimiento en 3D.

El video volumétrico proviene de la fotogrametría y lo que conseguimos es obtener un elemento 3D con un movimiento cien por cien natural. Para ello lo que hacemos es capturar una escena en nuestro estudio 360, con lo cual obtenemos todos los tiros de cámara posibles que no tendríamos con una captura tradicional.

Entonces, realizar una captura con toda esa infraestructura tecnológica ¿Cómo conseguís ese modelo?

Es más sencillo de lo que piensas, nosotros tenemos todas las cámaras sincronizadas, con lo cual a la hora de grabar, el tiempo de captura se traduce en tiempo real. Es decir, si la secuencia dura 30 segundos lo que tardamos en capturarla son esos 30 segundos.

Luego lo renderizaríamos y obtenemos ese modelo definitivo en 3D que podemos trabajar en diferentes planos, ya sea en programas 3D como Unity, Unreal o Blender, o derivarlo a exportación de video de tal manera que podamos trabajarlo, por ejemplo, como una capa más en un After effects.

Lo más importante está por un lado en la parte del modelo, el cual es hiperrealista, porque es una copia de ti cien por cien real: con tus características personales, detalles… Por otro lado, evidentemente, también es importante el movimiento, el cual es idéntico al que tenga la persona que va a hacer esa acción, porque es importante destacar que no estamos reanimando sino capturando directamente tu movimiento, es decir, no estamos generando un movimiento irreal, si no que estamos capturando tu movimiento completamente natural y personal.

¿Qué tipo de elementos componen el estudio?

En el estudio, contamos con 32 cámaras y 4 proyectores en diferentes posiciones, conformando un anillo 360 de cámaras donde todas confluyen en un área de grabación.

Para entenderlo mejor, disponemos de dos tipos de cámaras. Por un lado, hay unas cámaras de color que nos dan toda la información de las texturas y colores de lo que se está capturando y, por otra parte, unas cámaras junto a los proyectores de infrarrojos, que lo que nos proporcionan es la información de la profundidad de la persona y del objeto que se está moviendo en un espacio. A continuación, reposicionamos y construimos ese objeto en el espacio.

¿Qué más nos podéis contar de vuestro estudio?

Otra característica muy importante de nuestro estudio es que no utilizamos croma. Así como en otros estudios es necesaria la aplicación de croma, nosotros tenemos desarrollada una capa de inteligencia artificial que lo que hace es identificar el elemento de la escena y eliminar todo lo demás.

Otra característica interesante es que es cien por cien móvil, podemos instalarlo en otra ubicación para grabar, lo cual nos permite poder llevar a cabo la sesión en cualquier ubicación, eso sí, han de cumplirse algunas condiciones de espacio e iluminación, pero para ello trabajamos previamente la ubicación para verificar que se cumplen las condiciones idóneas.

Por último, añadir que disponemos de sistemas de captura y reproducción de sonido, asi como prónter y sistemas de control de escena para poder realizar cualquier tipo de experiencia y seguimiento de la misma. Por ejemplo, para los proyectos musicales o de coreografía nosotros preferimos trabajar con un sonido de estudio, porque ya se encuentra masterizado, ya que se puede introducir la música a posteriori, simplemente es sincronizarlo y la experiencia para el usuario es más completa.

¿Esta tecnología está desarrollada por vosotros o habéis colaborado con terceros?

Ha sido en colaboración con la empresa israelita Yoom Studios. Hay varios estudios, con las mismas características que el nuestro, pertenecientes a la tecnología de Yoom. Tienen su estudio central en Israel, uno en Los Ángeles, otro en la zona de Nueva York, uno en Asia y el nuestro, que es el que correspondería a Europa.

¿Habéis desarrollado algún proyecto donde se haya integrado esta tecnología?

Sí, hemos realizado diferentes proyectos en diferentes ámbitos, porque al final nos hemos dado cuenta del poder que tiene esta tecnología, no solamente el vídeo volumétrico sino la tecnología y la realidad extendida en general, la cual te permite llegar a muchos públicos diferentes.

Hemos hecho proyectos como la presentación de la equipación del Club Deportivo Leganés, un proyecto con Hombres G de la mano de movistar música, con quien hicimos el lanzamiento del single de una canción de su último álbum de regreso o la presentación en el último MWC junto a Visyon y Deusens de una experiencia de baile.

Además de estos, existen otros sectores donde tenemos proyectos realizados y encaminados como en el mundo de la moda, en las áreas de turismo y patrimonio, en presentación de producto en ferias y eventos, en la parte audiovisual… Tenemos muchos proyectos muy diferentes en los cuales encaja esta tecnología.

Al final esta tecnología ofrece múltiples posibilidades: desde que en un proyecto de turismo el propio rey del castillo te haga la visita o que el propio pintor de un cuadro te explique su obra, o en moda tener un desfile o una premier de ropa en el salón de tu casa o en la parte educativa como por ejemplo unos entrenamientos deportivos o de yoga; donde tengas tu propio entrenador personal en tu móvil en casa y te enseñe a hacer los ejercicios. Es una nueva manera de hacer llegar el contenido a diferentes usuarios.

Es decir, que la reproducción de este contenido tiene múltiples opciones, ¿no?

Exacto, existen muchas posibilidades. Una de ellas y la más sencilla es poder visualizar el contenido a través de un teléfono móvil o una tablet para que el usuario pueda ver el contenido simplemente a través de escanear un código QR o accediendo en un enlace, sin necesidad de descargar nada, lo cual lo hace accesible a todo el mundo. De todas formas, también tenemos desarrollado un módulo para integrarlo dentro de cualquier aplicación y así poder visualizarlos desde la misma si una marca o entidad ya dispone de una app desarrollada.

Pero no solo eso, sino que tambien se puede integrar en entornos virtuales, integrar ese avatar, esa persona que previamente hemos grabado en el estudio, en cualquier entorno con su movimiento y sus características. Para ello hemos desarrollado diferentes plugins y formatos para que la integración sea lo mas sencilla posible para los diferentes creadores de contenido y que puedan generar experiencias VR, AR o de realidad mixta.

Además, como comenté antes, es posible hacer la integración en vídeo tradicional. La ventaja que tenemos con esto, y sobre todo para temas de postproducción, es muy importante porque te da la posibilidad de configurar las imágenes que previamente se han grabado. Por ejemplo, en una película si quieres introducir extras o quieres darle otro sentido, lo puedes hacer a posteriori. Como tienes todos los planos de la persona, puedes jugar con todos los ángulos de cámara posibles e integrar esos avatares en cualquier escena de una forma que queda completamente real. Incluso a la hora de grabar la escena luego ya puedes plantearla de una manera diferente. No tienes un único tiro de cámara, no tienes que plantear la escena y luego reposicionar, sino que ya tienes todo. Después ya decidirás si te compensa más cogerlo de un perfil o de otro, porque literalmente los tienes todos grabados. Es una manera disruptiva de producir contenido a nivel audiovisual.

Al fin y al cabo, el vídeo volumétrico es una herramienta para generar y distribuir contenido que tradicionalmente quizá no sea el más innovador pero te permita sorprender a tu público. Por ejemplo, la Navidad pasada el alcalde de Boadilla del Monte, que es la localidad donde tenemos el estudio, dio el mensaje a todos los vecinos de Navidad a través del vídeo volumétrico. Entró a la casa de todos los vecinos para, de una forma mucho más personal, poder dar el mensaje en lugar de un post en redes sociales o un vídeo tradicional. De esta forma, el mensaje de un político institucional llega mucho más. Al igual que el impacto en las campañas tanto con el Leganés, como con Hombres G.

¿En qué consistió el proyecto con el Club Deportivo Leganés?

Nos encargamos junto con el departamento de marketing del club de la presentación de la primera equipación del Leganés. Esta se presentó en formato web AR para que todos los usuarios, a través de su teléfono, simplemente haciendo un clic en un enlace pudieran ver el contenido. La Liga se hizo eco de la noticia porque fue el primer club en España en hacer una presentación de una equipación con esta tecnología y de esta manera. Los resultados fueron que vendieron más equipaciones que ningún otro año. Tuvieron el mismo engagement que con los fichajes, ya que teniendo en cuenta que un club de fútbol, principalmente en verano se nutre del engagement de los fichajes, de quiénes son las novedades, el lanzamiento de la equipación a veces queda como más relegado a un segundo plano, pero conseguir el mismo impacto que consigues con un gran fichaje, es algo muy difícil, lo cual es muy importante para el club. Era uno de los objetivos que ellos buscaban, fomentar las redes sociales en esa campaña de verano.

En definitiva, lo que nos dijeron es que, con una campaña comercial propia, habíamos llegado al engagement del mejor de sus fichajes en verano. Yo me quedé con esa frase, porque al final es el poder que tiene la tecnología y todavía más las tecnologías inmersivas.

Cambiando de tema ¿Se pueden modificar imágenes para lograr cotas de superrealismo?

Sí, por supuesto, se trata de una malla poligonal, con lo cual, una vez introducido por ejemplo a Blender o Maya luego puedes modificarla hasta que sea perfecta. Evidentemente obtenemos un bruto al cual luego aplicamos una capa de suavizado. Pero sí, luego la puedes trabajar en cualquier programa sin ningún tipo de problema ya que como comenté antes hemos desarrollado los plugins necesarios para realizar la integración sin problema.

Al final no solamente es quedarte con el contenido que tú has grabado en el momento, si no poder reciclar, entre comillas, ese contenido, aplicando segmentación de la malla, pudiendo modificar los colores de una parte del avatar sin alterar el resto, como por ejemplo el color de una camiseta o el color del pelo.

También se pueden añadir complementos que acompañen la escena para completarla como por ejemplo un casco, gafas o cualquier elemento que no haya podido ser capturado o que se quiera incluir para completar la escena.

Por otro lado, tenemos la posibilidad de introducir un exoesqueleto, es decir, incrustar un esqueleto propio al avatar y poder aplicar movimientos que no han sido grabados o corregir los ya capturados. Una vez grabada la persona, con ese exoesqueleto, podemos hacer que te muevas de una forma en la que no te has movido, lo cual da mucha versatilidad a los proyectos.

Suena interesante ¿puedes profundizar algo más?

Claro, tenemos diferentes soluciones con las que podemos trabajar que permiten introducir durante todo el clip o un fragmento del clip dicho esqueleto. Esto nos permite modificar una parte determinada y que el resto de la secuencia siga siendo igual. A veces es conveniente cuando tienes que interactuar con un objeto que realmente no estaba en el set de grabación, pero que vas a introducir luego como un objeto 3D, por ejemplo, si hablamos de un saco de boxeo, no vas a grabar el saco de boxeo, sino que vas a grabar solo al boxeador y luego corriges los movimientos para que cuadre con ese objeto 3D y los movimientos sean correctos y fluidos con el objeto.

En cuanto al movimiento predefinido, como hemos hablado antes, la posibilidad de generar un exoesqueleto, permite aplicar bibliotecas de movimiento en las cuales, a través de la captura de la persona que hemos hecho en esa grabación, podemos hacer que realicen esos movimientos que no ha hecho. Es la capacidad de no solamente poder grabar tu movimiento, tu imagen, tu textura, etcétera, sino luego poder editar y realizar lo que se te ocurra.

¿Tenéis algún proyecto en camino que podáis contar?

Que podamos contar no, pero principalmente temas culturales, de entretenimiento, es un poco hacia donde está derivando el sector. También hemos estado en ISE para todo lo que se relaciona con el Broadcast, para que también veamos una oportunidad en la generación de contenidos, platós virtuales, virtual production y todas estas nuevas tecnologías, que creemos que es una opción muy válida para creación de videoclips, películas, series…

Es bueno que la gente conozca esta tecnología y las aplicaciones que puede tener. Igual no lo tienen en el foco de primera mano y creemos que este tipo de ferias son un punto de encuentro con este sector para el que viene a buscar no solo elementos para sus set ups, sino otras opciones de contenido.

De hecho, estamos viendo varios proyectos del retail para hacer la parte phygital, el poder incorporar y combinar en tiendas físicas o espacios que ya están creados, tecnologías innovadoras. Se puede dotar los escaparates o incluso entrar en la parte de ecommerce, pero sobre todo es para la tienda física. En ese concepto phygital es bastante importante el hacer que la experiencia de usuario y la del comprador sean completamente distintas a lo que entendemos hoy en día a la hora de ir a un comercio.

Hay algo que no he mencionado antes, no hemos hablado de la parte del gaming y al final, dentro de lo que es la industria, el gaming es muy potente y la aplicación que esta tecnología tiene dentro del gaming también es interesante. Hablábamos de hacia dónde va

, esta tecnología y, de alguna manera, también irá muy relacionada con el camino que tome la industria del gaming y todo lo que son entornos virtuales.

En cuanto a la evolución técnica, ¿qué proyección tiene? ¿Contará con algún elemento en específico como un software o similar?

Ahora mismo el vídeo volumétrico está planteado como una de las tecnologías a futuro de las que más van a crecer. A nivel técnico, cada vez se van puliendo más todos los resultados. Trabajamos en I+D, sobre todo en la parte de mejorar definiciones e inconvenientes que podemos encontrar hoy en día en las grabaciones.

Del mismo modo, estamos trabajando en seguir generando facilidades a la industria para la introducción del contenido, con nuevos formatos, optimización del peso de los archivos o reducción de tiempos de render. Por otro lado, la emisión en Live. El Live va a llegar dentro de muy poco, con lo cual podremos tener a gente en el estudio y estar proyectándola en cualquier plató o en cualquier escenario del mundo en directo lo cual creo que cambiará la manera de producir contenido también en directo.

En cuanto a elementos necesarios, principalmente conectividad 5G real. Hoy en día todavía estamos en la introducción de esta tecnología, pero es algo que solucionará mucho la trasmisión dada la cantidad de información que tenemos que transferir.

Por último, ¿algo que quieras añadir?

Invitar a todo el mundo a conocer y visitarnos en nuestro estudio, nuestras puertas están abiertas a todo aquel que quiera conocer más sobre el video volumétrico y al cual acompañaremos en los proyectos que tenga pensado desarrollar.

Al mismo tiempo animar a todos a experimentar y probar esta tecnología, es el momento de testear y analizar como sus comunidades y clientes reaccionan ante experiencias innovadoras y disruptivas como estas a las cuales no están aún acostumbrados.