Vision Pro: La propuesta de realidad mixta y computacion espacial de Apple.

La realidad virtual nos permite sumergirnos en un ambiente virtual donde lo que vemos no forma marte de la realidad de nuestro entorno, si no son graficos y sonidos generados por ordenadores creando ese efecto en nuestros ojos, oidos, olfato, tacto y cuando podemos controlarlo con nuestros movimientos podemos interactuar con estos entornos y sistemas operativos. Esta tecnologia se popularizo en los 80s y 90s del siglo pasado, aunque estas empresas no fueron exitosas, entre ellas esta VLP con su traje data suit y sega con su Virtualboy.

En los 2010 los cascos para telefonos fueron una opcion ultraeconomica ya que lo unico que hacian era sostener los telefonos frente a los ojos y los giroscopios, pantalla, procesador y wifi del telefono se encargaban de todo lo demas, incluida la bateria del telefono, el bluetooth para aplicaciones, los videos 360 eran vistos en sitios como youtube y los videojuegos eran instalados desde la play store… aun asi esta no era una opcion dedicada a la realidad virtual o mixta, ni contaban con un sistema operativo disenado para esto.

La realidad mixta fusiona la realidad virtual con el entorno real alrededor nuestro, muchas camaras traen efectos para fotografias y videos de realidad mixta, donde incorporan animaciones a las imagenes o videos que vemos ya sea en nuestras camaras o en los videos almacenados, ademas de forma similar los cascos de realidad mixta fusionan entornos reales con entornos virtuales, por ejemplo personas que se encuentran en otros lugares o tambien objetos y ambientes 3d virtuales fusionados ya sea con nuestro espacio o con parte de nuestro entorno.

Apple Vision Pro.

El 2 de febrero de 2024 apple lanzo su propuesta, el Apple Vision Pro a un precio inicialmente elevado US$3,499, este precio permitiria cubrir los costos de su desarrollo y produccion. Vision pro es ordenador completo de computacion espacia integrado completamente en un casco de realidad mixta.

Su sistema operativo es el visionOS: Se encarga de crear un entorno virtual a la vez de poder pasar a ver el entorno fisico, poder crear y mover ventanas en toda el area de vision del usuario, pasar a la opcion de cinema, usar un teclado virtual, controlar las ventanas y objetos 3d con las manos y dedos.

Componentes e Interfaz.

Basicamente se trata de un visor de realidad mixta/virtual con una banda elastica, el visor contiene una resolucion de 3660×3200 pixeles para cada ojo con 12 camaras y un LiDAR para seguimiento de la vista y microfonos para control por voz, puede grabar video espacial.

La banda elastica o sello para evitar la entrada de luz es magnetico, debido a esto se trata de agarrar el casco desde el lente y no desde el sello de luz, para evitar separar este sello de luz de el casco.

El casco no deja ver la luz real del entorno, lo que hace es reproducir el entorno en la spantallas del interior del casco, debido a esto la luz solar o muy elevada no molesta al usuario ya que esta balanceada.

El boton en el area sobre el ojo derecho es llamada digital crow o corona digital, al girar el boton en sentido o contra del moviiento del relojo se hace ver el entorno virtual o el entorno real, si se presiona se regresa al menu de inicio.

El boton sobre el ojo izquierdo es el boton para tomar fotografias o videos.

Al comenzar a usarlo se vera la vista de inicio o homeview de el sistema operativo VisionOS, ahi estan todas las aplicaciones o carpetas y es el area donde se pueden abrir todas las ventanas o carpetas en nuestro entorno.

El dispositivo es basicamente el mismo, lo unicio que cambian son las opciones de sello de luz o los lentes en caso de que sean necesarios.

Video introducctorio del aparato para aprender a usarlo:

El primer uso:

1.- Seleccion del sello para evitar la entrada de luz.

Primero se medira el rostro del usuario con el movil, esto permite saber que sello de luz corresponde a nuestro rostro, existen mas de 100 opciones, apple tiene su propio codigo para cada uno, el personal se encargara de traernos el sello de luz correspondiente.

El escaneo del rostro permite ademas crear la persona digital que se usara tanto para crear nuestro avatar en linea como tambien para proyectar nuestros ojos al frente del casco de realidad mixta, esto hara ver a el usuario de forma mas natural sin mostrar el casco completamente oscuro.

Se mide el area de la cara con el telefono para saber que tipo de sello de luz se ocupara, existen mas de 100 opciones, el usario mueve su rostro hacia arriba, abajo y los lados para saber cual ucupara.

2.- Insertos ópticos ZEISS (opcional).

Dependiendo si se usan anteojos o el nivel de prescripcion de la vista se puede o no requerir usar lentes para ello.

En caso de usar lentes, estos se colocan en el aparato para medir la graduacion de los lentes, seguidamente usando esta medicion se calculara la receta de los anteojos y el personal traera los insertos ópticos ZEISS.

En caso de no usar lentes o de usar lentes de baja graduacion no es necesario usar los insertos ópticos (lentes) de Zeiss.

El precio de los insertos es 99 $ para lectura y 149 $ para lentes con receta.

Una vez se colocan los insertos en el area de el sello de luz, se escaneara el codigo de la graduacion para comunicar al aparato vision pro que lentes se usan esto permitira calibrar el sistema con la graduacion o insertos (lentes) usados.

3.- El boton gris sobre la oreja derecha, en la correa, permiten ajustar mas, o menos el casco, aflojandolo o fijandolo. El boton gris sobre la oreja izquierda es parte de la bateria.

Nota: Si se coloca la banda ligeramente arriba, en el area de la coronilla de la cabeza, puede permitir un mejor control o ojuste, en lugar de usarla cerca del cuello, de esta forma se evita tambien tener que ajustarla demasiado.

4.- Aparecera nuestro entorno en la pantalla, con el boton de la corona llamamos al homeview o menu.

El boton de la corona digital, ademas de llamar al homeview, pasamos nuestros dedos sobre la corona digital (es tactil, no falta girarla) en sentido de las aguas del reloj o en sentido contrario, permitira ver nuestro entorno real o ver un entorno completamente virtual.

5.- Se calibra el uso del telefono para esto se ve al objeto pulstante, seleccionar el objeto con la mano dando tap con los dedos indice y pulgar, repetir con los demas objetos pulsantes.

Segudamente se hara lo mismo pero si tener que dar tap sobre el objeto con los dedos, basta con ver el objeto, se vera como brilla o se agranda indicando que lo estamos viendo y dando tap con los dedos indice y pulgar sin necesidad de subir las manos hacia los obejtos, de esta forma los ojos se vuelven nuestro raton y las manos el clic sin necesidad de mover las manos sobre los objetos.

Control de las aplicaciones y el entorno.

El sistema operativo usado es el VisionOS, su interfaz es la siguiente:

Para abrir una aplicacion basta con verlas y dar tap con los dedos (no hace falta ir a tocar los botones, al ver el icono a abrir este se ilumina y podemos dar tap con los dedos sea donde sea se encuentre nuestra mano, las camaras veran el movimiento de nuestros dedos.

Hay una barra debajo de el homeview, con esta barra se puede mover el homeview, de esta forma se pueden mover las aplicaciones o ventanas abiertas. Se puede tomar esta barra con los dedos para mover la ventana donde querramos, al extremo inicial de la barra esta un punto al seleccionarlo se puede cerrar la aplicacion usada.

Otra forma de mover el homeview, es cerrandolo con el boton de la corona digital, ver hacia otro lado y precionarlo de nuevo para que aparezca en esta nueva direccion.

Para cambiar el tamano de las ventanas basta con escogerlas desde la esquina inferior, se vera una esquina azul moverla hacia arriba, abajo o los lados para agrandarlas o achicarlas.

Para regresar al menu del inicio presionar el boton digital crown.

Uso de aplicaciones.

Desde el homeview se puede escoger cualquiera de sus programas o carpetas:

-Apple TV

-Safari (para navegar la red)

-Appstore (para instalar aplicaciones)

– Correo,

-Galeria de imagenes y videos, etc.

Pueden instalar aplicaciones desde la app store, inicialmente la tienda tenia 100 mil aplicaciones, actualmente mas de un millon.

Instalacion de aplicaciones en vision pro.

Abran la apple store.

Den clic en la lupa que se encuentra en el extremo izquierdo (parte central) de la aplicacion. Busquen la aplicacion e instalenla.

Recomiendo que instalen los siguientes programas:

Moon player, ya que permite ver videos en 360 grados.

Stellarium mobile: Un planetario virtual para saber cuales son los objetos, estrellas y planetas en nuestro entorno en el momento actual o en cualquier etapa, era o ubicacion.

Caminar con el visual pro, captura de fotografias y videos

Presionen el boton sobre el ojo izquierdo para activar la camara y capturar fotografias y videos, estos tienen un poco de profundidad, son llamados videos espaciales.

La camara del vision pro se puede usar para crear la persona ditial o modelo 3d de nuestra cara, una vez tomado se puede usar el modo de vista de ojos (eyesight mode) para que la gente pueda ver nuestros ojos en el casco).

Usar el teclado virtual.

Una vez abran una pagina web o aplicacion de texto, se abrira el teclado virtual, se veran las letras y con los dedos se escogeran, o sencillamente se usaran los ojos para tocar el teclado virtual con nuestros dedos como si fuera un teclado real.

Aun asi es mas facil usar un teclado fisico por bluetooth.

Con el casco de realidad virtual se puede entre otras cosas:

*Ver videos en el reproductor de videos, con la barra inferior se puede mover hacia el tiempo del video deseado, este todavia no tiene controles para reproduccion lenta o mas rapida, aunque se pueden usar otros programas reproductores de video.

Si instalan moon vr player pueden hacer zoom a los videos, cambiar el brillo, acelerar, enlentecer, etc. VLC player tendra en un futuro una version para vision pro.

* Ver objetos 3D tal como si el objeto formara parte real de nuestro entorno, ya que no lo veremos dentro del monitor, si no esta vez quien se mueve somos nosotros mientras los objetos 3d se ven tan reales como los muebles del entorno y mientras nos movemos aparentan estar en un solo lugar y ser reales, mientras uno puede moverse alrededor de los objetos (en lugar de hacerlo por la pantalla).

* Mover objetos 3D en el entorno, agrandarlos, separalos, editarlos, etc.

* Ver imagenes panoramicas de 360 grados creadas con el telefono en forma completa.

* Ver videos 360 creadas con camaras gopro en forma completa con el reproductor moon player.

*Ver el planetario stellarium en forma completa tal y como si estuvieramos viendo el cielo, la luna y las estrellas, pero en nuestra oficina. La version usada es stellarim mobile:

https://apps.apple.com/us/app/stellarium-mobile-star-map/id1458716890

* Los videos espaciales grabados con el dispositivo tienen algo de profundidad, lo que los diferencia de los videos planos tradicionales, lo que permite ver mas desde ciertos angulos mientras nos movemos alrededor de los videos, aunque estos formatos estan todavia en desarrollo, debido a las limitaciones de las camaras y tecnicas actuales.

Si bien en el video anterior se critica el uso de la palabra video espacial en lugar de la palabra video 3D, hay que aceptar el video por las opciones o beneficios que presenta ante esta nueva interfaz o sistema operativo.

El dispositivo utiliza audio espacial, lo que da la sensacion de estar rodeado por varios parlantes.

Otras opciones disponibles son:

El uso de raton o teclado por bluetooth.

Cuenta con una bateria externa para poder utilizarlo durante todo el dia.

El sistema nos da la opcion de grabar nuestro rostro para crear un avatar 3d y poder usarlo para interactuar en videoconferencias, ya que nuestro rostro estara cubierto mientras usamos el aparato, habra que esperar hasta 2030 para poder usarlo como gafas tradicionales, cuando la tecnologia se miniaturice.

Desarrollo: El entorno integrado de desarrollo de Apple, Xcode en su version 15 Beta 2 incluye un kit de desarrollo de software para visionOS y un compositor de realidad virtual (una herramienta para crear contenidos 3D sin requerir conocimientos de programacion.

Bateria: El aparato necesita tener conectada la bateria, esta no es muy pesada y tiene un cable para poder colocarla en el bolsillo, o en la espalda.

Aplicaciones de la computacion espacial.

Videos, peliculas y videojuegos inmersivos.

En 1940 se popularizo la television a color, en 2005 los televisores en alta definicion. en 2010 los televisores 3d, todo bien, pero la gente todavia no formaba parte de las escenas 3D.

Con la computacion espacial, la escenas van más alla del 3D, uno pasa a adentrarse en las escenas, es decir, uno forma parte de las escenas 3D, ya que estas aparentan estar en nuestra habitacion, o cuando es completamente inmersiva nos transporta a la escena reproducida, pareciera que uno es el que ha sido transportado a estas escenas.

De esta forma estamos completamente dentro de la pelicula, programa o videjuego, viendo las escenas desde la posicion que uno prefiera, todo en tiempo real, es decir reproduciendose en 3D, pero nosotros formando parte de la escena y viendo la escena 3D desde donde prefiramos en la escena, pudiendo incluso movernos mientras la escena o videojuego contuna, ya sea una pelea, un combate, una guerra, un partido de futbol.

Esto es facil de lograr en escenas animadas, para escenas reales hace falta capturar estos puntos con sensores y fusionarlos para representar la escena 3D y los actores, para posteriormente representarlos en modelos 3d hyperrealistas que aparentan ser los actores originales, esto, si es que no han desarrollado otras tecnicas de captura de luz mas efeicinete.

Extra: Blender en apple vision pro.

En el siguiente video se nos muestra como hacer juegos para Vision Pro en blender, usando el mismo Vision Pro.

Otras fucniones:

Mover las ventanas de aplicaciones en cualquier area frente al usuario. Basta con escoger las ventanas con los dedos indice y pulgar y moverlas donde querramos.

Ver peliculas en modo de cine.

Maximizar una ventana abierta.

Minimizar una ventana abierta.

Cambiar entre ventanas abiertas.

Para regresar al homeview basta con presionar el boton llamado corona digital (digital crown) sobre el area del ojo derecho.

Desde el navegador se pueden leer los sitios en la red, agrandar las ventanas con los dedos de la mano y editar los sitios o textos.

Al abrir youtube se pueden buscar videos 360 y escoger la opcion vr360 para ver el video en forma inmersiva o 360, como es video 360 en teoria se puede ver todo el vide donde querramos, hacia el frente o atras, especialmente si estamos sentados en una silla giratoria. Actualmente youtube no cuenta con una aplicacion para vision pro, aunque el reproductor moon player si tiene version para vision pro, con este se pueden ver videos 360 de youtube sin problemas.

Precaucion: Hay que tomar en cuenta que los dispositivos de realidad virtual pueden ocultarnos el ambiente, pudiendo hacer que tropecemos con objetos, caidas y peor aun que tratemos de detener la caida sin ver donde esta el suelo o los objetos y en lugar de protegernos terminemos danando la parte del cuerpo que en teoria amortiguaria el golpe.

Moon player: Un reproductor de video que se puede instalar desde la apple store, permite ver videos locales 360 ya sea descargados, grabados con camaras gopro o ver los videos 360 en youtube.

https://moonvrplayer.com

Fuentes:

https://en.wikipedia.org/wiki/Xcode

https://en.wikipedia.org/wiki/VisionOS

Entradas relacionadas:

Deja un comentario

Arukard's Weblog

Linux, Software Libre, Ciencia y más.