NoticiasRealidad Virtual

Los investigadores muestran el seguimiento de realidad virtual de cuerpo completo con cámaras montadas en el controlador

Investigadores de la Universidad Carnegie Mellon han demostrado un sistema práctico para el seguimiento de cuerpo completo en realidad virtual utilizando cámaras montadas en los controladores para obtener una mejor vista del cuerpo del usuario.

Aunque hoy en día es posible lograr un seguimiento de cuerpo completo en realidad virtual, requiere el uso de hardware adicional que debe sujetarse a su cuerpo (por ejemplo, rastreadores Vive o rastreadores IMU). Eso hace que el seguimiento de cuerpo completo no sea un buen comienzo para todos, excepto para los entusiastas de la realidad virtual que están dispuestos a gastar el dinero y el tiempo para instalar hardware adicional.

Debido a que los auriculares VR independientes ya tienen cámaras para rastrear su posición en el mundo y los controladores del usuario, en teoría también es posible mirar el cuerpo del usuario y usar un enfoque de visión por computadora para rastrearlo. Desafortunadamente, el ángulo de las cámaras desde el visor es demasiado extremo para obtener una vista confiable de las piernas del usuario, que es lo que llevó a Meta a concluir recientemente que el seguimiento de todo el cuerpo no es viable en un visor independiente (especialmente a medida que se vuelven más pequeños).

Pero los investigadores de la Universidad Carnegie Mellon están desafiando esa noción con un prototipo de sistema de realidad virtual independiente que agrega cámaras a los controladores para obtener una vista mucho más clara del cuerpo del usuario, lo que hace posible extraer datos de seguimiento confiables para las piernas y el torso.

Lo que es especialmente interesante de este enfoque es que parece alinearse con la dirección en la que ya se están dirigiendo los controladores de realidad virtual de próxima generación; tanto Project Cambria de Meta como Magic Leap 2 están utilizando controladores que abandonan un sistema de seguimiento dependiente de auriculares para calcular su posición con su propio sistema de seguimiento de adentro hacia afuera.

Usando un auricular Quest 2 estándar como base para su sistema prototipo, los investigadores agregaron dos cámaras al controlador que miran al usuario. Con las manos del usuario frente a ellas, las cámaras pueden obtener una vista mucho más clara de la parte superior e inferior del cuerpo. Esta vista se corrige para que un sistema de visión por computadora pueda extraer de manera óptima la pose del usuario y luego combinar esos datos con la posición conocida de la cabeza y las manos para crear un modelo de seguimiento de cuerpo completo.

Por supuesto, las manos del usuario no siempre estarán frente a ellas. Los investigadores dicen que algunas pruebas limitadas mostraron que los usuarios de realidad virtual tienen las manos extendidas frente a ellos alrededor del 68% del tiempo. Cuando las manos no están en una buena posición para capturar el cuerpo, el sistema debe retroceder a una estimación IK de la posición del cuerpo. Y aunque su prototipo no llegó tan lejos, los investigadores dicen que creen que con un ángulo de cámara adicional en el controlador, debería ser posible capturar la posición de la pierna incluso cuando los brazos y los controladores del usuario descansan a su lado.

En cuanto a la precisión, los investigadores, Karan Ahuja, Vivian Shen, Cathy Mengying Fang, Nathan Riopelle, Andy Kong y Chris Harrison, dicen que la precisión de seguimiento milimétrica probablemente esté fuera de discusión para este tipo de sistema, pero la precisión de seguimiento centimétrica es probable. sobre la mesa, lo que puede ser lo suficientemente bueno para muchos casos de uso de VR. Específicamente para su prototipo, el sistema tenía un «error de unión 3D medio de 6,98 cm», aunque los investigadores dicen que esto debería «considerarse el piso del rendimiento, no el techo», dado el tiempo limitado que dedicaron a optimizar el sistema.

Con el seguimiento de todo el cuerpo, las piernas finalmente son una parte viable de la experiencia. Eso es deseable no solo para hacer que su avatar se vea más realista para otras personas, sino también la opción de incorporar la parte inferior de su cuerpo en la experiencia, lo que se suma a la inmersión y brinda otra entrada para que los jugadores la usen en el juego.

Los investigadores no solo crearon un modelo de seguimiento completo para el sistema, sino que también crearon algunas experiencias prototipo para mostrar cómo las piernas rastreadas pueden contribuir al juego. Mostraron una experiencia de portero de hockey, donde los jugadores pueden bloquear el disco con cualquier parte de su cuerpo; una experiencia de «coincidencia de la forma del cuerpo», donde los jugadores combinan la forma de una pared entrante para atravesarla; e incluso un juego de «Feet Saber», donde los jugadores cortan bloques con las manos y los pies.

– – – – –

Entonces, ¿podríamos ver el seguimiento de todo el cuerpo con auriculares como Magic Leap 2 y Project Cambria? Es difícil decir en este punto; aunque los controladores parecen hacer su propio seguimiento de adentro hacia afuera, las cámaras de los controladores parecen apuntar en su mayoría lejos del usuario.

Pero tal vez algún auricular futuro, o simplemente un controlador actualizado, podría hacer que suceda.

Independientemente de dónde aterricen esos auriculares, esta investigación muestra que el seguimiento práctico y de baja fricción de todo el cuerpo en auriculares VR independientes podría no estar tan lejos de su alcance. En combinación con la capacidad de ejecutar un seguimiento facial altamente realista, los auriculares independientes del futuro aumentarán radicalmente la sensación de encarnación en la realidad virtual.

También te podrían interesar

Dejar un Comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Más en Noticias