Una demostración técnica muestra el poder real de Quest Pro Face Tracking

Resumen: Las funciones de seguimiento de rostros de Quest Pro hacen que los metaavatares sean más expresivos. Pero los avatares de próxima generación deberían beneficiarse mucho más de la nueva tecnología.

Una de las grandes novedades de Quest Pro es un sistema de seguimiento de rostros. Este utiliza cámaras internas para detectar el movimiento de tus ojos y ciertas partes de tu cara. Entonces, el auricular toma lo que ve y lo convierte en entradas que pueden impulsar la animación de cualquier avatar.

A corto plazo, se utilizará con los metaavatares existentes. Pero si bien eso ciertamente los hace más expresivos, todavía se ven un poco torpes. Es probable que esto se deba a que el actual sistema Meta avatar no se ha creado teniendo en cuenta este nivel de seguimiento de rostros.

Afortunadamente, Meta ha realizado una demostración técnica que muestra lo que es posible cuando se diseña un avatar teniendo en cuenta el seguimiento facial de Quest Pro. En la demostración, cada movimiento que ve es impulsado por el usuario que realiza los mismos movimientos. Esto incluye cosas como hinchar las mejillas o mover la boca de lado a lado.

Los detalles de la piel nos impresionan especialmente. Mover la nariz, por ejemplo, hace que la piel que la rodea se hinche de manera realista. Es lo mismo cuando levantas las cejas. Estos sutiles detalles, como el pliegue de las mejillas que se mueven con la boca, dan la impresión de que el avatar está vivo.

Quest Pro Face tracking, un sistema que forma una importante barrera de privacidad

Meta lanzará esta demostración (llamada Aura demo) como un proyecto de código abierto. Por lo tanto, los desarrolladores podrán ver cómo han adjuntado las entradas de seguimiento de rostros al avatar. La compañía también dice que podrán usar un solo conjunto de herramientas para manejar avatares humanoides o avatares no humanos como animales o monstruos sin tener que modificar cada avatar individualmente.

Meta indica que los desarrolladores podrán explotar una API de seguimiento de rostros que utiliza valores correspondientes a FACS. Este sistema es bien conocido por describir el movimiento de los diversos músculos del rostro humano.

Este es un sistema eficiente para representar caras. También forma una barrera de privacidad útil para los usuarios. Según Meta, los desarrolladores no pueden acceder a las imágenes en bruto de la cara del usuario. En su interior obtienen una “serie de valores de cero a uno que corresponden a un conjunto de movimientos faciales genéricos, como cuando arrugas la nariz o frunces el ceño”, dice Meta.

Meta afirma que incluso la propia empresa no puede ver las imágenes capturadas por las cámaras de los auriculares, ya sean internas o externas. Se procesan en el auricular y luego se eliminan inmediatamente. Nunca se envían a la nube ni a los desarrolladores según la empresa.