El científico jefe de Reality Labs describe una nueva arquitectura de cómputo para gafas AR verdaderas

Hablando en la conferencia IEDM a fines del año pasado, el científico jefe de Meta Reality Labs, Michael Abrash, presentó el análisis de la compañía sobre cómo las arquitecturas informáticas contemporáneas deberán evolucionar para hacer posibles las gafas AR de nuestras conceptualizaciones de ciencia ficción.

Si bien hay algunos «anteojos» AR en el mercado hoy en día, ninguno de ellos es realmente del tamaño de un par de anteojos normales (incluso un par voluminoso). Los mejores auriculares AR disponibles en la actualidad, como HoloLens 2 y Magic Leap 2, aún se parecen más a las gafas que a los anteojos y son demasiado pesados ​​​​para usarlos todo el día (sin mencionar las miradas que obtendría de la multitud).

Si vamos a construir anteojos AR que sean realmente del tamaño de anteojos, con una batería que dure todo el día y las funciones necesarias para experiencias de AR convincentes, se necesitará una «gama de mejoras radicales y, en algunos casos, cambios de paradigma». tanto en hardware […] como en software”, dice Michael Abrash, científico jefe de Reality Labs, la organización XR de Meta.

Es decir: Meta no cree que su tecnología actual, ni la de nadie, sea capaz de ofrecer esas gafas de ciencia ficción que imagina cada video de concepto AR.

Pero, la compañía cree que sabe hacia dónde deben dirigirse las cosas para que eso suceda.

Abrash, hablando en la conferencia IEDM 2021 a fines del año pasado, expuso el caso de una nueva arquitectura informática que podría satisfacer las necesidades de los dispositivos AR verdaderamente del tamaño de unas gafas.

Sigue el poder

La razón principal para repensar cómo se debe manejar la informática en estos dispositivos proviene de la necesidad de reducir drásticamente el consumo de energía para cumplir con los requisitos de calor y duración de la batería.

«¿Cómo podemos mejorar la eficiencia energética [de los dispositivos informáticos móviles] radicalmente en un factor de 100 o incluso 1000?» él pide. “Eso requerirá un profundo replanteamiento a nivel de sistema de la pila completa, con un codiseño de extremo a extremo de hardware y software. Y el lugar para comenzar ese replanteamiento es mirar hacia dónde va el poder hoy”.

Con ese fin, Abrash presentó un gráfico que compara el consumo de energía de las operaciones informáticas de bajo nivel.

Como destaca el gráfico, las operaciones informáticas que consumen más energía se encuentran en la transferencia de datos. Y eso no significa solo la transferencia inalámbrica de datos, sino incluso la transferencia de datos de un chip dentro del dispositivo a otro. Además, el gráfico utiliza una escala logarítmica; según el gráfico, la transferencia de datos a la RAM utiliza 12 000 veces la potencia de la unidad base (que en este caso es la suma de dos números).

Reuniéndolo todo, los gráficos circulares de la derecha muestran que las técnicas esenciales para AR (SLAM y seguimiento manual) usan la mayor parte de su poder simplemente moviendo datos hacia y desde la RAM.

«Claramente, para aplicaciones de bajo consumo [como en gafas AR livianas], es fundamental reducir la cantidad de transferencia de datos tanto como sea posible», dice Abrash.

Para que eso suceda, dice que se requerirá una nueva arquitectura informática que, en lugar de mezclar grandes cantidades de datos entre centros informáticos centralizados, distribuya más ampliamente las operaciones informáticas en todo el sistema para minimizar la transferencia de datos inútil.

Calcula donde menos te lo esperas

Un punto de partida para una arquitectura de computación distribuida, dice Abrash, podría comenzar con las muchas cámaras que las gafas AR necesitan para detectar el mundo que rodea al usuario. Esto implicaría realizar algunos cálculos preliminares en el sensor de la cámara antes de enviar solo los datos más importantes a través de las rutas de transferencia de datos que consumen mucha energía.

Para que eso sea posible, Abrash dice que necesitará hardware y software codiseñados, de modo que el hardware esté diseñado con un algoritmo específico en mente que está esencialmente conectado al sensor de la cámara, lo que permite que algunas operaciones se realicen antes que cualquier dato. incluso deja el sensor.

“La combinación de requisitos para la potencia más baja, los mejores requisitos y el factor de forma más pequeño posible hacen que los sensores XR sean la nueva frontera en la industria de los sensores de imagen”, dice Abrash.

Sensores específicos del dominio

También reveló que Reality Labs ya ha comenzado a trabajar con este fin, e incluso ha creado un prototipo de sensor de cámara que está diseñado específicamente para las necesidades de baja potencia y alto rendimiento de las gafas AR.

El sensor utiliza una serie de los llamados sensores de píxeles digitales que capturan los valores de luz digital en cada píxel a tres niveles de luz diferentes simultáneamente. Cada píxel tiene su propia memoria para almacenar los datos, y puede decidir cuál de los tres valores informar (en lugar de enviar todos los datos a otro chip para hacer ese trabajo).

Esto no solo reduce la potencia, dice Abrash, sino que también aumenta drásticamente el rango dinámico del sensor (su capacidad para capturar niveles de luz tenue y brillante en la misma imagen). Compartió una imagen de muestra capturada con el sensor prototipo de la compañía en comparación con un sensor típico para demostrar el amplio rango dinámico.

En la imagen de la izquierda, la bombilla brillante lava la imagen, lo que hace que la cámara no pueda capturar gran parte de la escena. La imagen de la derecha, por otro lado, no solo puede ver el brillo extremo del filamento de la bombilla en detalle, sino que también puede ver otras partes de la escena.

Este amplio rango dinámico es esencial para los sensores de las futuras gafas AR que deberán funcionar tan bien en condiciones interiores con poca luz como en días soleados.

Incluso con los beneficios HDR del prototipo de sensor de Meta, Abrash dice que es significativamente más eficiente en el consumo de energía, utilizando solo 5 mW a 30 FPS (poco menos del 25% de lo que dibujaría un sensor típico, afirma). Y también escala bien; aunque tomaría más potencia, dice que el sensor puede capturar hasta 480 cuadros por segundo.

Pero, Meta quiere ir aún más lejos, con una computación aún más compleja que ocurre directamente en el sensor.

«Por ejemplo, una parte superficial de las redes neuronales profundas, segmentación y clasificación para cargas de trabajo XR, como el seguimiento ocular y el seguimiento manual, se puede implementar en el sensor».

Pero eso no puede suceder, dice Abrash, antes de una mayor innovación de hardware, como el desarrollo de una memoria ultra densa y de baja potencia que sería necesaria para la «verdadera computación de ML en el sensor».

Mientras la compañía está experimentando con estas tecnologías, Abrash señala que la industria en general tendrá que unirse para que esto suceda a escala. Específicamente, dice que «el desarrollo de tecnologías MRAM por parte de [los fabricantes de chips] es un elemento crítico para el desarrollo de gafas AR».

«Combinados en un sistema de extremo a extremo, nuestra arquitectura distribuida propuesta y la tecnología asociada que he descrito tienen el potencial de enormes mejoras en la potencia, el área y el factor de forma», dice Abrash. «Mejoras que son necesarias para ser lo suficientemente cómodos y funcionales como para ser parte de la vida diaria de mil millones de personas».