¿Por qué mirar la realidad cuando puedes editar lo que ves en tiempo real?

La adopción de la realidad aumentada está sucediendo de manera lenta pero segura, y es fácil ver un futuro posible para la tecnología: hardware que le permite editar lo que ve en tiempo real, reemplazando los objetos a su alrededor con superposiciones virtuales. Llámelo realidad mixta, para ser más precisos.

Una investigación reciente del equipo de inteligencia artificial de Porsche (sí, los fabricantes de automóviles, llegaremos a eso en un momento) muestra cómo podría funcionar esto. El equipo ha construido un Sistema de IA denominado TransforMR que detecta objetos como automóviles y personas, los elimina y luego los reemplaza con alternativas CGI en tiempo real. Los resultados finales no son perfectos (las ediciones son al azar y los modelos CGI parecen haber sido tomados de Creador de películas 3D) pero el concepto es sorprendente. No es difícil imaginar que aplicaciones como esta se conviertan en algo común en las próximas décadas.

El equipo detrás del trabajo dijo El borde que aunque los elementos individuales de su trabajo se habían hecho antes, el sistema compuesto es novedoso. TansforMR puede ejecutarse en teléfonos inteligentes y tabletas normales, pero requiere una conexión 4G para enviar datos a la nube. Las imágenes se procesan para que los objetos no solo se cubran, como con las lentes Snapchat AR o el Memoji de Apple, sino que se eliminen por completo. Los objetos se detectan, se segmentan, luego se “pintan” (se reemplazan con un fondo generado por IA) y se sustituye el modelo original por un modelo CGI.

El modelo TransforMR implica muchos pasos distintos.

Obviamente, hay muchas áreas de mejora. La velocidad de fotogramas es de solo 15 fps en pintura de baja calidad; el retraso es de 50 a 100 milisegundos; y los reemplazos de CGI no son de la mejor calidad. Pero, el equipo detrás del sistema dice que estos aspectos son relativamente fáciles de mejorar.

“La principal limitación es que las imágenes grandes son muy intensivas en computación”, dijo Mohamed Kari, investigador de aprendizaje automático en Porsche. El borde. “Entonces, para la pintura, hacemos esto con imágenes muy pequeñas actualmente, operando en imágenes de 512 x 512. Pero el ancho de banda [usage] es despreciable. Si puedes hacer FaceTime, puedes hacer TransforMR “.

Uno de los elementos clave del sistema, dice Kari, es el uso de detección de pose. Esto significa que cuando el sistema detecta a una persona, por ejemplo, identifica 18 articulaciones separadas en el cuerpo. Eso significa que el reemplazo de CGI se puede anclar al movimiento del objetivo en tiempo real. Kari compara esto con otros sistemas AR que simplemente identifican superficies geométricas.

Al mirar los clips de TransforMR en acción, no es difícil imaginar que dicho software se integre en las gafas AR. Los usuarios pueden elegir un “tema” para su día, reemplazando automóviles, edificios y personas con alternativas de ciencia ficción o elementos tomados de la naturaleza. Pero, como señala Kari, esto implicaría un gran desafío de hardware. Las gafas de realidad aumentada actuales solo pueden proyectar superposiciones semiopacas de baja resolución en sus lentes. En este momento, simplemente no tenemos la tecnología para “editar” lo que los usuarios ven con este tipo de hardware. (Aunque presumiblemente podría hacerse usando un Sistema de realidad virtual “passthrough”, donde las cámaras en primera persona reproducen una transmisión de video en vivo en pantallas que ocluyen completamente la visión del usuario).

“Estamos reproduciendo la imagen completa en la pantalla, por lo que podemos eliminar lo que queramos, pero con las gafas de realidad aumentada es difícil eliminar objetos porque agrega intensidad de luz”, dice Kari. “En HoloLens, por ejemplo, busca mediante el vidrio, por lo que quitar las cosas es más difícil. Esa pregunta está abierta a la investigación “.

Pero, ¿por qué Porsche investiga este tipo de tecnología en primer lugar? Según uno de los arquitectos de inteligencia artificial de la compañía, Tobias Grosse-Puppendahl, se trata de mejorar la experiencia de pasajeros y conductores. Las versiones futuras del software TransforMR podrían usarse para entretener a las personas cuando están atrapadas en el tráfico, dice Grosse-Puppendahl. El borde. “Nuestra pregunta principal era, ¿cómo podemos modificar la realidad de una manera divertida y entretenida para reaccionar? Y ahí es donde se originó nuestra idea “.

Otros proyectos de investigación en Porsche siguen un tema similar. Por ejemplo, la empresa también ha construido un sistema prototipo llamado SoundRide que utiliza la visión artificial de un automóvil para detectar cambios en el escenario y escuchar la música adecuada. “Quizás, por ejemplo, estás conduciendo por los Alpes, conduciendo por una ruta hermosa, y de repente tienes una vista maravillosa y quizás la música cambia”, dice Kari. “Estamos pensando en cómo la tecnología puede hacer que la experiencia en el automóvil sea aún más interesante y hermosa”. Y eso significa jugar con lo que la gente de otra manera vería y oiría.

Estaremos encantados de escuchar lo que piensas

Deje una respuesta

Somos Melipilla