Captura 3D en tiempo real con tres Kinects y Oculus Rift

Muchas veces nos quejamos por la falta de cooperación (léase compatibilidad) entre dos o más plataformas tecnológicas, pero el código y la perseverancia pueden hacer mucho más de lo que imaginan los fabricantes. En esta oportunidad, tenemos un sistema de captura 3D en tiempo real, que combina a tres unidades Microsoft Kinect, y un Oculus Rift que permite visualizar el entorno virtual.

La cantidad de proyectos basados en el Oculus Rift está fuera de control. Y algo similar se puede decir sobre el Microsoft Kinect. La realidad virtual, la detección de movimiento y el reconocimiento de gestos poseen el potencial para brindar una experiencia extraordinaria al usuario, por lo tanto, resulta inevitable que el Kinect y el Rift sean combinados de algún modo. Ahora, ¿por qué es tan importante? La razón es sencilla: Tenemos a expertos y entusiastas alrededor del globo logrando cosas que hasta hace pocos años eran exclusivas de laboratorios o estudios de cine. Tanto el Microsoft Kinect como el kit de desarrollo del Oculus Rift se pueden comprar hoy, y habilitan a cualquier persona a iniciar su propio proyecto. ¿Qué tenemos en esta ocasión? Nada menos que un sistema de captura 3D en tiempo real, usando un total de tres Kinects.

El vídeo generado a partir de las cámaras en cada Kinect es alimentado a un ordenador y reproducido en el Oculus Rift, sobre el modelo virtual de una oficina. El trío de Kinects forma un triángulo equilátero, con cada unidad ubicada a dos metros del punto central. Los brazos del usuario se ven distorsionados por una simple cuestión de hardware: Los Kinects son de primera generación, y su resolución no es tan alta que digamos. La oficina es un modelo virtual aparte, y los Kinects no tienen influencia sobre ella, pero aún así nos transmite una sensación de precisión muy completa, probablemente debido a nuevos procesos de calibración que combinan a los tres Kinects con un mínimo margen de error.

Esta captura 3D en tiempo real está a cargo de Oliver Kreylos, de la Universidad de California, Davis. Su área de investigación se concentra sobre visualización científica, realidad virtual, y la interacción humano-ordenador bajo entornos virtuales. Su perfil de Twitter lo explica más fácil: Desarrolla “holodecks” para vivir, y después de ver a esta demo, no tenemos dudas de que sabe muy bien lo que está haciendo. Un detalle técnico importante en la captura 3D es la latencia, o mejor dicho, la latencia del Microsoft Kinect. El algoritmo de reconstrucción que usa la consola genera una latencia demasiado alta para ser útil en entornos de realidad virtual, pero Kreylos trabaja con un vídeo “crudo” y más directo, que le permite reducir la latencia hasta el punto en que deja de ser un problema. Espero que Kreylos logre obtener pronto algunos Kinects de la generación actual, y demuestre qué es lo que pueden hacer.