Estudiantes del Media Lab del MIT están trabajando en un proyecto llamado T(ether) el cual permite crear objetos en un espacio virtual 3D que se pueden ver a través de la pantalla de un iPad e interactuar con ellos.

Para eso desarrollaron un sistema que está compuesta un guante, un sistema de detección de movimiento Vicon y por supuesto un iPad,, 

Lo interesante de esta herramienta es que no solo podemos interactuar con el mundo virtual y objetos que creamos, también nos podemos conectar en forma remota o local, para interactuar colaborativamente con otros espacios virtuales 3D.

David Lakatos, uno de los alumnos parte del proyecto, le comentó a la gente de Cult of Mac lo siguiente,

iPad corre una aplicación compilada con la librería Cinder, que es un C++ wrapper  para OpenGL.  No usamos la cámara de iPad, utilizamos un sistema de captura de movimientos Vicon (usado en la industria de la cinematografía) para seguir la orientación y el lugar donde se encuentra los iPads. El rectángulo adjunto es lo que el sistema de captura de movimientos sigue.  Mediante el seguimiento constante de los 5 puntos retro-reflectivos, podemos construir la pose correcta (posición + orientación) del iPad.  También seguimos los guantes con el mismo sistema.

[Fuente Cult of Mac]