Copia y Pega objetos reales con la aplicacion AR Cut & Paste

La realidad aumentada está de moda en el mundo de los smartphones. Esta tecnología ha llevado a muchos fabricantes a añadir un sensor de tiempo de vuelo. Sin embargo, hasta ahora sus usos siguen siendo limitados. La mayoría de las aplicaciones ofrecen una demostración lúdica de la realidad aumentada sin ningún interés real, o para visualizar un nuevo sofá en el salón antes de comprarlo. Un nuevo proyecto llamado AR Cut & Paste realiza la operación opuesta, es decir, copiar cualquier objeto real para pegarlo en un editor de imágenes.

La demostración fue hecha por Cyril Diagne, un artista digital francés. En un video en Twitter, toma fotos de tres objetos con su smartphone, y las inserta en el Photoshop con sólo apuntar a la pantalla de su ordenador. Un verdadero copiar/pegar del mundo real a un formato digital, ¡todo en sólo unos segundos!

Un sistema hecho posible por el aprendizaje profundo

 

La aplicación combina el producto de varias investigaciones, comenzando con BASNet (Detección de Objetos Destacados con Conocimiento de los Límites). Este código utiliza la inteligencia artificial y las redes neuronales para detectar los bordes del sujeto principal de una imagen. Permite aislar el objeto y eliminar el fondo. Para insertar la imagen en Photoshop, el artista se basa en OpenCV SIFT. Este código determina las coordenadas exactas del punto de la pantalla del ordenador al que apunta la cámara del móvil.

Actualmente es sólo un prototipo de investigación, pero el proceso ya es muy rápido. Cyril Diagne dijo que sólo se tarda 2,5 segundos en copiar un objeto, y 4 segundos en pegarlo. Según él, el proceso podría optimizarse aún más. El código está disponible en GitHub, por lo que puede ser reutilizado por cualquiera con cierta habilidad técnica. Aviso a los aficionados…