Propagate And Calibrate: Real-time Passive Non-line-of-sight Tracking

Non-line-of-sight (NLOS) tracking has drawn increasing attention in recent years, due to its ability to detect object motion out of sight. Most previous works on NLOS tracking rely on active illumination, e.g., laser, and suffer from high cost and elaborate experimental conditions. Besides, these techniques are still far from practical application due to oversimplified settings. In contrast, we propose a purely passive method to track a person walking in an invisible room by only observing a relay wall, which is more in line with real application scenarios, e.g., security. To excavate imperceptible changes in videos of the relay wall, we introduce difference frames as an essential carrier of temporal-local motion messages. In addition, we propose PAC-Net, which consists of alternating propagation and calibration, making it capable of leveraging both dynamic and static messages on a frame-level granularity. To evaluate the proposed method, we build and publish the first dynamic passive NLOS tracking dataset, NLOS-Track, which fills the vacuum of realistic NLOS datasets. NLOS-Track contains thousands of NLOS video clips and corresponding trajectories. Both real-shot and synthetic data are included. Our codes and dataset are available at https://againstentropy.github.io/NLOS-Track/.Comment: CVPR 2023 camera-ready version. Codes and dataset are available at https://againstentropy.github.io/NLOS-Track

Framework para la Evaluación de Técnicas de Reconstrucción de geometría no visible

En la última década, la captura del transporte transitorio de la luz a trillones de fotogramas por segundo está teniendo un gran impacto en los campos de gráficos y visión por computador. La riqueza de la información en el perfil temporal, combinada con técnicas de imagen computacional apropiadas, hace posible recuperar vídeos de la luz en movimiento, capturar objetos a través de medios turbios, inferir propiedades materiales, o incluso ver a través de esquinas. Esta última aplicación, conocida como Non-Line-of-Sight imaging (NLOS), ha resultado ser de especial interés, con multitud de aplicaciones potenciales como apoyo en situaciones de rescate, seguridad en vehículos autónomos o endoscopia médica. No obstante, estas aplicaciones siguen lejos de ser realidad, con la mayoría prototipos de la tecnología funcionando tan solo en entornos controlados de laboratorio ideados para lograr ver superficies sencillas y aisladas a través de una esquina. En este trabajo modificamos un motor de render transitorio para crear un dataset sintético de 300 escenarios NLOS con complejidad variada y que publicamos para fomentar la colaboración con otros equipos de invesigación simplificando su tarea. Tenemos como objetivo proponer retos mucho más complejos a los que se han enfrentado los investigadores hasta ahora, buscando lograr mejoras significativas en los resultados que lleven NLOS imaging a aplicaciones prácticas en el mundo real. En consecuencia, buscamos poder evaluar resultados de diferentes métodos de reconstrucción, para lo que proponemos métricas que permitan compararlos de forma justa a datos de referencia. Además, esperamos que el dataset permita el uso de técnicas de aprendizaje automático en el campo. Finalmente, derivamos un nuevo método y mostramos sus resultados junto los dos métodos más representativos dentro del estado del arte de la visión a través de esquinas, verificando los datos de nuestro dataset.<br /