Studying Geometric Optical Illusions through the Lens of a Convolutional Neural Network

Geometrical optical illusions such as the Muller Lyer illusion and the Ponzo illusion have been widely researched over the past 100+ years, yet researchers have not reached a consensus on why human perception is deceived by these illusions or which illusions are the results of the same effects. In this paper, I study these illusions through the lens of a convolutional neural network. First, I successfully train the network to correctly classify how a human would perceive a particular class of illusion (such as the Muller Lyer illusion), then I test the network’s ability to generalize to illusions that it was not trained on (like the Ponzo illusion). I do not find that these networks generalize effectively. Tests to better understand how the network learns to classify these illusions suggest the networks are checking for image data in specific ‘activation regions’ in order to make classifications rather than analyzing the entire illusions

BRI3L: A Brightness Illusion Image Dataset for Identification and Localization of Regions of Illusory Perception

Visual illusions play a significant role in understanding visual perception. Current methods in understanding and evaluating visual illusions are mostly deterministic filtering based approach and they evaluate on a handful of visual illusions, and the conclusions therefore, are not generic. To this end, we generate a large-scale dataset of 22,366 images (BRI3L: BRightness Illusion Image dataset for Identification and Localization of illusory perception) of the five types of brightness illusions and benchmark the dataset using data-driven neural network based approaches. The dataset contains label information - (1) whether a particular image is illusory/nonillusory, (2) the segmentation mask of the illusory region of the image. Hence, both the classification and segmentation task can be evaluated using this dataset. We follow the standard psychophysical experiments involving human subjects to validate the dataset. To the best of our knowledge, this is the first attempt to develop a dataset of visual illusions and benchmark using data-driven approach for illusion classification and localization. We consider five well-studied types of brightness illusions: 1) Hermann grid, 2) Simultaneous Brightness Contrast, 3) White illusion, 4) Grid illusion, and 5) Induced Grating illusion. Benchmarking on the dataset achieves 99.56% accuracy in illusion identification and 84.37% pixel accuracy in illusion localization. The application of deep learning model, it is shown, also generalizes over unseen brightness illusions like brightness assimilation to contrast transitions. We also test the ability of state-of-theart diffusion models to generate brightness illusions. We have provided all the code, dataset, instructions etc in the github repo: https://github.com/aniket004/BRI3

Estudio del comportamiento de técnicas de visión artifcial frente a ilusiones ópticas

Para la mayor parte de las personas el sentido de la visión es el más útil y fable por la cantidad de información que aporta. Sin embargo existe un conjunto de fenómenos sorprendentes y que ha levantado un gran interés a lo largo de la historia demostrando que la vista no es tan fable como a priori podemos pensar. Las ilusiones ópticas pueden defnirse como imágenes mentales engañosas generadas por una falsa percepción de la realidad. Entre los distintos tipos de ilusiones ópticas nos hemos interesado por aquellas en las que el observador percibe un objeto que en realidad no tiene presencia en su campo visual, o en otras palabras, aquellas ilusiones ópticas en las que el perceptor se inventa la presencia de un objeto. El continuo desarrollo de técnicas de visión por computador y los excelentes resultados obtenidos en los últimos años nos han invitado a preguntarnos sobre el impacto que podrían tener las imágenes con ilusiones ópticas de este tipo sobre un sistema perceptual artifcial. Para explorar la respuesta a esta pregunta hemos realizado dos grupos de experimentos. En primer lugar hemos seleccionado y evaluado los resultados de tres detectores de objetos pertenecientes al estado del arte (YOLOv3, SSD-ResNet-50-FPN y SSD-Inceptionv2) sobre un conjunto de 108 ilusiones ópticas de una base de datos pública. YOLOv3 ofrece los resultados más similares a los reseñados por un conjunto de humanos, aunque con una diferencia importante en el impacto que producen las ilusiones en ambos del 64.82% de las imágenes seleccionadas. En segundo lugar hemos repetido las pruebas con YOLOv3 sobre una nueva base de datos generada a partir de 160 transformaciones morfológicas aplicadas a la primera base de datos. En este caso los resultados obtenidos muestran una gran similitud con los resultados observados con humanos. El impacto de las ilusiones ópticas sobre el sistema y las personas difere en apenas un 24.08% de los casos