Reversing ShopView analysis for planogram creation

Com o aumento da preocupação dos retalhistas na melhora dos resultados das vendas e da experiência dos consumidores, existe uma necessidade de desenvolver tecnologia que auxilie a otimização desses objetivos. Está provado que uma correta colocação dos produtos nas prateleiras pode aumentar significativamente as vendas e a experiência dos consumidores [1]. Com isto em mente, a Fraunhofer Portugal desenvolveu o ShopView [2], uma solução que tem como objetivo ajudar os retalhistas a extrair, validar e manipular os planogramas a partir de imagens de alta resolução das lojas. Desta forma, esta tese tem como foco a criação de um algoritmo, com auxilio a algoritmos de visão computacional, de forma a extrair informação de images de alta resolução de gondolas de supermercados obtidas pelo ShopView. Particularmente, foram implementados passos de pré-processamento de forma a melhorara a eficiência e precisão de um motor de OCR (Optical Character Recognition) no reconhecimento de texto nos produtos da gondola. Estes algoritmos de pré-processamento são compostos por técnicas de segmentação e remoção de ruido. O uso deste motor de OCR permite obter informações adicionais sobre os produtos e separações das prateleiras, esta informação é posteriormente usada em algoritmos de agrupamento para extrair automáticamente um planograma preciso a partir das imagens. O algoritmo apresentado é capaz de extrair informação relevante das imagens das gondolas, de forma a identificar os produtos existentes e criar metadados válidos sobre esses produtos e a sua localização. Com estes metadados é possível criar, validar e modificar o planograma no ShopView. O uso de OCR neste algoritmo oferece vantagens sobre as outras abordagens disponíveis devido à capacidade de diferenciar produtos com diferenças mínimas entre si, e a sua imunidade a alterações no aspeto das embalagens dos produtos. Além disso, a metodologia proposta não requer nenhuma interação prévia do utilizador para funcionar corretamente.[1] Chanjin Chung, Todd M. Schmit, Diansheng Dong, and Harry M. Kaiser. Economic evaluation of shelf-space management in grocery stores. Agribusiness, 23(4):583-597, September 2007.[2] L. Rosado, J. Gonçalves, J. Costa, D. Ribeiro, and F. Soares. Supervised learning for out-of-stock detection in panoramas of retail shelves. In 2016 IEEE International Conference on Imaging Systems and Techniques (IST), pages 406-411.With the increasing care of retail shop owners in improving sales and costumer experience, there is a need to develop technology in order to optimize their goals. It's proven that a planned product placement can boost sales and improve costumer experience [1]. With this in mind, Fraunhofer Portugal came up with ShopView [2] solution to help retail shops extract, validate and manipulate planograms from high-resolution images of the real shelves in the store.In this sense, this thesis focused on the creation of an algorithm using computer vision algorithms to extract information from high resolution images of retail shelves taken with ShopView solution. Particularly, it was implemented pre-processing steps to improve the efficiency and accuracy of an OCR (Optical Character Recognition) engine in recognizing the text in the shelves products. These pre-processing algorithms comprise of denoising and segmentation techniques. The use of this OCR engine brings additional information about products and shelves separation, this information is later used in clustering algorithms to automatically extract an accurate planogram from shelves photos. The presented algorithm is capable of extracting relevant information from the shelves images, to identify the existing products and create a valid metadata about them and their location. With this metadata, it is possible to create, validate and modify the planogram in ShopView. The use of OCR on this algorithm has advantages over other available approaches due to its capability to differentiate products with minimal visual differences and its immunity to appearance changes on the products packaging. Moreover, the methodology proposed does not require any previous user interaction to work properly.[1] Chanjin Chung, Todd M. Schmit, Diansheng Dong, and Harry M. Kaiser. Economic evaluation of shelf-space management in grocery stores. Agribusiness, 23(4):583-597, September 2007.[2] L. Rosado, J. Gonçalves, J. Costa, D. Ribeiro, and F. Soares. Supervised learning for out-of-stock detection in panoramas of retail shelves. In 2016 IEEE International Conference on Imaging Systems and Techniques (IST), pages 406-411