FOOD PRODUCT ACCEPTANCE AND PREFERENCE PREDECTION THROUGH AUTOMATED FACIAL EXPRESSION ANALYSIS (MEDICIÓN DE ACEPTACIÓN Y PREFERENCIA DE PRODUCTOS ALIMENTICIOS MEDIANTE ANÁLISIS AUTOMATIZADO DE EXPRESIONES FACIALES)

Abstract

ResumenSe presenta un sistema para determinar la aceptación y las preferencias de usuarios en productos alimenticios a través del reconocimiento de emociones. Los cambios en expresiones faciales de 80 sujetos mientras probaban cinco distintos productos alimenticios fueron capturados con el sensor Microsoft Kinect. Las expresiones faciales se contrastaron con las evaluaciones sensoriales de los consumidores. Para el reconocimiento de expresiones faciales en cada cuadro del video, se entrenó una red neuronal y se utilizaron diferentes técnicas de aprendizaje supervisado (como máquinas de soporte vectorial, perceptrón multicapa y árboles de regresión) para determinar que sabores podrían ser aceptados y rechazados por el consumidor.  Se decidió utilizar la red neuronal, y al observar la matriz de confusión se obtiene un porcentaje de reconocimiento adecuado para las siguientes emociones: neutral 94%, sorpesa 98%, felicidad 99% y disgusto 94%. La aplicación industrial es relevante en el sector de Investigación y Desarrollo de la industria de alimentos.Palabras Claves: aceptación de consumidores, análisis sensorial, aprendizaje de máquina, expresiones faciales, Kinect, visualización.AbstractThis paper presents a system for determining consumer acceptance and preferences of food products through emotion recognition. Changes in facial expressions of 80 test subjects while tasting five different food samples were captured using the Microsoft Kinect sensor. The expressions were compared to the consumers’ sensory evaluations. To determine the facial expressions in every video frame, a neural network was trained and different supervised learning techniques (such as support vector machines, multilayer perceptron and regression trees) were used to predict which of the different tastes could be accepted or rejected. A neuronal net was used, when observing the confusion matrix a percentage of adequate recognition was obtained for the following emotions: neutral (94%), surprise (98%), happiness (99%) and disgust (94%). The industrial application of the proposed system is relevant for the Food Industry Research and Development (R&D) by allowing the sampling of a product by potential consumers and analyzing their emotions before launching into market.Keywords: consumer’s acceptance, sensory analysis, facial expressions, Kinect, machine learning, visualization