Retrieving Encrypted Images Using Convolution Neural Network and Fully Homomorphic Encryption

استرجاع الصور المستند إلى المحتوى (CBIR) هو تقنية تستخدم لاسترداد الصور من قاعدة بيانات الصور. ومع ذلك، فإن عملية CBIR تعاني من دقة أقل في استرداد الصور من قاعدة بيانات صور واسعة النطاق وضمان خصوصية الصور. تهدف هذه الورقة إلى معالجة قضايا الدقة باستخدام تقنيات التعلم العميق كطريقة CNN. أيضًا، توفير الخصوصية اللازمة للصور باستخدام طرق تشفير متماثلة تمامًا بواسطة Cheon و Kim و Kim و Song (CKKS). ولتحقيق هذه الأهداف تم اقتراح نظام RCNN_CKKS يتضمن جزأين. يستخرج الجزء الأول (المعالجة دون اتصال بالإنترنت–) لاستخراج الخصائص العالية المستوى استنادًا إلى طبقة التسطيح في شبكة عصبية تلافيفية (CNN) ثم يخزن هذه الميزات في مجموعة بيانات جديدة. في الجزء الثاني (المعالجة عبر الإنترنت) ، يرسل العميل الصورة المشفرة إلى الخادم ، والتي تعتمد على نموذج CNN المدرب لاستخراج ميزات الصورة المرسلة. بعد ذلك، تتم مقارنة الميزات المستخرجة مع الميزات المخزنة باستخدام طريقة Hamming Distance لاسترداد جميع الصور المتشابهة. أخيرًا، يقوم الخادم بتشفير جميع الصور المسترجعة وإرسالها إلى العميل. كانت نتائج التعلم العميق على الصور العادية 97.94٪ للتصنيف و98.94٪ للصور المسترجعة. في الوقت نفسه، تم استخدام اختبار NIST للتحقق من أمان CKKS عند تطبيقه على مجموعة بيانات المعهد الكندي للأبحاث المتقدمة (CIFAR-10). من خلال هذه النتائج، استنتج الباحثون أن التعلم العميق هو وسيلة فعالة لاستعادة الصور وأن طريقة CKKS مناسبة لحماية خصوصية الصورة.A content-based image retrieval (CBIR) is a technique used to retrieve images from an image database. However, the CBIR process suffers from less accuracy to retrieve images from an extensive image database and ensure the privacy of images. This paper aims to address the issues of accuracy utilizing deep learning techniques as the CNN method. Also, it provides the necessary privacy for images using fully homomorphic encryption methods by Cheon, Kim, Kim, and Song (CKKS). To achieve these aims, a system has been proposed, namely RCNN_CKKS, that includes two parts. The first part (offline processing) extracts automated high-level features based on a flatting layer in a convolutional neural network (CNN) and then stores these features in a new dataset. In the second part (online processing), the client sends the encrypted image to the server, which depends on the CNN model trained to extract features of the sent image. Next, the extracted features are compared with the stored features using a Hamming distance method to retrieve all similar images. Finally, the server encrypts all retrieved images and sends them to the client. Deep-learning results on plain images were 97.94% for classification and 98.94% for retriever images. At the same time, the NIST test was used to check the security of CKKS when applied to Canadian Institute for Advanced Research (CIFAR-10) dataset. Through these results, researchers conclude that deep learning is an effective method for image retrieval and that a CKKS method is appropriate for image privacy protection

Exploring the Effectiveness of Privacy Preserving Classification in Convolutional Neural Networks

A front-runner in modern technological advancement, machine learning relies heavily on the use of personal data. It follows that, when assessing the scope of confidentiality for machine learning models, understanding the potential role of encryption is critical. Convolutional Neural Networks (CNN) are a subset of artificial feed-forward neural networks tailored specifically for image recognition and classification. As the popularity of CNN increases, so too does the need for privacy preserving classification. Homomorphic Encryption (HE) refers to a cryptographic system that allows for computation on encrypted data to obtain an encrypted result such that, when decrypted, the result is the same value that would have been obtained if the operations were performed on the original unencrypted data. The objective of this research was to explore the application of HE alongside CNN with the creation of privacy-preserving CNN layers that have the ability to operate on encrypted images. This was accomplished through (1) researching the underlying structure of preexisting privacy-preserving CNN classifiers, (2) creating privacy-preserving convolution, pooling, and fully-connected layers by mapping the computations found within each layer to a space of homomorphic computations, (3) developing a polynomial-approximated activation function and creating a privacy-preserving activation layer based on this approximation, (4) testing and profiling the designed application to asses efficiency, performance, accuracy, and overall practicality