Detect the Use of Retouch Filters in a Face Image

Úprava snímku pomocí filtrů je jeden z nejjednodušších způsobů jak lze v dnešní době vylepšit jeho vlastnosti. Sociální sítě jako Instagram nebo Snapchat, zaměřené primárně na sdílení snímků, nabízejí svým uživatelům při nahrávání snímků filtry, které upravují barvy ve snímku a dělají jej tak atraktivnějším. V případě získávání snímků z těchto platforem by tak mnoho snímků mělo aplikovaný filtr. Tato práce vysvětluje principy těchto filtrů. Dále se zabývá detekcí filtrů ve snímcích s obličejem, experimentuje s několika různými přístupy. Detekce pomocí analýzy histogramu a detekce konvoluční neuronovou sítí se jeví jako nejlepší, a tak jsou implementovány do programu s jednoduchým uživatelským prostředím. Dosahují úspěšnosti 94,44% (histogram) a 99,10% (neuronová síť). Také je zkoumán vliv filtrů na identifikaci osob, který je závislý na aplikovaném filtru. Některé filtry výrazně zhoršují úspěšnost identifikace osob podle snímku obličeje, zatímco jiné mají minimální dopad. Obecně se však dá říci, že změny způsobené filtry nejsou zanedbatelné.These days, altering images via filters is one of the easiest ways of enhancing its properties. Social networks like Instagram or Snapchat, focused primarily on image sharing, offer their users the option to apply filters on their images, which alter their colours to make them look better. If someone was to extract images from these platforms, many of these images would have a filter applied. This thesis explains the principles of these filters and focuses on detection of filters on facial images. Several approaches to detecting filters are being experimented with. Detection by analysis of histograms and detection by convolutional neural network achieve the best results and so are implemented in a program with a simple user interface. They achieved a success rate of 94,44% (histogram) and 99,10% (CNN). This thesis also investigates the impact of filters on facial recognition, where the impact varies depending on the filter used. Some filters have a significant impact on the rate of successful identifications, whereas others have little impact.In general, however, it can be said that the changes introduced by the application of filters are not negligible.

Filter-Invariant Image Classification on Social Media Photos by Using Siamese Network

隨著社群網路的蓬勃發展，不只是文字，同時也有愈來愈多的多媒體資料透過使用者上傳到社群網路，根據統計，每天至少有三億多張照片被上傳到Facebook上，而如何去分析這些多媒體資料去了解背後的故事，創造出更進一步的價值就成了相當重要的一項議題，於是能做出正確圖片分類(Image classification)的演算法便是個相當迫切的需求。現今有許多使用卷積神經網路(Convolutional Neural Network)的研究在圖片分類上取得了不小的進展，然而，目前這些使用卷積神經網路去進行圖片分類的方法們都忽略了一件事情──也就是社群網路上的相片常常是套過濾鏡的。根據Instagram的統計，Instagram上有54\%的照片都是有套過濾鏡的，可說濾鏡在社群網路上的照片中扮演著重要的角色；然而之前的研究方法通常都忽略了套過濾鏡的圖片對圖片分類演算法所造成的影響，讓相片在套過濾鏡後就容易被分類成完全不同的錯誤類別，使得分類的準確率會劇烈的下降。這些事實再再的顯示出考慮濾鏡帶來的影響是件無可避免的事情。 所以我們提出了一個獨特的卷積神經網路架構，是基於連體神經網路(Siamese network)加上兩個我們設計的正規化損失函數去學到較富有濾鏡不變性(Filter-Invariant)的特徵值。根據我們所設計的正規化損失函數，我們會將相似的成對資料(同樣類別的圖片但套上不同的濾鏡)的特徵值距離拉近，再將不相似的成對資料(不同類別的圖片但套上相同的濾鏡)距離拉開至一定的距離。結合分類函數與此正規化損失函數，我們可以同時學到具有語意一致性與濾鏡不變性的特徵值，從而達到更高的分類準確度。 經過實驗，我們的研究方法在套過濾鏡的資料集上所訓練出的結果擊敗了所有其他的研究方法，成為目前最先進的研究之一。With the popularity of social media nowadays, tons of photos are uploaded everyday. To understand the image content, image classification becomes a very essential technique for plenty of applications (e.g., object detection, image caption generation). Convolutional Neural Network (CNN) has been shown as the state-of-the-art approach for image classification. However, one of the characteristics in social media photos is that they are often applied with photo filters, especially on Instagram. We find that prior works do not aware of this trend in social media photos and fail on filtered images. Thus, we propose a novel CNN architecture that utilizes the power of pairwise constraint by combining Siamese network and the proposed adaptive margin contrastive loss with our discriminative pair sampling method to solve the problem of filter bias. To the best of our knowledge, this is the first work to tackle filter bias on CNN and achieve state-of-the-art performance on a filtered subset of ILSVRC2012