Data Hiding with Deep Learning: A Survey Unifying Digital Watermarking and Steganography

Data hiding is the process of embedding information into a noise-tolerant signal such as a piece of audio, video, or image. Digital watermarking is a form of data hiding where identifying data is robustly embedded so that it can resist tampering and be used to identify the original owners of the media. Steganography, another form of data hiding, embeds data for the purpose of secure and secret communication. This survey summarises recent developments in deep learning techniques for data hiding for the purposes of watermarking and steganography, categorising them based on model architectures and noise injection methods. The objective functions, evaluation metrics, and datasets used for training these data hiding models are comprehensively summarised. Finally, we propose and discuss possible future directions for research into deep data hiding techniques

Robust light field watermarking with high spatial and angular fidelity

El término ocultación de información se refiere típicamente a la inserción secreta de datos en una señal anfitriona. La señal anfitriona puede ser una imagen, un archivo de audio, un video,... Las técnicas de ocultación de información se dividen generalmente en marca de agua digital, esteganografía y criptografía. Si la propia existencia del mensaje secreto incrustado debe permanecer en secreto, entonces el método de ocultación de información se conoce como esteganografía. Por el contrario, en la marca de agua digital, el usuario es consciente de la existencia del mensaje secreto. A diferencia de la esteganografía y la marca de agua, existe otra categoría de ocultación de información que cifra el mensaje secreto sin insertarlo en una señal anfitriona. Estos métodos se conocen como criptografía en la literatura técnica especializada. Los métodos de ocultación de información se han utilizado durante milenios. A modo de ejemplo, es conocido que Heródoto (485-525 a.c.) ya cita que Histiaeus, el gobernante de Mileto por designación del rey de reyes persa Darío El Grande estaba conspirando para derrocar el imperio persa. Sin embargo, nunca quiso levantar ninguna sospecha entre los que eran leales al rey de reyes ni perder la confianza que el rey Darío había depositado en él. Por ello, para instigar la revuelta Histiaeus afeitó la cabeza de uno de sus esclavos y tatuó un mensaje secreto sobre su cuero cabelludo. Tras dejar crecer el pelo del sirviente, éste viajó sin despertar sospechas hasta el destinatario del mensaje. En la era reciente, la esteganografía se usa ampliamente para la comunicación encubierta. En la esteganografía, la señal anfitriona se usa simplemente para transmitir un mensaje secreto importante. La señal anfitriona no importa por sí misma, pero es de suma importancia no llamar la atención de los expertos en seguridad. La señal anfitriona generalmente se elige entre los medios típicos que no causan sospechas. Es por eso que el mensaje transmitido no está encriptado en esteganografía. En otras palabras, un mensaje cifrado hace sonar inmediatamente las alarmas, pero es menos probable que un mensaje sin cifrar llame la atención. Como ejemplo, se cuenta que en 1966, el comandante en jefe estadounidense Jeremiah Denton se vio obligado a participar en una entrevista televisiva que se transmitió en Estados Unidos. Fingiendo sentirse incómodo con las luces cegadoras de la televisión, parpadeó en código Morse deletreando la palabra "T-O-R-T-U-R-E". Al igual que la marca de agua, el rápido crecimiento de la comunicación por Internet ha proporcionado un medio perfecto para que los sistemas de esteganografía transmitan los datos ocultos sin causar sospechas graves. A diferencia de la esteganografía, los métodos de marca de agua digitales pueden no tener ningún deseo de ocultar la existencia del mensaje incrustado. La marca de agua se define como la inserción imperceptible del mensaje secreto en la señal anfitriona. Esto es exactamente lo contrario de lo que ocurre en la esteganografía, en la que la señal anfitriona no tiene importancia real y se usa simplemente como cobertura. La marca de agua digital se usa ampliamente para la protección de derechos de autor, autenticación, detección/corrección de errores, comunicación encubierta y monitoreo de transmisiones. Se espera que cada plataforma de marca de agua: • Incruste tanta información como sea posible. El envío de información secreta es el principal motivo de explotación de las técnicas de marca de agua. Esto es especialmente importante en la comunicación encubierta. • Genere una marca de agua lo más imperceptible posible sobre la señal anfitriona. La diferencia detectable entre la propia anfitriona y la anfitriona tras el marcado anula el propósito de la marca de agua. • Sea lo más robusto posible contra ataques sobre la señal anfitriona. En el contexto de las marcas de agua, el ataque se refiere a cualquier alteración intencionada o no de los valores de la señal marcada. Obviamente, la realización perfecta de estas tres características sigue siendo un desafío y, dependiendo de la aplicación, se puede priorizar una o dos de estas características. El rápido crecimiento de la demanda de marcas de agua puede contribuir razonablemente a la creciente preocupación por la protección de los derechos de autor en las últimas décadas. A pesar de las enormes oportunidades que ofrece Internet para compartir la información a gran escala, la duplicación ilegal, la manipulación y el intercambio de información ha aumentado sin descanso. Esto impone serias preocupaciones a los autores y editores que dedican mucho tiempo y esfuerzo a la creación de contenidos. El rápido desarrollo de los métodos de marca de agua fue una respuesta prevista a la implacable tendencia al alza de la piratería. La marca de agua ha desempeñado un papel activo en la protección de los derechos de autor, la detección de manipulaciones, la autenticación y la comunicación encubierta. El número de artículos de investigación publicados sobre marcas de agua muestra la importancia absoluta de las marcas de agua en nuestra era. Otra categoría de ocultación de información es la criptografía, que se define básicamente como un método para proteger la información y las comunicaciones mediante el uso de códigos, de modo que solo los lectores autorizados pueden decodificar y leer el mensaje. Así, en criptografía el mensaje secreto se implementa sin usar señal de cobertura. La mayoría de los sistemas criptográficos utilizan conceptos matemáticos y un conjunto de cálculos basados en reglas. El contenido se cifra y se proporciona una clave de descifrado solo a los receptores autorizados. El contenido cifrado se transmite a través de Internet, pero los receptores no autorizados difícilmente pueden descifrar el contenido codificado. A diferencia de la marca de agua, el cifrado no tiene ningún control sobre la redistribución del contenido descifrado por parte del usuario autorizado. Puede ser que un cliente compre una clave de descifrado válida y, después del descifrado, redistribuya el contenido de forma masiva. Por lo tanto, la criptografía puede proteger el contenido antes del descifrado, pero una vez descifrado, el contenido no tiene más protección. Cabe mencionar que los sistemas de cifrado cifran el mensaje secreto y la existencia del mensaje secreto es clara. Por el contrario, los sistemas esteganográficos están optimizados específicamente para ocultar la existencia del mensaje secreto. Dependiendo de la aplicación, los sistemas de marca de agua pueden ocultar la existencia de la marca de agua o en algunos casos hacer pública la existencia de la marca de agua. Como el ámbito de esta tesis pertenece a la marca de agua, la esteganografía y la criptografía no se tratan más a fondo. Además, centraremos el contenido en el uso de señales anfitrionas tipo imagen. Según el dominio en el que se realiza la marca de agua, los métodos de marca de agua se dividen en métodos de dominio espacial y métodos de dominio de transformación. Los métodos de dominio espacial alteran los valores de los píxeles en el dominio espacial y, en comparación con el dominio de transformación, normalmente implican una complejidad computacional mucho menor. Por el contrario, el dominio de transformación primero convierte los píxeles de la imagen en el dominio de transformación. Los píxeles transformados a menudo se denominan coeficientes en la literatura. Aparentemente, dicha transformación puede ser costosa desde el punto de vista computacional, pero el compromiso es que la robustez suele ser mayor que la de los métodos de dominio espacial. Normalmente, se aplica una transformación directa en la imagen y, después de la inserción de la marca de agua, se aplica una transformación inversa para recuperar la imagen con marca de agua en el dominio espacial. Algunas transformaciones comunes en la literatura de marcas de agua son (pero no se limitan a) la transformada de coseno discreta (DCT), transformada de ondícula (wavelet) discreta (DWT), Contourlet, Curvelet, Ridgelet, análisis de componentes principales (PCA), transformada de Karhunen-Loeve (KLT) y descomposición en valor singulares (SVD). Algunos otros métodos utilizan tanto el dominio espacial como el dominio de transformación para implementar la marca de agua. Estos enfoques a menudo se denominan métodos híbridos en la bibliografía. Si no se requiere información previa de la imagen anfitriona para la extracción de la marca de agua, entonces el método de marca de agua se conoce como ciego; de lo contrario, se denomina no ciego. Si se utiliza alguna información secundaria (no la imagen anfitriona) para la extracción de la marca de agua, el método de marca de agua se denomina semi-ciego. Si la imagen anfitriona se puede recuperar después de la extracción de la marca de agua, el método se denomina de marcado reversible; de lo contrario, se conoce como método de marca de agua irreversible. En los últimos años, el campo luminoso (lightfield, LF) se ha utilizado cada vez más para la representación de imágenes 3D. Básicamente, el LF es una función vectorial que describe la cantidad de luz que fluye en todas direcciones a través de cada punto del espacio. Michael Faraday fue el primero en proponer (en una conferencia de 1846 titulada "Pensamientos sobre las vibraciones de los rayos") que la luz debería interpretarse como un campo, muy parecido a los campos magnéticos en los que había estado trabajando durante varios años. La denominación “campo luminoso” fue acuñada por Andrey Gershun en un artículo clásico de 1936 sobre las propiedades radiométricas de la luz en el espacio tridimensional. Desde un punto de vista óptico-geométrico, todo lo que percibimos visualmente, está iluminado por los rayos provenientes de fuentes de luz que se propagan a través del espacio hasta llegar a nuestro ojo. Básicamente, el LF describe la intensidad de cada rayo de luz en la escena en función del ángulo visual, la longitud de onda, el tiempo y la posición de visualización. Así, registra todo lo que potencialmente puede ser visto por un dispositivo óptico omnidireccional que es (supuestamente) capaz de capturar cada rayo del espacio. Levoy y Hanrahan definieron el LF como la función que describe la totalidad de los rayos de luz que atraviesan un volumen 3D dado. En otras palabras, el LF puede entenderse como la descripción de un conjunto denso de rayos de luz, cada uno de los cuales se origina en el vértice de un cono. Cada punto de un volumen 3D se considera como el vértice de un cono que transmite un número infinito de rayos con diferentes inclinaciones. Así, aparte del tiempo y la longitud de onda, el LF se representa típicamente usando cinco parámetros: posición del punto considerado (3 coordenadas espaciales) y dirección del rayo (2 ángulos directores). En realidad, la invariancia en propagación de los rayos (de acuerdo con la Óptica Geométrica), permite reducir su dimensional a 4D. Convencionalmente, a los valores obtenidos para un punto fijo del espacio en función de las 2 coordenadas angulares se le denomina imagen elemental (EI). Si (idealmente) se proporciona el LF de una escena, entonces es posible reconstruir la misma escena 3D sin pérdida de información. En la práctica, lo que realmente se captura en el mundo real es una submuestra del LF, no el conjunto completo de todos los rayos de la escena. Los dispositivos usados en esta captura se denominan de modo genérico cámaras LF. La principal diferencia entre una cámara LF y una convencional es que la primera captura los rayos individuales que inciden en un punto determinado del sensor de captura, mientras que la segunda registra la suma de todos los rayos que inciden en un punto específico del sensor. Esto facilita la reconstrucción 3D precisa de la escena recuperando los rayos individuales. El LF se puede adquirir de varias formas. En la configuración multicámara, se usa una matriz de cámaras 2D. En este caso, las dimensiones espaciales del LF están determinadas por las características intrínsecas de las cámaras, mientras que las dimensiones angulares están determinadas por el número y la disposición de las cámaras. Las cámaras pueden estar distribuidas en superficie plana, circular, rectangular o esférica. Esta configuración suele ser costosa y voluminosa. Además, la calibración de las cámaras puede llevar bastante tiempo. Otra alternativa es capturar el LF deslizando una sola cámara horizontal y verticalmente. A diferencia del sistema multicámara, la configuración de una sola cámara es mucho más barata y puede grabar el LF con mayor densidad. Sin embargo, la adquisición de LF por una sola cámara lleva mucho más tiempo que la de varias cámaras, lo que prácticamente hace que sea imposible grabar escenas dinámicas. Las cámaras LF estáticas también se pueden utilizar para capturar el LF. En ellas se emplea un único sensor estático y alguna distribución espacial de lentes (típicamente, una matriz de microlentes) para muestrear el LF. A pesar de los numerosos métodos propuestos para la marca de agua sobre el LF, ninguno de ellos está adaptado para proteger la enorme cantidad de información angular incorporada en el LF. Se trata en todos los casos de aplicar los algoritmos ya desarrollados sobre imágenes 2D al LF con sus 4 dimensiones. El principal objetivo de esta tesis es lograr métodos de marca de agua LF maximizando la protección de la información espacial y angular al mismo tiempo. Según el conocimiento del autor, hay muy pocos trabajos que aborden los métodos de marca de agua personalizados para LF. Algunos artículos también han discutido la marca de agua de objetos 3D y el video de visualización libre, que, aunque con similitudes, es bastante diferente de la marca de agua sobre el LF. Cualquier método propuesto para la marca de agua del LF deberá tener sumo cuidado de no arruinar ni la información espacial ni angular del LF. A través de esta tesis se han propuesto dos métodos de marca de agua. El primer método propuesto se basa en la DCT y la SVD, y trata de aprovechar el hecho de que los datos de LF generalmente tienen una correlación muy alta en las dimensiones espaciales y espectrales. Se supone que cualquier transformada como la DCT compacta la información en unos pocos coeficientes al proporcionar una descorrelación máxima. La transformada DCT es una aproximación de la KLT que descorrelaciona perfectamente los coeficientes. A diferencia de la base de funciones de la KLT, que dependen de la señal de entrada, las funciones base de la DCT están fijadas. Aunque la descorrelación de la DCT puede ser ligeramente menor que la de KLT y la descorrelación alcanzada es marginalmente menor, su costo computacional es menor debido a la eliminación del tedioso cálculo de las funciones básicas de la KLT. Además, en comparación con otras transformadas como la transformada de Fourier, los coeficientes transformados no tienen parte imaginaria y, por lo tanto, requieren menos datos para procesar. El hecho de que la DCT compacta la energía de la señal en pocos coeficientes lo hace muy interesante para la compresión y la marca de agua. En este primer método propuesto, se parte del LF anfitrión y de una clave secreta como entrada. Según la clave secreta, para cada píxel de la marca de agua se seleccionan bloques de píxeles del LF original, a los que se aplica la DCT. Los coeficientes de los bloques transformados se ordenan en zigzag y se eligen los primeros coeficientes para incrustar la marca de agua. La razón de no incrustar la marca de agua en todos los coeficientes DCT es aumentar la robustez del método propuesto. Es bien sabido en la literatura que los coeficientes de baja frecuencia mejoran la robustez del método de marca de agua y los coeficientes de alta frecuencia son extremadamente propensos al ruido y otros ataques. Después de elegir los coeficientes DCT seleccionados, se factorizan utilizando la SVD. El valor singular correspondiente se utiliza para incrustar la marca de agua (el valor la marca de agua en el píxel considerado en la clave secreta). Cada bloque lleva un bit de la marca de agua. Según el bit de marca de agua, el valor singular aumenta o disminuye. El incremento o decremento del valor singular se determina mediante el factor de ganancia. Se requerirá el valor singular en el procedimiento de extracción para que se guarde en la imagen de referencia. Luego, se realiza la SVD inversa para obtener los coeficientes DCT del LF con marca de agua. Para generar el LF con marca de agua en el dominio espacial, se lleva a cabo la DCT inversa. Este proceso se repite hasta que todos los bits de marca de agua se incrustan en el LF del host. Para extraer la marca de agua incrustada, se necesitan el LF con marca de agua, la imagen de referencia y la clave secreta. La clave secreta utilizada para la extracción de la marca de agua tiene que ser idéntica a la del procedimiento de incrustación, de lo contrario, la extracción de la marca de agua incrustada fallará. Si se introduce la clave secreta correcta en el sistema de extracción, los bloques correspondientes se ordenan a partir de los píxeles del LF marcado. La DCT y la SVD se realizan exactamente de la misma manera que para el procedimiento de inclusión. A continuación, el valor singular se compara con el valor correspondiente de la imagen de referencia. Si el valor singular es mayor que el valor correspondiente de la imagen de referencia, el bit de marca de agua extraído se considera uno; de lo contrario, se asume que es cero. La lógica detrás de este argumento es que si el bit de marca de agua incrustado es cero, entonces el valor singular ha disminuido por el factor de ganancia. Por el contrario, si el bit de marca de agua incrustado es uno, entonces el valor singular se ha incrementado en el factor de ganancia. Por tanto, el bit de marca de agua incrustado se puede extraer comparando el valor singular y el píxel correspondiente de la imagen de referencia. Después de extraer la marca de agua incrustada, los coeficientes DCT del bloque con marca de agua se obtienen mediante la SVD inversa. Antes de aplicar la SVD inversa, el valor singular del bloque con marca de agua se reemplaza con el píxel correspondiente de la imagen de referencia. Posteriormente, se aplica la DCT inversa a los coeficientes DCT para obtener el LF del anfitrión recuperado. Este proceso se repite hasta que se extraen todos los bits de la marca de agua. La transparencia del LF con marca de agua se ha verificado objetiva y subjetivamente. Subjetivamente, el LF con marca de agua y el anfitrión parecían idénticos y no se detectó ninguna diferencia visual entre los dos campos de luz. Para garantizar la transparencia absoluta del LF con marca de agua, las partes de alta frecuencia del LF se han ampliado y no se encontraron diferencias visuales. Desde una perspectiva objetiva, la relación señal pico-ruido PSNR de la imagen con marca de agua fue mucho más que suficiente para permitir la detección de cualquier diferencia por el sistema visual humano (HVS) de acuerdo con los criterios objetivos establecidos en la literatura especializada. A diferencia de la mayoría de los métodos de marca de agua, la tasa de error de bits (BER) sobre la marca de agua recuperada permanece en cero independientemente de la intensidad del marcado y la marca de agua incrustada se puede extraer sin errores. Otra métrica que se utiliza para evaluar el rendimiento del método propuesto de manera objetiva es la similitud estructural media (MSSIM). La premisa básica de la MSSIM es que la percepción por el HVS de la calidad de la imagen se ve muy afectada por la similitud estructural del contenido de la imagen en lugar de los valores absolutos de los píxeles. También incorpora la intensidad media y el contraste de la imagen, que desempeñan un papel clave en la percepción de la calidad de la imagen por parte del HVS. La MSSIM siempre se mantiene por encima del $99 \%$ en los experimentos realizados. La robustez del método propuesto se ha medido frente al ruido gaussiano, la compresión JPEG y el filtrado de mediana. El método propuesto muestra una buena robustez frente a los ataques antes mencionados. Las simulaciones realizadas confirman la absoluta necesidad de utilizar pocos coeficientes DCT. Aunque el LF con marca de agua puede degradarse predominantemente por el ruido, la marca de agua se puede extraer. Como la mayor parte de la energía de la señal se concentra en coeficientes de baja frecuencia de la DCT, proporcionan más robustez frente al ruido gaussiano. Esta hipótesis se confirma completamente con las simulaciones. Las simulaciones también mostraron la importancia absoluta de la explotación de la DCT. La exclusión de la DCT conduce a resultados catastróficos. El método propuesto también exhibe una buena robustez contra el filtrado de mediana y la compresión JPEG, específicamente para el factor de calidad más común de % 100 \% $. Para la justificación de la propuesta del segundo método de marcado, es interesante seguir el siguiente razonamiento. Aunque la DCT se usa ampliamente en la compresión de imágenes/video y marcas de agua, el supuesto subyacente es la independencia de los bloques adyacentes, ya que se comprime cada bloque por separado. Esto provoca artefactos notables, especialmente en velocidades de refresco bajas. Por el contrario, la DWT se aplica globalmente y no introduce artefactos de bloque. Como era de esperar, existe una similitud visual sustancial entre las EI vecinas en las direcciones horizontal, vertical y diagonal. En otras palabras, cada EI tiene una correlación mucho más alta con las EIs vecinas que con las demás. Nos referimos a la correlación de los píxeles de la misma EI como intracorrelación, mientras que la correlación entre las IE se denomina

Entropy in Image Analysis II

Image analysis is a fundamental task for any application where extracting information from images is required. The analysis requires highly sophisticated numerical and analytical methods, particularly for those applications in medicine, security, and other fields where the results of the processing consist of data of vital importance. This fact is evident from all the articles composing the Special Issue "Entropy in Image Analysis II", in which the authors used widely tested methods to verify their results. In the process of reading the present volume, the reader will appreciate the richness of their methods and applications, in particular for medical imaging and image security, and a remarkable cross-fertilization among the proposed research areas

Multimedia Forensics

This book is open access. Media forensics has never been more relevant to societal life. Not only media content represents an ever-increasing share of the data traveling on the net and the preferred communications means for most users, it has also become integral part of most innovative applications in the digital information ecosystem that serves various sectors of society, from the entertainment, to journalism, to politics. Undoubtedly, the advances in deep learning and computational imaging contributed significantly to this outcome. The underlying technologies that drive this trend, however, also pose a profound challenge in establishing trust in what we see, hear, and read, and make media content the preferred target of malicious attacks. In this new threat landscape powered by innovative imaging technologies and sophisticated tools, based on autoencoders and generative adversarial networks, this book fills an important gap. It presents a comprehensive review of state-of-the-art forensics capabilities that relate to media attribution, integrity and authenticity verification, and counter forensics. Its content is developed to provide practitioners, researchers, photo and video enthusiasts, and students a holistic view of the field

Detecting Manipulations in Video

This chapter presents the techniques researched and developed within InVID for the forensic analysis of videos, and the detection and localization of forgeries within User-Generated Videos (UGVs). Following an overview of state-of-the-art video tampering detection techniques, we observed that the bulk of current research is mainly dedicated to frame-based tampering analysis or encoding-based inconsistency characterization. We built upon this existing research, by designing forensics filters aimed to highlight any traces left behind by video tampering, with a focus on identifying disruptions in the temporal aspects of a video. As for many other data analysis domains, deep neural networks show very promising results in tampering detection as well. Thus, following the development of a number of analysis filters aimed to help human users in highlighting inconsistencies in video content, we proceeded to develop a deep learning approach aimed to analyze the outputs of these forensics filters and automatically detect tampered videos. In this chapter, we present our survey of the state of the art with respect to its relevance to the goals of InVID, the forensics filters we developed and their potential role in localizing video forgeries, as well as our deep learning approach for automatic tampering detection. We present experimental results on benchmark and real-world data, and analyze the results. We observe that the proposed method yields promising results compared to the state of the art, especially with respect to the algorithm’s ability to generalize to unknown data taken from the real world. We conclude with the research directions that our work in InVID has opened for the future

Multimedia Forensics

This book is open access. Media forensics has never been more relevant to societal life. Not only media content represents an ever-increasing share of the data traveling on the net and the preferred communications means for most users, it has also become integral part of most innovative applications in the digital information ecosystem that serves various sectors of society, from the entertainment, to journalism, to politics. Undoubtedly, the advances in deep learning and computational imaging contributed significantly to this outcome. The underlying technologies that drive this trend, however, also pose a profound challenge in establishing trust in what we see, hear, and read, and make media content the preferred target of malicious attacks. In this new threat landscape powered by innovative imaging technologies and sophisticated tools, based on autoencoders and generative adversarial networks, this book fills an important gap. It presents a comprehensive review of state-of-the-art forensics capabilities that relate to media attribution, integrity and authenticity verification, and counter forensics. Its content is developed to provide practitioners, researchers, photo and video enthusiasts, and students a holistic view of the field

Image and Video Forensics

Nowadays, images and videos have become the main modalities of information being exchanged in everyday life, and their pervasiveness has led the image forensics community to question their reliability, integrity, confidentiality, and security. Multimedia contents are generated in many different ways through the use of consumer electronics and high-quality digital imaging devices, such as smartphones, digital cameras, tablets, and wearable and IoT devices. The ever-increasing convenience of image acquisition has facilitated instant distribution and sharing of digital images on digital social platforms, determining a great amount of exchange data. Moreover, the pervasiveness of powerful image editing tools has allowed the manipulation of digital images for malicious or criminal ends, up to the creation of synthesized images and videos with the use of deep learning techniques. In response to these threats, the multimedia forensics community has produced major research efforts regarding the identification of the source and the detection of manipulation. In all cases (e.g., forensic investigations, fake news debunking, information warfare, and cyberattacks) where images and videos serve as critical evidence, forensic technologies that help to determine the origin, authenticity, and integrity of multimedia content can become essential tools. This book aims to collect a diverse and complementary set of articles that demonstrate new developments and applications in image and video forensics to tackle new and serious challenges to ensure media authenticity

Privacy and Security Issues in Deep Learning: A Survey

Deep Learning (DL) algorithms based on artificial neural networks have achieved remarkable success and are being extensively applied in a variety of application domains, ranging from image classification, automatic driving, natural language processing to medical diagnosis, credit risk assessment, intrusion detection. However, the privacy and security issues of DL have been revealed that the DL model can be stolen or reverse engineered, sensitive training data can be inferred, even a recognizable face image of the victim can be recovered. Besides, the recent works have found that the DL model is vulnerable to adversarial examples perturbed by imperceptible noised, which can lead the DL model to predict wrongly with high confidence. In this paper, we first briefly introduces the four types of attacks and privacy-preserving techniques in DL. We then review and summarize the attack and defense methods associated with DL privacy and security in recent years. To demonstrate that security threats really exist in the real world, we also reviewed the adversarial attacks under the physical condition. Finally, we discuss current challenges and open problems regarding privacy and security issues in DL