A Comprehensive Review on Digital Image Watermarking

The advent of the Internet led to the easy availability of digital data like images, audio, and video. Easy access to multimedia gives rise to the issues such as content authentication, security, copyright protection, and ownership identification. Here, we discuss the concept of digital image watermarking with a focus on the technique used in image watermark embedding and extraction of the watermark. The detailed classification along with the basic characteristics, namely visual imperceptibility, robustness, capacity, security of digital watermarking is also presented in this work. Further, we have also discussed the recent application areas of digital watermarking such as healthcare, remote education, electronic voting systems, and the military. The robustness is evaluated by examining the effect of image processing attacks on the signed content and the watermark recoverability. The authors believe that the comprehensive survey presented in this paper will help the new researchers to gather knowledge in this domain. Further, the comparative analysis can enkindle ideas to improve upon the already mentioned techniques

Symmetry-Adapted Machine Learning for Information Security

Symmetry-adapted machine learning has shown encouraging ability to mitigate the security risks in information and communication technology (ICT) systems. It is a subset of artificial intelligence (AI) that relies on the principles of processing future events by learning past events or historical data. The autonomous nature of symmetry-adapted machine learning supports effective data processing and analysis for security detection in ICT systems without the interference of human authorities. Many industries are developing machine-learning-adapted solutions to support security for smart hardware, distributed computing, and the cloud. In our Special Issue book, we focus on the deployment of symmetry-adapted machine learning for information security in various application areas. This security approach can support effective methods to handle the dynamic nature of security attacks by extraction and analysis of data to identify hidden patterns of data. The main topics of this Issue include malware classification, an intrusion detection system, image watermarking, color image watermarking, battlefield target aggregation behavior recognition model, IP camera, Internet of Things (IoT) security, service function chain, indoor positioning system, and crypto-analysis

Robust light field watermarking with high spatial and angular fidelity

El término ocultación de información se refiere típicamente a la inserción secreta de datos en una señal anfitriona. La señal anfitriona puede ser una imagen, un archivo de audio, un video,... Las técnicas de ocultación de información se dividen generalmente en marca de agua digital, esteganografía y criptografía. Si la propia existencia del mensaje secreto incrustado debe permanecer en secreto, entonces el método de ocultación de información se conoce como esteganografía. Por el contrario, en la marca de agua digital, el usuario es consciente de la existencia del mensaje secreto. A diferencia de la esteganografía y la marca de agua, existe otra categoría de ocultación de información que cifra el mensaje secreto sin insertarlo en una señal anfitriona. Estos métodos se conocen como criptografía en la literatura técnica especializada. Los métodos de ocultación de información se han utilizado durante milenios. A modo de ejemplo, es conocido que Heródoto (485-525 a.c.) ya cita que Histiaeus, el gobernante de Mileto por designación del rey de reyes persa Darío El Grande estaba conspirando para derrocar el imperio persa. Sin embargo, nunca quiso levantar ninguna sospecha entre los que eran leales al rey de reyes ni perder la confianza que el rey Darío había depositado en él. Por ello, para instigar la revuelta Histiaeus afeitó la cabeza de uno de sus esclavos y tatuó un mensaje secreto sobre su cuero cabelludo. Tras dejar crecer el pelo del sirviente, éste viajó sin despertar sospechas hasta el destinatario del mensaje. En la era reciente, la esteganografía se usa ampliamente para la comunicación encubierta. En la esteganografía, la señal anfitriona se usa simplemente para transmitir un mensaje secreto importante. La señal anfitriona no importa por sí misma, pero es de suma importancia no llamar la atención de los expertos en seguridad. La señal anfitriona generalmente se elige entre los medios típicos que no causan sospechas. Es por eso que el mensaje transmitido no está encriptado en esteganografía. En otras palabras, un mensaje cifrado hace sonar inmediatamente las alarmas, pero es menos probable que un mensaje sin cifrar llame la atención. Como ejemplo, se cuenta que en 1966, el comandante en jefe estadounidense Jeremiah Denton se vio obligado a participar en una entrevista televisiva que se transmitió en Estados Unidos. Fingiendo sentirse incómodo con las luces cegadoras de la televisión, parpadeó en código Morse deletreando la palabra "T-O-R-T-U-R-E". Al igual que la marca de agua, el rápido crecimiento de la comunicación por Internet ha proporcionado un medio perfecto para que los sistemas de esteganografía transmitan los datos ocultos sin causar sospechas graves. A diferencia de la esteganografía, los métodos de marca de agua digitales pueden no tener ningún deseo de ocultar la existencia del mensaje incrustado. La marca de agua se define como la inserción imperceptible del mensaje secreto en la señal anfitriona. Esto es exactamente lo contrario de lo que ocurre en la esteganografía, en la que la señal anfitriona no tiene importancia real y se usa simplemente como cobertura. La marca de agua digital se usa ampliamente para la protección de derechos de autor, autenticación, detección/corrección de errores, comunicación encubierta y monitoreo de transmisiones. Se espera que cada plataforma de marca de agua: • Incruste tanta información como sea posible. El envío de información secreta es el principal motivo de explotación de las técnicas de marca de agua. Esto es especialmente importante en la comunicación encubierta. • Genere una marca de agua lo más imperceptible posible sobre la señal anfitriona. La diferencia detectable entre la propia anfitriona y la anfitriona tras el marcado anula el propósito de la marca de agua. • Sea lo más robusto posible contra ataques sobre la señal anfitriona. En el contexto de las marcas de agua, el ataque se refiere a cualquier alteración intencionada o no de los valores de la señal marcada. Obviamente, la realización perfecta de estas tres características sigue siendo un desafío y, dependiendo de la aplicación, se puede priorizar una o dos de estas características. El rápido crecimiento de la demanda de marcas de agua puede contribuir razonablemente a la creciente preocupación por la protección de los derechos de autor en las últimas décadas. A pesar de las enormes oportunidades que ofrece Internet para compartir la información a gran escala, la duplicación ilegal, la manipulación y el intercambio de información ha aumentado sin descanso. Esto impone serias preocupaciones a los autores y editores que dedican mucho tiempo y esfuerzo a la creación de contenidos. El rápido desarrollo de los métodos de marca de agua fue una respuesta prevista a la implacable tendencia al alza de la piratería. La marca de agua ha desempeñado un papel activo en la protección de los derechos de autor, la detección de manipulaciones, la autenticación y la comunicación encubierta. El número de artículos de investigación publicados sobre marcas de agua muestra la importancia absoluta de las marcas de agua en nuestra era. Otra categoría de ocultación de información es la criptografía, que se define básicamente como un método para proteger la información y las comunicaciones mediante el uso de códigos, de modo que solo los lectores autorizados pueden decodificar y leer el mensaje. Así, en criptografía el mensaje secreto se implementa sin usar señal de cobertura. La mayoría de los sistemas criptográficos utilizan conceptos matemáticos y un conjunto de cálculos basados en reglas. El contenido se cifra y se proporciona una clave de descifrado solo a los receptores autorizados. El contenido cifrado se transmite a través de Internet, pero los receptores no autorizados difícilmente pueden descifrar el contenido codificado. A diferencia de la marca de agua, el cifrado no tiene ningún control sobre la redistribución del contenido descifrado por parte del usuario autorizado. Puede ser que un cliente compre una clave de descifrado válida y, después del descifrado, redistribuya el contenido de forma masiva. Por lo tanto, la criptografía puede proteger el contenido antes del descifrado, pero una vez descifrado, el contenido no tiene más protección. Cabe mencionar que los sistemas de cifrado cifran el mensaje secreto y la existencia del mensaje secreto es clara. Por el contrario, los sistemas esteganográficos están optimizados específicamente para ocultar la existencia del mensaje secreto. Dependiendo de la aplicación, los sistemas de marca de agua pueden ocultar la existencia de la marca de agua o en algunos casos hacer pública la existencia de la marca de agua. Como el ámbito de esta tesis pertenece a la marca de agua, la esteganografía y la criptografía no se tratan más a fondo. Además, centraremos el contenido en el uso de señales anfitrionas tipo imagen. Según el dominio en el que se realiza la marca de agua, los métodos de marca de agua se dividen en métodos de dominio espacial y métodos de dominio de transformación. Los métodos de dominio espacial alteran los valores de los píxeles en el dominio espacial y, en comparación con el dominio de transformación, normalmente implican una complejidad computacional mucho menor. Por el contrario, el dominio de transformación primero convierte los píxeles de la imagen en el dominio de transformación. Los píxeles transformados a menudo se denominan coeficientes en la literatura. Aparentemente, dicha transformación puede ser costosa desde el punto de vista computacional, pero el compromiso es que la robustez suele ser mayor que la de los métodos de dominio espacial. Normalmente, se aplica una transformación directa en la imagen y, después de la inserción de la marca de agua, se aplica una transformación inversa para recuperar la imagen con marca de agua en el dominio espacial. Algunas transformaciones comunes en la literatura de marcas de agua son (pero no se limitan a) la transformada de coseno discreta (DCT), transformada de ondícula (wavelet) discreta (DWT), Contourlet, Curvelet, Ridgelet, análisis de componentes principales (PCA), transformada de Karhunen-Loeve (KLT) y descomposición en valor singulares (SVD). Algunos otros métodos utilizan tanto el dominio espacial como el dominio de transformación para implementar la marca de agua. Estos enfoques a menudo se denominan métodos híbridos en la bibliografía. Si no se requiere información previa de la imagen anfitriona para la extracción de la marca de agua, entonces el método de marca de agua se conoce como ciego; de lo contrario, se denomina no ciego. Si se utiliza alguna información secundaria (no la imagen anfitriona) para la extracción de la marca de agua, el método de marca de agua se denomina semi-ciego. Si la imagen anfitriona se puede recuperar después de la extracción de la marca de agua, el método se denomina de marcado reversible; de lo contrario, se conoce como método de marca de agua irreversible. En los últimos años, el campo luminoso (lightfield, LF) se ha utilizado cada vez más para la representación de imágenes 3D. Básicamente, el LF es una función vectorial que describe la cantidad de luz que fluye en todas direcciones a través de cada punto del espacio. Michael Faraday fue el primero en proponer (en una conferencia de 1846 titulada "Pensamientos sobre las vibraciones de los rayos") que la luz debería interpretarse como un campo, muy parecido a los campos magnéticos en los que había estado trabajando durante varios años. La denominación “campo luminoso” fue acuñada por Andrey Gershun en un artículo clásico de 1936 sobre las propiedades radiométricas de la luz en el espacio tridimensional. Desde un punto de vista óptico-geométrico, todo lo que percibimos visualmente, está iluminado por los rayos provenientes de fuentes de luz que se propagan a través del espacio hasta llegar a nuestro ojo. Básicamente, el LF describe la intensidad de cada rayo de luz en la escena en función del ángulo visual, la longitud de onda, el tiempo y la posición de visualización. Así, registra todo lo que potencialmente puede ser visto por un dispositivo óptico omnidireccional que es (supuestamente) capaz de capturar cada rayo del espacio. Levoy y Hanrahan definieron el LF como la función que describe la totalidad de los rayos de luz que atraviesan un volumen 3D dado. En otras palabras, el LF puede entenderse como la descripción de un conjunto denso de rayos de luz, cada uno de los cuales se origina en el vértice de un cono. Cada punto de un volumen 3D se considera como el vértice de un cono que transmite un número infinito de rayos con diferentes inclinaciones. Así, aparte del tiempo y la longitud de onda, el LF se representa típicamente usando cinco parámetros: posición del punto considerado (3 coordenadas espaciales) y dirección del rayo (2 ángulos directores). En realidad, la invariancia en propagación de los rayos (de acuerdo con la Óptica Geométrica), permite reducir su dimensional a 4D. Convencionalmente, a los valores obtenidos para un punto fijo del espacio en función de las 2 coordenadas angulares se le denomina imagen elemental (EI). Si (idealmente) se proporciona el LF de una escena, entonces es posible reconstruir la misma escena 3D sin pérdida de información. En la práctica, lo que realmente se captura en el mundo real es una submuestra del LF, no el conjunto completo de todos los rayos de la escena. Los dispositivos usados en esta captura se denominan de modo genérico cámaras LF. La principal diferencia entre una cámara LF y una convencional es que la primera captura los rayos individuales que inciden en un punto determinado del sensor de captura, mientras que la segunda registra la suma de todos los rayos que inciden en un punto específico del sensor. Esto facilita la reconstrucción 3D precisa de la escena recuperando los rayos individuales. El LF se puede adquirir de varias formas. En la configuración multicámara, se usa una matriz de cámaras 2D. En este caso, las dimensiones espaciales del LF están determinadas por las características intrínsecas de las cámaras, mientras que las dimensiones angulares están determinadas por el número y la disposición de las cámaras. Las cámaras pueden estar distribuidas en superficie plana, circular, rectangular o esférica. Esta configuración suele ser costosa y voluminosa. Además, la calibración de las cámaras puede llevar bastante tiempo. Otra alternativa es capturar el LF deslizando una sola cámara horizontal y verticalmente. A diferencia del sistema multicámara, la configuración de una sola cámara es mucho más barata y puede grabar el LF con mayor densidad. Sin embargo, la adquisición de LF por una sola cámara lleva mucho más tiempo que la de varias cámaras, lo que prácticamente hace que sea imposible grabar escenas dinámicas. Las cámaras LF estáticas también se pueden utilizar para capturar el LF. En ellas se emplea un único sensor estático y alguna distribución espacial de lentes (típicamente, una matriz de microlentes) para muestrear el LF. A pesar de los numerosos métodos propuestos para la marca de agua sobre el LF, ninguno de ellos está adaptado para proteger la enorme cantidad de información angular incorporada en el LF. Se trata en todos los casos de aplicar los algoritmos ya desarrollados sobre imágenes 2D al LF con sus 4 dimensiones. El principal objetivo de esta tesis es lograr métodos de marca de agua LF maximizando la protección de la información espacial y angular al mismo tiempo. Según el conocimiento del autor, hay muy pocos trabajos que aborden los métodos de marca de agua personalizados para LF. Algunos artículos también han discutido la marca de agua de objetos 3D y el video de visualización libre, que, aunque con similitudes, es bastante diferente de la marca de agua sobre el LF. Cualquier método propuesto para la marca de agua del LF deberá tener sumo cuidado de no arruinar ni la información espacial ni angular del LF. A través de esta tesis se han propuesto dos métodos de marca de agua. El primer método propuesto se basa en la DCT y la SVD, y trata de aprovechar el hecho de que los datos de LF generalmente tienen una correlación muy alta en las dimensiones espaciales y espectrales. Se supone que cualquier transformada como la DCT compacta la información en unos pocos coeficientes al proporcionar una descorrelación máxima. La transformada DCT es una aproximación de la KLT que descorrelaciona perfectamente los coeficientes. A diferencia de la base de funciones de la KLT, que dependen de la señal de entrada, las funciones base de la DCT están fijadas. Aunque la descorrelación de la DCT puede ser ligeramente menor que la de KLT y la descorrelación alcanzada es marginalmente menor, su costo computacional es menor debido a la eliminación del tedioso cálculo de las funciones básicas de la KLT. Además, en comparación con otras transformadas como la transformada de Fourier, los coeficientes transformados no tienen parte imaginaria y, por lo tanto, requieren menos datos para procesar. El hecho de que la DCT compacta la energía de la señal en pocos coeficientes lo hace muy interesante para la compresión y la marca de agua. En este primer método propuesto, se parte del LF anfitrión y de una clave secreta como entrada. Según la clave secreta, para cada píxel de la marca de agua se seleccionan bloques de píxeles del LF original, a los que se aplica la DCT. Los coeficientes de los bloques transformados se ordenan en zigzag y se eligen los primeros coeficientes para incrustar la marca de agua. La razón de no incrustar la marca de agua en todos los coeficientes DCT es aumentar la robustez del método propuesto. Es bien sabido en la literatura que los coeficientes de baja frecuencia mejoran la robustez del método de marca de agua y los coeficientes de alta frecuencia son extremadamente propensos al ruido y otros ataques. Después de elegir los coeficientes DCT seleccionados, se factorizan utilizando la SVD. El valor singular correspondiente se utiliza para incrustar la marca de agua (el valor la marca de agua en el píxel considerado en la clave secreta). Cada bloque lleva un bit de la marca de agua. Según el bit de marca de agua, el valor singular aumenta o disminuye. El incremento o decremento del valor singular se determina mediante el factor de ganancia. Se requerirá el valor singular en el procedimiento de extracción para que se guarde en la imagen de referencia. Luego, se realiza la SVD inversa para obtener los coeficientes DCT del LF con marca de agua. Para generar el LF con marca de agua en el dominio espacial, se lleva a cabo la DCT inversa. Este proceso se repite hasta que todos los bits de marca de agua se incrustan en el LF del host. Para extraer la marca de agua incrustada, se necesitan el LF con marca de agua, la imagen de referencia y la clave secreta. La clave secreta utilizada para la extracción de la marca de agua tiene que ser idéntica a la del procedimiento de incrustación, de lo contrario, la extracción de la marca de agua incrustada fallará. Si se introduce la clave secreta correcta en el sistema de extracción, los bloques correspondientes se ordenan a partir de los píxeles del LF marcado. La DCT y la SVD se realizan exactamente de la misma manera que para el procedimiento de inclusión. A continuación, el valor singular se compara con el valor correspondiente de la imagen de referencia. Si el valor singular es mayor que el valor correspondiente de la imagen de referencia, el bit de marca de agua extraído se considera uno; de lo contrario, se asume que es cero. La lógica detrás de este argumento es que si el bit de marca de agua incrustado es cero, entonces el valor singular ha disminuido por el factor de ganancia. Por el contrario, si el bit de marca de agua incrustado es uno, entonces el valor singular se ha incrementado en el factor de ganancia. Por tanto, el bit de marca de agua incrustado se puede extraer comparando el valor singular y el píxel correspondiente de la imagen de referencia. Después de extraer la marca de agua incrustada, los coeficientes DCT del bloque con marca de agua se obtienen mediante la SVD inversa. Antes de aplicar la SVD inversa, el valor singular del bloque con marca de agua se reemplaza con el píxel correspondiente de la imagen de referencia. Posteriormente, se aplica la DCT inversa a los coeficientes DCT para obtener el LF del anfitrión recuperado. Este proceso se repite hasta que se extraen todos los bits de la marca de agua. La transparencia del LF con marca de agua se ha verificado objetiva y subjetivamente. Subjetivamente, el LF con marca de agua y el anfitrión parecían idénticos y no se detectó ninguna diferencia visual entre los dos campos de luz. Para garantizar la transparencia absoluta del LF con marca de agua, las partes de alta frecuencia del LF se han ampliado y no se encontraron diferencias visuales. Desde una perspectiva objetiva, la relación señal pico-ruido PSNR de la imagen con marca de agua fue mucho más que suficiente para permitir la detección de cualquier diferencia por el sistema visual humano (HVS) de acuerdo con los criterios objetivos establecidos en la literatura especializada. A diferencia de la mayoría de los métodos de marca de agua, la tasa de error de bits (BER) sobre la marca de agua recuperada permanece en cero independientemente de la intensidad del marcado y la marca de agua incrustada se puede extraer sin errores. Otra métrica que se utiliza para evaluar el rendimiento del método propuesto de manera objetiva es la similitud estructural media (MSSIM). La premisa básica de la MSSIM es que la percepción por el HVS de la calidad de la imagen se ve muy afectada por la similitud estructural del contenido de la imagen en lugar de los valores absolutos de los píxeles. También incorpora la intensidad media y el contraste de la imagen, que desempeñan un papel clave en la percepción de la calidad de la imagen por parte del HVS. La MSSIM siempre se mantiene por encima del $99 \%$ en los experimentos realizados. La robustez del método propuesto se ha medido frente al ruido gaussiano, la compresión JPEG y el filtrado de mediana. El método propuesto muestra una buena robustez frente a los ataques antes mencionados. Las simulaciones realizadas confirman la absoluta necesidad de utilizar pocos coeficientes DCT. Aunque el LF con marca de agua puede degradarse predominantemente por el ruido, la marca de agua se puede extraer. Como la mayor parte de la energía de la señal se concentra en coeficientes de baja frecuencia de la DCT, proporcionan más robustez frente al ruido gaussiano. Esta hipótesis se confirma completamente con las simulaciones. Las simulaciones también mostraron la importancia absoluta de la explotación de la DCT. La exclusión de la DCT conduce a resultados catastróficos. El método propuesto también exhibe una buena robustez contra el filtrado de mediana y la compresión JPEG, específicamente para el factor de calidad más común de % 100 \% $. Para la justificación de la propuesta del segundo método de marcado, es interesante seguir el siguiente razonamiento. Aunque la DCT se usa ampliamente en la compresión de imágenes/video y marcas de agua, el supuesto subyacente es la independencia de los bloques adyacentes, ya que se comprime cada bloque por separado. Esto provoca artefactos notables, especialmente en velocidades de refresco bajas. Por el contrario, la DWT se aplica globalmente y no introduce artefactos de bloque. Como era de esperar, existe una similitud visual sustancial entre las EI vecinas en las direcciones horizontal, vertical y diagonal. En otras palabras, cada EI tiene una correlación mucho más alta con las EIs vecinas que con las demás. Nos referimos a la correlación de los píxeles de la misma EI como intracorrelación, mientras que la correlación entre las IE se denomina

Source Separation in the Presence of Side-information

The source separation problem involves the separation of unknown signals from their mixture. This problem is relevant in a wide range of applications from audio signal processing, communication, biomedical signal processing and art investigation to name a few. There is a vast literature on this problem which is based on either making strong assumption on the source signals or availability of additional data. This thesis proposes new algorithms for source separation with side information where one observes the linear superposition of two source signals plus two additional signals that are correlated with the mixed ones. The first algorithm is based on two ingredients: first, we learn a Gaussian mixture model (GMM) for the joint distribution of a source signal and the corresponding correlated side information signal; second, we separate the signals using standard computationally efficient conditional mean estimators. This also puts forth new recovery guarantees for this source separation algorithm. In particular, under the assumption that the signals can be perfectly described by a GMM model, we characterize necessary and sufficient conditions for reliable source separation in the asymptotic regime of low-noise as a function of the geometry of the underlying signals and their interaction. It is shown that if the subspaces spanned by the innovation components of the source signals with respect to the side information signals have zero intersection, provided that we observe a certain number of linear measurements from the mixture, then we can reliably separate the sources; otherwise we cannot. The second algorithms is based on deep learning where we introduce a novel self-supervised algorithm for the source separation problem. Source separation is intrinsically unsupervised and the lack of training data makes it a difficult task for artificial intelligence to solve. The proposed framework takes advantage of the available data and delivers near perfect separation results in real data scenarios. Our proposed frameworks – which provide new ways to incorporate side information to aid the solution of the source separation problem – are also employed in a real-world art investigation application involving the separation of mixtures of X-Ray images. The simulation results showcase the superiority of our algorithm against other state-of-the-art algorithms

Entropy in Dynamic Systems

In order to measure and quantify the complex behavior of real-world systems, either novel mathematical approaches or modifications of classical ones are required to precisely predict, monitor, and control complicated chaotic and stochastic processes. Though the term of entropy comes from Greek and emphasizes its analogy to energy, today, it has wandered to different branches of pure and applied sciences and is understood in a rather rough way, with emphasis placed on the transition from regular to chaotic states, stochastic and deterministic disorder, and uniform and non-uniform distribution or decay of diversity. This collection of papers addresses the notion of entropy in a very broad sense. The presented manuscripts follow from different branches of mathematical/physical sciences, natural/social sciences, and engineering-oriented sciences with emphasis placed on the complexity of dynamical systems. Topics like timing chaos and spatiotemporal chaos, bifurcation, synchronization and anti-synchronization, stability, lumped mass and continuous mechanical systems modeling, novel nonlinear phenomena, and resonances are discussed

On Improving Generalization of CNN-Based Image Classification with Delineation Maps Using the CORF Push-Pull Inhibition Operator

Deployed image classification pipelines are typically dependent on the images captured in real-world environments. This means that images might be affected by different sources of perturbations (e.g. sensor noise in low-light environments). The main challenge arises by the fact that image quality directly impacts the reliability and consistency of classification tasks. This challenge has, hence, attracted wide interest within the computer vision communities. We propose a transformation step that attempts to enhance the generalization ability of CNN models in the presence of unseen noise in the test set. Concretely, the delineation maps of given images are determined using the CORF push-pull inhibition operator. Such an operation transforms an input image into a space that is more robust to noise before being processed by a CNN. We evaluated our approach on the Fashion MNIST data set with an AlexNet model. It turned out that the proposed CORF-augmented pipeline achieved comparable results on noise-free images to those of a conventional AlexNet classification model without CORF delineation maps, but it consistently achieved significantly superior performance on test images perturbed with different levels of Gaussian and uniform noise

INFERENCE-BASED FORENSICS FOR EXTRACTING INFORMATION FROM DIVERSE SOURCES

Digital forensics is tasked with the examination and extraction of evidence from a diverse set of devices and information sources. While digital forensics has long been synonymous with file recovery, this label no longer adequately describes the science’s role in modern investigations. Spurred by evolving technologies and online crime, law enforcement is shifting the focus of digital forensics from its traditional role in the final stages of an investigation to assisting investigators in the earliest phases — often before a suspect has been identified and a warrant served. Investigators need new forensic techniques to investigate online crimes, such as child pornography trafficking on peer-to-peer networks (p2p), and to extract evidence from new information sources, such as mobile phones. The traditional approach of developing tools tailored specifically to each source is no longer tenable given the diversity, volume of storage, and introduction rate of new devices and network applications. Instead, we propose the adoption of flexible, inference-based techniques to extract evidence from any format. Such techniques can be readily applied to a wide variety of different evidence sources without requiring significant manual work on the investigator’s part. The primary contribution of my dissertation is a set of novel forensic techniques for extracting information from diverse data sources. We frame the evaluation using two different, but increasingly important, forensic scenarios: mobile phone triage and network-based investigations. Via probabilistic descriptions of typical data structures, and using a classic dynamic programming algorithm, our phone triage techniques are able to identify user information in phones across varied models and manufacturers. We also show how to incorporate feedback from the investigator to improve the usability of extracted information. For network-based investigations, we quantify and characterize the extent of contraband trafficking on peer-to-peer networks. We suggest various techniques for prioritizing law enforcement’s limited resources. We finally investigate techniques that use system logs to generate and then analyze a finite state model of a protocol’s implementation. The objective is to infer behavior that an investigator can leverage to further law enforcement objectives. We evaluate all of our techniques using the real-world legal constraints and restrictions of investigators