Image and Video Forensics

Nowadays, images and videos have become the main modalities of information being exchanged in everyday life, and their pervasiveness has led the image forensics community to question their reliability, integrity, confidentiality, and security. Multimedia contents are generated in many different ways through the use of consumer electronics and high-quality digital imaging devices, such as smartphones, digital cameras, tablets, and wearable and IoT devices. The ever-increasing convenience of image acquisition has facilitated instant distribution and sharing of digital images on digital social platforms, determining a great amount of exchange data. Moreover, the pervasiveness of powerful image editing tools has allowed the manipulation of digital images for malicious or criminal ends, up to the creation of synthesized images and videos with the use of deep learning techniques. In response to these threats, the multimedia forensics community has produced major research efforts regarding the identification of the source and the detection of manipulation. In all cases (e.g., forensic investigations, fake news debunking, information warfare, and cyberattacks) where images and videos serve as critical evidence, forensic technologies that help to determine the origin, authenticity, and integrity of multimedia content can become essential tools. This book aims to collect a diverse and complementary set of articles that demonstrate new developments and applications in image and video forensics to tackle new and serious challenges to ensure media authenticity

Multimedia Forensics

This book is open access. Media forensics has never been more relevant to societal life. Not only media content represents an ever-increasing share of the data traveling on the net and the preferred communications means for most users, it has also become integral part of most innovative applications in the digital information ecosystem that serves various sectors of society, from the entertainment, to journalism, to politics. Undoubtedly, the advances in deep learning and computational imaging contributed significantly to this outcome. The underlying technologies that drive this trend, however, also pose a profound challenge in establishing trust in what we see, hear, and read, and make media content the preferred target of malicious attacks. In this new threat landscape powered by innovative imaging technologies and sophisticated tools, based on autoencoders and generative adversarial networks, this book fills an important gap. It presents a comprehensive review of state-of-the-art forensics capabilities that relate to media attribution, integrity and authenticity verification, and counter forensics. Its content is developed to provide practitioners, researchers, photo and video enthusiasts, and students a holistic view of the field

Multimedia Forensics

This book is open access. Media forensics has never been more relevant to societal life. Not only media content represents an ever-increasing share of the data traveling on the net and the preferred communications means for most users, it has also become integral part of most innovative applications in the digital information ecosystem that serves various sectors of society, from the entertainment, to journalism, to politics. Undoubtedly, the advances in deep learning and computational imaging contributed significantly to this outcome. The underlying technologies that drive this trend, however, also pose a profound challenge in establishing trust in what we see, hear, and read, and make media content the preferred target of malicious attacks. In this new threat landscape powered by innovative imaging technologies and sophisticated tools, based on autoencoders and generative adversarial networks, this book fills an important gap. It presents a comprehensive review of state-of-the-art forensics capabilities that relate to media attribution, integrity and authenticity verification, and counter forensics. Its content is developed to provide practitioners, researchers, photo and video enthusiasts, and students a holistic view of the field

Design and Development of Imaging Platforms for Phenotypic Characterization of Early Zebrafish

Der Zebrabärbling hat sich in den letzten Jahrzehnten als ein beliebter und vielversprechender Modellorganismus herausgestellt. Mit seiner Hilfe werden zunehmend die grundlegenden biologischen Funktionsweisen von Wirbeltieren untersucht und anhand der Erkenntnisse neue Therapien und Medikamente für Krankheiten entwickelt. Zusätzlich hat sich die Verhaltensforschung als Gebiet mit hohem Potential für neue Entdeckungen entpuppt, da es hier möglich ist, deutlich feinere Unterscheidungen und Effekte nachzuvollziehen als es bei stark abgegrenzten Endpunkten wie Verformungen oder Toxizität der Fall ist. Im frühen Stadium bis fünf Tage nach Befruchtung zeigen die Embryonen und Larven des Zebrabärblings einige charakteristische Verhaltensweisen, die durch künstliche Stimulation hervorgerufen werden können. Noch in der Eischale bei einem Alter von nur 30 bis 42 Stunden nach der Befruchtung reagieren die Embryonen auf einen Lichtblitz mit erhöhter Bewegung, der sogenannten Photomotor Response. Bei wiederholtem Belichten bleibt diese Reaktion aus, was als ein typisches Verhaltensmuster interpretiert werden kann. Werden die Embryonen jedoch Chemikalien oder Mutationen ausgesetzt, kann sich dieses Muster verändern und es können Rückschlüsse über die Funktionsweise der verursachenden Methoden gewonnen werden. Als zusätzliche Verhaltensweisen lassen sich die beiden Schreckreaktionen auf Vibration und Berührung nutzen. Bereits in der Eischale lassen sich die Embryonen durch Berührung zum Bewegen bringen. Sobald sie in einem Alter von ca. drei Tagen nach Befruchtung geschlüpft sind, wird die Reaktion als C-Krümmung bezeichnet, da die Larve eine charakteristische Biegung entlang ihrer Körperachse einnimmt bevor sie davonschwimmt. Dasselbe gilt für die Vibrationsreaktion ab einem Alter von ca. fünf Tagen nach Befruchtung. Um diese Verhalten sinnvoll nutzen zu können sind automatisierte Lösungen notwendig, die die Vorbereitung, die Abläufe und die Analyse soweit vereinfachen, dass kaum noch menschliches Eingreifen notwendig ist. Nur so kann der notwendige Durchsatz und die Reproduzierbarkeit gewährleistet werden um statistisch aussagekräftige Effekte nachzuweisen. Aus diesem Grund wurden drei unabhängige mechatronische Systeme entwickelt, die je eines der drei genannten Verhaltensmuster automatisiert auslösen, aufzeichnen und analysieren können. Dazu waren neben der Hard- und Softwareentwicklung auch biologische Vorgehensweisen notwendig um die Systeme zu validieren und sie bereits in ersten biologischen Untersuchungen einzusetzen. Für das PMR System wurde ein hochautomatisierter Versuchsablauf entwickelt, der anhand eines Roboters die Embryonen zur Vorbereitung sortiert und anschließend in einem automatisierten Mikroskop mit vollständig eigenentwickelter Steuerungssoftware die Aufzeichnung der Reaktion gewährleistet. Anschließend können die Rohdaten in Form von Videos automatisiert analysiert werden um numerische Daten aus den Bildreihen zu extrahieren. Das Vibrationssystem umfasst einen neuentwickelten Vibrationserreger in Form eines modifizierten Lautsprechers, der es erlaubt, mehrere Proben parallel zu untersuchen. Dazu wurde der Erreger ausgiebig charakterisiert um zu gewährleisten, dass die erzielten Beschleunigungswerte sowie die Impulsdauer und Frequenz den angestrebten Werten von 14 g, 1 ms und 500 Hz entsprechen. Durch den Einsatz von Beschleunigungssensoren wurden die Erreger kalibriert und die Steuerungssoftware an die Ergebnisse so angepasst, dass ein einheitlicher Effekt zwischen den Erregern gewährleistet ist. Die Implementierung einer Hochgeschwindigkeitskamera erlaubt die Aufzeichnung der Reaktion bei bis zu 1000 Bildern pro Sekunde, was aufgrund der äußerst schnellen Reaktionszeit der Larven im Millisekundenbereich notwendig ist um den vollen Umfang der Reaktion abzubilden. Um Hochdurchsatzversuche zur Berührung der Larven zu ermöglichen, wurde das erste automatisierte System entwickelt, welches durch den Einsatz einer motorisiert positionierbaren Nadel einen computergesteuerten Berührungsvorgang ermöglicht. Ein berührungsempfindliches Mehrachsensystem wurde so konstruiert, dass der Nutzer über eine grafische Oberfläche das System fernsteuern kann und so die subjektiven und unnötig langwierigen Aspekte von manuellen Versuchsaufbauten umgangen werden können. Das System wurde mit einer digitalen Objekterkennung so erweitert, dass auch autonome Versuche möglich wurden. Die Systeme wurden im Rahmen von mehreren biologischen Untersuchungen am ITG ausgiebig getestet. Mit Hilfe des PMR Systems wurde eine mehrere hundert Proben umfassende Sammlung von Cannabinoid-ähnlichen Substanzen auf ihre neuroaktive Wirkung untersucht. So konnten charakteristische Reaktionsmuster identifiziert werden, die nun dabei helfen können, das Verständnis über die Struktur- und Wirkungszusammenhänge zu erhöhen. An den beiden Schreckreaktionen konnte die unterschiedliche Wirkung von Anästhetika auf Phänokopien von genetisch veränderten Zebrabärblingen nachgewiesen werden, was die Einsatzfähigkeit für chemische sowie genetische Versuche substantiiert

Electrokinetic Transport, Trapping, and Sensing in Integrated Micro- and Nanofluidic Devices

Thesis (Ph.D.) - Indiana University, Chemistry, 2009Microfluidics is rapidly becoming a mature field, and improved fabrication methods now routinely produce sub-micrometer features. As device dimensions shrink, physical phenomena that are negligible at larger length scales become more important, and by integrating nanofluidic elements with microchannels, new analytical techniques can be developed based on the unique behavior of matter at the nanoscale. This work addresses the fabrication, operation, and application of in-plane nanochannels and out-of-plane nanopores in lab-on-a-chip devices. In planar nanofluidic devices, we demonstrate a method to produce micro- and nanoscale features simultaneously with a single UV exposure step and evaluate flow control and sample dispensing with nanofluidic cross structures. Modification of the pinched injection method makes it applicable to variable-volume, attoliter-scale injections, including the smallest volume electrokinetically-controlled injections to date. As an alternative approach, track-etch nanopore membranes are explored as out-of-plane nanofluidic components. The random distribution of pores in these membranes is overcome by lithographic and microchannel-based methods to isolate and address specific pores. Microfluidic isolation improves mass transport to the pore(s), provides easy coupling of electrical potentials, and facilitates additional sample processing steps up- and downstream. These integrated microchannel-nanopore devices are used for diffusion-based dispensing, electrokinetic trapping, and resistive pulse sensing. In a high pore density device, diffusion-based dispensing establishes a stable chemical gradient for bacterial chemotaxis assays. For lower pore density devices, the nanopores are the most resistive components in the fluidic circuit, and application of an electric potential produces localized regions of high electric field strength and field gradient. These high field regions are applied to electrokinetic trapping of particles and cells in multiple-pore devices and to single particle detection by resistive pulse sensing in devices with a single isolated pore. To better understand factors influencing ion current in single nanoscale conduits, we systematically examine ion current rectification as a function of pore diameter, ionic strength, and pH to improve understanding of ion current through nanopores and to characterize preferred operating parameters for sensing applications. These results are applied to detection of virus capsids, and future work is proposed to investigate capsid assembly

An object-based approach to retrieval of image and video content

Promising new directions have been opened up for content-based visual retrieval in recent years. Object-based retrieval which allows users to manipulate video objects as part of their searching and browsing interaction, is one of these. It is the purpose of this thesis to constitute itself as a part of a larger stream of research that investigates visual objects as a possible approach to advancing the use of semantics in content-based visual retrieval. The notion of using objects in video retrieval has been seen as desirable for some years, but only very recently has technology started to allow even very basic object-location functions on video. The main hurdles to greater use of objects in video retrieval are the overhead of object segmentation on large amounts of video and the issue of whether objects can actually be used efficiently for multimedia retrieval. Despite this, there are already some examples of work which supports retrieval based on video objects. This thesis investigates an object-based approach to content-based visual retrieval. The main research contributions of this work are a study of shot boundary detection on compressed domain video where a fast detection approach is proposed and evaluated, and a study on the use of objects in interactive image retrieval. An object-based retrieval framework is developed in order to investigate object-based retrieval on a corpus of natural image and video. This framework contains the entire processing chain required to analyse, index and interactively retrieve images and video via object-to-object matching. The experimental results indicate that object-based searching consistently outperforms image-based search using low-level features. This result goes some way towards validating the approach of allowing users to select objects as a basis for searching video archives when the information need dictates it as appropriate

Monitoring Fatigue Cracks in Steel Bridges using Advanced Structural Health Monitoring Technologies

Fatigue cracks that develop in steel highway bridges under repetitive traffic loads are one of the major mechanisms that degrades structural integrity. If bridges are not appropriately inspected and maintained, fatigue cracks can eventually lead to catastrophic failures, in particular for fracture-critical bridges. Despite various levels of success of crack monitoring methods over the past decades in the fields of structural health monitoring (SHM) and non-destructive evaluation (NDE), monitoring fatigue cracks in steel bridges is still challenging due to the complex structural joint layout and unpredictable crack propagation paths. In this dissertation, advanced SHM technologies are proposed for detecting and monitoring fatigue cracks in steel bridges. These technologies are categorized as: 1) a large-area strain sensing technology based on the soft elastomeric capacitor (SEC) sensor; and 2) non-contact vision-based fatigue crack detection approaches. In SEC-based fatigue crack sensing, the research focuses are placed on numerical prediction of the SEC’s response under fatigue cracking and experimental validations of sensing algorithms for monitoring fatigue cracks over long-term. In vision-based fatigue crack detection approaches, two novel sensing methodologies are established through feature tracking and image overlapping, respectively. Laboratory test results verified that the proposed approaches can robustly identify the true fatigue crack from many non-crack edges. Overall, the proposed advanced SHM technologies show great promise for fatigue crack damage detection of steel bridges in laboratory configurations, hence form the basis for long-term fatigue sensing solutions in field applications