Learning Visual Attributes

We present a probabilistic generative model of visual attributes, together with an efficient learning algorithm. Attributes are visual qualities of objects, such as ‘red’, ‘striped’, or ‘spotted’. The model sees attributes as patterns of image segments, repeatedly sharing some characteristic properties. These can be any combination of appearance, shape, or the layout of segments within the pattern. Moreover, attributes with general appearance are taken into account, such as the pattern of alternation of any two colors which is characteristic for stripes. To enable learning from unsegmented training images, the model is learnt discriminatively, by optimizing a likelihood ratio. As demonstrated in the experimental evaluation, our model can learn in a weakly supervised setting and encompasses a broad range of attributes. We show that attributes can be learnt starting from a text query to Google image search, and can then be used to recognize the attribute and determine its spatial extent in novel real-world images.

Unsupervised detection and localization of structural textures using projection profiles

Cataloged from PDF version of article.The main goal of existing approaches for structural texture analysis has been the identification of repeating texture primitives and their placement patterns in images containing a single type of texture. We describe a novel unsupervised method for simultaneous detection and localization of multiple structural texture areas along with estimates of their orientations and scales in real images. First, multi-scale isotropic filters are used to enhance the potential texton locations. Then, regularity of the textons is quantified in terms of the periodicity of projection profiles of filter responses within sliding windows at multiple orientations. Next, a regularity index is computed for each pixel as the maximum regularity score together with its orientation and scale. Finally, thresholding of this regularity index produces accurate localization of structural textures in images containing different kinds of textures as well as non-textured areas. Experiments using three different data sets show the effectiveness of the proposed method in complex scenes.(C)2010 Elsevier Ltd. All rights reserved

Constrained random sampling and gap filling technique for near-regular texture synthesis

Projecte realitzat mitjançant programa de mobilitat. TECHNISCHE UNIVERSITÄT BERLIN. FAKULTÄT ELEKTROTECHNIK UND INFORMATIK. INSTITUT FÜR TECHNISCHE INFORMATIK UND MIKROELEKTRONIK COMPUTER VISION AND REMOTE SENSINGThis thesis addresses the synthesis of near-regular textures, i.e. textures that consist of a regular global structure plus subtle yet very characteristic stochastic irregularities, from a small exemplar image. Such textures are difficult to synthesize due to the complementary characteristics of these structures. The main purpose of this thesis is to present a novel method which we call Random Sampling and Gap Filling (RSGF) to synthesize near-regular textures. The synthesis approach is guided by a lattice of the global structure estimated from a generalized normalized autocorrelation of the sample image. This lattice constrains a random sampling process to maintain the global regular structure yet ensuring the characteristic randomness of the irregular structures. An alternative method to find the piece of texture within the input sample whose simple tiling presents less visible seams is also presented for illustration of quality enhancement purposes. Results presented in this work show that our method does not only produce convincing results for regular or near-regular textures but also for irregular textures

Unsupervised detection and localization of structural textures using projection profiles

The main goal of existing approaches for structural texture analysis has been the identification of repeating texture primitives and their placement patterns in images containing a single type of texture. We describe a novel unsupervised method for simultaneous detection and localization of multiple structural texture areas along with estimates of their orientations and scales in real images. First, multi-scale isotropic filters are used to enhance the potential texton locations. Then, regularity of the textons is quantified in terms of the periodicity of projection profiles of filter responses within sliding windows at multiple orientations. Next, a regularity index is computed for each pixel as the maximum regularity score together with its orientation and scale. Finally, thresholding of this regularity index produces accurate localization of structural textures in images containing different kinds of textures as well as non-textured areas. Experiments using three different data sets show the effectiveness of the proposed method in complex scenes. © 2010 Elsevier Ltd. All rights reserved

Texton finding and lattice creation for near-regular texture

A regular texture is formed from a regular congruent tiling of perceptually meaningful texture elements, also known as textons. If the tiling statistically deviates from regularity, either by texton structure, colour, or size, the texture is called near-regular. If we continue to perturb the tiling, the texture becomes stochastic. The set of possible textures that lie between regular and stochastic make up the texture spectrum: regular, near-regular, regular, near-stochastic, and stochastic. In this thesis we provide a solution to the problem of creating, from a near-regular texture, a lattice which defines the placement of textons. We divide the problem into two distinct sub-areas: finding textons within an image, and lattice creation using both an ad-hoc method and a graph-theoretic method. The problem of finding textons within an image is addressed using correlation. A texton selected by the user is correlated with the image and points of high correlation are extracted using non-maximal suppression. To extend this framework to irregular textures, we present early results on the use of feature space during correlation. We also present a method of correcting for a specific type of error in the texton finding result using frequency-space analysis. Given texton locations, we provide two methods of creating a lattice. The ad-hoc method is able to create a lattice in spite of inconsistencies in the texton locating data. However, as texture becomes irregular the ad-hoc lattice construction method fails to correctly connect textons. To overcome this failure we adapt methods of creating proximity graphs, which join two textons whose neighbourhoods satisfy certain criteria, to our problem. The proximity graphs are parameterized for selection of the most appropriate graph choice for a given texture, solving the general lattice construction problem given correct texton locations. In the output of the algorithm, centres of textons will be connected by edges in the lattice following the structure of texton placement within the input image. More precisely, for a texture T, we create a graph G = (V,E) dependent on T, where V is a set of texton centres, and E ={(v_i, v_j)} is a set of edges, where v_i, v_j are in V. Each edge e in E connects texton centre v in V to its most perceptually sensible neighbours

Stereoscopic viewing, roughness and gloss perception

This thesis presents a novel investigation into the effect stereoscopic vision has upon the strength of perceived gloss on rough surfaces. We demonstrate that in certain cases disparity is necessary for accurate judgements of gloss strength. We first detail the process we used to create a two-level taxonomy of property terms, which helped to inform the early direction of this work, before presenting the eleven words which we found categorised the property space. This shaped careful examination of the relevant literature, leading us to conclude that most studies into roughness, gloss, and stereoscopic vision have been performed with unrealistic surfaces and physically inaccurate lighting models. To improve on the stimuli used in these earlier studies, advanced offline rendering techniques were employed to create images of complex, naturalistic, and realistically glossy 1/fβ noise surfaces. These images were rendered using multi-bounce path tracing to account for interreflections and soft shadows, with a reflectance model which observed all common light phenomena. Using these images in a series of psychophysical experiments, we first show that random phase spectra can alter the strength of perceived gloss. These results are presented alongside pairs of the surfaces tested which have similar levels of perceptual gloss. These surface pairs are then used to conclude that naïve observers consistently underestimate how glossy a surface is without the correct surface and highlight disparity, but only on the rougher surfaces presented

Haftkräfte, Alterung und Überwachung funktionaler Oberflächen – Gärtücher im Gebrauch

Die vorliegende Arbeit ist im Bereich technologischer Oberflächen angesiedelt. Der Fokus liegt dabei auf den mechanischen Oberflächeneigenschaften, also Maßen wie der sehr grob vereinfachenden Rauheit, ihren Einflüssen auf Haftkräfte und Reinigbarkeit sowie den Auswirkungen von Alterung. In einem zweiten Themenkomplex wird eine automatisierte Bildanalyse zur Überwachung und Schmutzerkennung auf gewebten Tüchern entwickelt. Die gesamte Arbeit bewegt sich vor dem Hintergrund der Bäckerei und ihren spezifischen Anforderungen bei der Herstellung von Brötchen, weist in der Anwendbarkeit der Erkenntnisse jedoch breiter in die allgemeinere Verwendung gewebter Textilien in der Verfahrenstechnik, insbesondere auch in der Fest-Flüssig-Filtration. In der Bäckerei werden Brötchenteiglinge vor dem Backen auf textilen Gärtüchern gehen gelassen. Die Herausforderung liegt darin, dass der Teig nicht auf den verwendeten Oberflächen festkleben darf, sondern sich beim Abkippen schnell und zuverlässig löst. Jegliche Rückstände, ob Teigreste oder als Trennmittel eingesetztes partikuläres Mehl, neigen zum schnellen Verderb in der feucht-warmen Atmosphäre beim Gehenlassen und dienen unter anderem Schimmel als Nährboden. Aus hygienischen Gründen ist es deshalb unausweichlich, die Tücher regelmäßig zu reinigen, was mit Aufwand verbunden ist. In einem ersten Arbeitsabschnitt untersucht diese Arbeit die grundsätzlichen Einflussparameter auf die Haftphänomene im Anwendungsbereich. Die Oberflächencharakterisierung erfolgte mittels konfokalem Laser-Raster-Mikroskop und der Auswertung der Oberflächenkartierungen gemäß der ISO 25178-2. Bei der Anhaftung von Mehlpartikeln an massiven Oberflächen stellte sich eine erhöhte Rauheit als lindernd heraus. Dies ist ein Ergebnis, dass sich mit der partikulären Hafttheorie durchaus in Einklang bringen lässt, allerdings mit der hygienegerechten Gestaltung geschlossener Anlagen für nasse Prozessmedien in einen Zielkonflikt tritt. An Gärtüchern zeigte sich der Rückhalt von Mehlpartikeln als von den Profiltälern dominiert. Sowohl ihre Tiefe als auch ihr Flächenanteil korrelierten mit der Zentrifugalbeschleunigung, die zum Entfernen der Mehlpartikel notwendig war. Es wird von Arbeiten berichtet, bei denen das Haftverhalten von Weizenteigen beeinflusst wurde. Dort wurde allerdings der Teig verändert und damit zwangsläufig auch das spätere Bäckereierzeugnis. Einzig die Oberflächen von Apparaten und ihrer Komponenten werden im Rahmen dieser Arbeit zur Diskussion gestellt und zur zukünftigen Optimierung untersucht, um Verbesserungen und Nachrüstungen auch durch niedrige Investitionskosten attraktiv zu gestalten. Einen wesentlichen Einfluss auf das Haftverhalten hat die Kontaktdauer, während der sich das komplexe Fließ- und Relaxationsverhalten des Weizenteigs verdeutlicht. Der Kontakt über 10 Minuten kann hier als lang betrachtet werden; bei ihm treten die mechanischen Oberflächeneigenschaften in den Hintergrund. Auf unterschiedlich geschmirgeltem Edelstahlblech hing die Teighaftung dann nur noch vom Alter des Teiges ab. Auf Gärtüchern zeigte sich ein Einfluss des chemischen Materials (ob Baumwolle oder Polyester). Einzig bei stark texturierten Förderbändern (Waffel- und Rippenstruktur in Millimetergröße) behielt die mechanische Gestalt auch bei langem Kontakt ihren mildernden Einfluss auf die Ablösespannung. Bei kurzer Kontaktdauer von einer Minute ließ sich die Haftspannung des Teiges auf den Gärtüchern mit deren Profilspitzen korrelieren. Ein großer Spitzenanteil nimmt die Last des Teiges im oberen Bereich des Oberflächenprofils der Tücher auf und verhindert so die innigere Verbindung mit weiteren Oberflächenanteilen. Die Höhe der Spitzen (insbesondere die extreme Spitzenhöhe gemäß der ISO 25178-2) erlaubt dem Teig sich während seiner Relaxation zu deformieren ohne zusätzliche Kontaktfläche mit tieferen Profilanteilen auszubilden. In diesem Zusammenhang spielt ganz sicher die Haarigkeit der Tücher eine entscheidende Rolle: Vom Tuch abstehende Primärfasern des Garnes halten einerseits den Teig vom innigeren Kontakt mit dem übrigen Tuch auf Abstand, andererseits stellen sie mit ihrer Länge eine Strecke dar, über die sich die Haftarbeit bei der Ablösung des Teiges verteilt. Mit der Arbeit als dem Integral von Kraft und Weg kann die Ablösekraft des Teiges durch längere Haare und dadurch einen längeren Weg signifikant verringert werden. In einem weiteren Schritt wurden drei ausgewählte Gärtücher gealtert: durch praktischen Gebrauch, durch Abbürsten und durchWaschen. Das Baumwolltuch zeigte ein nachteiliges Alterungsverhalten bei Wäsche und Gebrauch; das Waschen hatte auf alle drei Tücher technologisch nur negative Auswirkungen. Das Bürsten verbesserte die Parameter der Profilspitzen, steigerte die erkennbare Haarigkeit sehr deutlich und senkte die Teighaftung. Im Fazit ließen sich die Optimierung der Tücher hinsichtlich des Mehlrückhaltes, also minimierte Profiltäler, und der Teigablösung, also maximierte Profilspitzen, konfliktfrei kombinieren. Für den praktischen Einsatz konnte das Bürsten als Zwischenreinigung und zur gleichzeitigen Verbesserung der Tuchoberfläche vorgeschlagen werden, um die Zyklen zur hygienisch erforderlichen Wäsche zu maximieren. Die Bildauswertung im zweiten Themenkomplex dieser Arbeit setzte sich zum Ziel, Verschmutzungen auf gewebten Tüchern zu erkennen. Dabei sollte von etablierten Methoden abgewichen und die Möglichkeit geschaffen werden, Kontaminationen ohne Farb- oder Helligkeitsunterschied zu berücksichtigen. Das Auswertekonzept aus Periodizitätserkennung, Schwellenwert- und Ausreißerbestimmung funktioniert ohne Eingreifen eines Anwenders und ohne Vorwissen über Tuch oder mögliche Verschmutzung. Die Funktion einer ersten Implementierung auf einem Arbeitsplatzrechner wurde anhand von Filtertüchern in einer fortschreitenden Reinigung demonstriert und kann in Echtzeit betrieben werden. Die bildanalytische Überwachung bietet erstmals die Möglichkeit, in einer Filtertuchreinigung den tatsächlichen Verschmutzungsgrad auf dem Tuch selbst zu bestimmen. Dies erlaubt, die Intensität der Reinigung durch einen geschlossenen Regelkreis anzupassen. Außerdem erübrigt sich jede Modellierung der Kontamination und der Reinigung, da der tatsächliche Zustand automatisiert greifbar wird. In diesem Sinne können somit auch Gärtücher überwacht und entsprechend ihres aktuellen Bedarfs gereinigt werden. Dadurch sollte ihre Hygiene sichergestellt und gleichzeitig ihre mechanische Lebensdauer maximiert werden. Ein Großteil dieser Arbeit entstand während und in einer Kooperation mit dem Lehrstuhl für Brau- und Getränketechnologie der TU München, wo eine zweite Promotionsarbeit das Forschungsfeld komplementiert