An intuitive control space for material appearance

Many different techniques for measuring material appearance have been proposed in the last few years. These have produced large public datasets, which have been used for accurate, data-driven appearance modeling. However, although these datasets have allowed us to reach an unprecedented level of realism in visual appearance, editing the captured data remains a challenge. In this paper, we present an intuitive control space for predictable editing of captured BRDF data, which allows for artistic creation of plausible novel material appearances, bypassing the difficulty of acquiring novel samples. We first synthesize novel materials, extending the existing MERL dataset up to 400 mathematically valid BRDFs. We then design a large-scale experiment, gathering 56,000 subjective ratings on the high-level perceptual attributes that best describe our extended dataset of materials. Using these ratings, we build and train networks of radial basis functions to act as functionals mapping the perceptual attributes to an underlying PCA-based representation of BRDFs. We show that our functionals are excellent predictors of the perceived attributes of appearance. Our control space enables many applications, including intuitive material editing of a wide range of visual properties, guidance for gamut mapping, analysis of the correlation between perceptual attributes, or novel appearance similarity metrics. Moreover, our methodology can be used to derive functionals applicable to classic analytic BRDF representations. We release our code and dataset publicly, in order to support and encourage further research in this direction

A practical guide and software for analysing pairwise comparison experiments

Most popular strategies to capture subjective judgments from humans involve the construction of a unidimensional relative measurement scale, representing order preferences or judgments about a set of objects or conditions. This information is generally captured by means of direct scoring, either in the form of a Likert or cardinal scale, or by comparative judgments in pairs or sets. In this sense, the use of pairwise comparisons is becoming increasingly popular because of the simplicity of this experimental procedure. However, this strategy requires non-trivial data analysis to aggregate the comparison ranks into a quality scale and analyse the results, in order to take full advantage of the collected data. This paper explains the process of translating pairwise comparison data into a measurement scale, discusses the benefits and limitations of such scaling methods and introduces a publicly available software in Matlab. We improve on existing scaling methods by introducing outlier analysis, providing methods for computing confidence intervals and statistical testing and introducing a prior, which reduces estimation error when the number of observers is low. Most of our examples focus on image quality assessment.Comment: Code available at https://github.com/mantiuk/pwcm

An intuitive control space for material appearance

Many different techniques for measuring material appearance have been proposed in the last few years. These have produced large public datasets, which have been used for accurate, data-driven appearance modeling. However, although these datasets have allowed us to reach an unprecedented level of realism in visual appearance, editing the captured data remains a challenge. In this paper, we present an intuitive control space for predictable editing of captured BRDF data, which allows for artistic creation of plausible novel material appearances, bypassing the difficulty of acquiring novel samples. We first synthesize novel materials, extending the existing MERL dataset up to 400 mathematically valid BRDFs. We then design a large-scale experiment, gathering 56,000 subjective ratings on the high-level perceptual attributes that best describe our extended dataset of materials. Using these ratings, we build and train networks of radial basis functions to act as functionals mapping the perceptual attributes to an underlying PCA-based representation of BRDFs. We show that our functionals are excellent predictors of the perceived attributes of appearance. Our control space enables many applications, including intuitive material editing of a wide range of visual properties, guidance for gamut mapping, analysis of the correlation between perceptual attributes, or novel appearance similarity metrics. Moreover, our methodology can be used to derive functionals applicable to classic analytic BRDF representations. We release our code and dataset publicly, in order to support and encourage further research in this direction

Tactile perception of randomly rough surfaces

Most everyday surfaces are randomly rough and self-similar on sufficiently small scales. We investigated the tactile perception of randomly rough surfaces using 3D-printed samples, where the topographic structure and the statistical properties of scale-dependent roughness were varied independently. We found that the tactile perception of similarity between surfaces was dominated by the statistical micro-scale roughness rather than by their topographic resemblance. Participants were able to notice differences in the Hurst roughness exponent of 0.2, or a difference in surface curvature of 0.8 mm−1 for surfaces with curvatures between 1 and 3 mm−1. In contrast, visual perception of similarity between color-coded images of the surface height was dominated by their topographic resemblance. We conclude that vibration cues from roughness at the length scale of the finger ridge distance distract the participants from including the topography into the judgement of similarity. The interaction between surface asperities and fingertip skin led to higher friction for higher micro-scale roughness. Individual friction data allowed us to construct a psychometric curve which relates similarity decisions to differences in friction. Participants noticed differences in the friction coefficient as small as 0.035 for samples with friction coefficients between 0.34 and 0.45

Tactile perception of randomly rough surfaces

Most everyday surfaces are randomly rough and self-similar on sufficiently small scales. We investigated the tactile perception of randomly rough surfaces using 3D-printed samples, where the topographic structure and the statistical properties of scale-dependent roughness were varied independently. We found that the tactile perception of similarity between surfaces was dominated by the statistical micro-scale roughness rather than by their topographic resemblance. Participants were able to notice differences in the Hurst roughness exponent of 0.2, or a difference in surface curvature of 0.8 mm−1 for surfaces with curvatures between 1 and 3 mm−1. In contrast, visual perception of similarity between color-coded images of the surface height was dominated by their topographic resemblance. We conclude that vibration cues from roughness at the length scale of the finger ridge distance distract the participants from including the topography into the judgement of similarity. The interaction between surface asperities and fingertip skin led to higher friction for higher micro-scale roughness. Individual friction data allowed us to construct a psychometric curve which relates similarity decisions to differences in friction. Participants noticed differences in the friction coefficient as small as 0.035 for samples with friction coefficients between 0.34 and 0.45

Kuvanlaatukokemuksen arvionnin instrumentit

This dissertation describes the instruments available for image quality evaluation, develops new methods for subjective image quality evaluation and provides image and video databases for the assessment and development of image quality assessment (IQA) algorithms. The contributions of the thesis are based on six original publications. The first publication introduced the VQone toolbox for subjective image quality evaluation. It created a platform for free-form experimentation with standardized image quality methods and was the foundation for later studies. The second publication focused on the dilemma of reference in subjective experiments by proposing a new method for image quality evaluation: the absolute category rating with dynamic reference (ACR-DR). The third publication presented a database (CID2013) in which 480 images were evaluated by 188 observers using the ACR-DR method proposed in the prior publication. Providing databases of image files along with their quality ratings is essential in the field of IQA algorithm development. The fourth publication introduced a video database (CVD2014) based on having 210 observers rate 234 video clips. The temporal aspect of the stimuli creates peculiar artifacts and degradations, as well as challenges to experimental design and video quality assessment (VQA) algorithms. When the CID2013 and CVD2014 databases were published, most state-of-the-art I/VQAs had been trained on and tested against databases created by degrading an original image or video with a single distortion at a time. The novel aspect of CID2013 and CVD2014 was that they consisted of multiple concurrent distortions. To facilitate communication and understanding among professionals in various fields of image quality as well as among non-professionals, an attribute lexicon of image quality, the image quality wheel, was presented in the fifth publication of this thesis. Reference wheels and terminology lexicons have a long tradition in sensory evaluation contexts, such as taste experience studies, where they are used to facilitate communication among interested stakeholders; however, such an approach has not been common in visual experience domains, especially in studies on image quality. The sixth publication examined how the free descriptions given by the observers influenced the ratings of the images. Understanding how various elements, such as perceived sharpness and naturalness, affect subjective image quality can help to understand the decision-making processes behind image quality evaluation. Knowing the impact of each preferential attribute can then be used for I/VQA algorithm development; certain I/VQA algorithms already incorporate low-level human visual system (HVS) models in their algorithms.Väitöskirja tarkastelee ja kehittää uusia kuvanlaadun arvioinnin menetelmiä, sekä tarjoaa kuva- ja videotietokantoja kuvanlaadun arviointialgoritmien (IQA) testaamiseen ja kehittämiseen. Se, mikä koetaan kauniina ja miellyttävänä, on psykologisesti kiinnostava kysymys. Työllä on myös merkitystä teollisuuteen kameroiden kuvanlaadun kehittämisessä. Väitöskirja sisältää kuusi julkaisua, joissa tarkastellaan aihetta eri näkökulmista. I. julkaisussa kehitettiin sovellus keräämään ihmisten antamia arvioita esitetyistä kuvista tutkijoiden vapaaseen käyttöön. Se antoi mahdollisuuden testata standardoituja kuvanlaadun arviointiin kehitettyjä menetelmiä ja kehittää niiden pohjalta myös uusia menetelmiä luoden perustan myöhemmille tutkimuksille. II. julkaisussa kehitettiin uusi kuvanlaadun arviointimenetelmä. Menetelmä hyödyntää sarjallista kuvien esitystapaa, jolla muodostettiin henkilöille mielikuva kuvien laatuvaihtelusta ennen varsinaista arviointia. Tämän todettiin vähentävän tulosten hajontaa ja erottelevan pienempiä kuvanlaatueroja. III. julkaisussa kuvaillaan tietokanta, jossa on 188 henkilön 480 kuvasta antamat laatuarviot ja niihin liittyvät kuvatiedostot. Tietokannat ovat arvokas työkalu pyrittäessä kehittämään algoritmeja kuvanlaadun automaattiseen arvosteluun. Niitä tarvitaan mm. opetusmateriaalina tekoälyyn pohjautuvien algoritmien kehityksessä sekä vertailtaessa eri algoritmien suorituskykyä toisiinsa. Mitä paremmin algoritmin tuottama ennuste korreloi ihmisten antamiin laatuarvioihin, sen parempi suorituskyky sillä voidaan sanoa olevan. IV. julkaisussa esitellään tietokanta, jossa on 210 henkilön 234 videoleikkeestä tekemät laatuarviot ja niihin liittyvät videotiedostot. Ajallisen ulottuvuuden vuoksi videoärsykkeiden virheet ovat erilaisia kuin kuvissa, mikä tuo omat haasteensa videoiden laatua arvioiville algoritmeille (VQA). Aikaisempien tietokantojen ärsykkeet on muodostettu esimerkiksi sumentamalla yksittäistä kuvaa asteittain, jolloin ne sisältävät vain yksiulotteisia vääristymiä. Nyt esitetyt tietokannat poikkeavat aikaisemmista ja sisältävät useita samanaikaisia vääristymistä, joiden interaktio kuvanlaadulle voi olla merkittävää. V. julkaisussa esitellään kuvanlaatuympyrä (image quality wheel). Se on kuvanlaadun käsitteiden sanasto, joka on kerätty analysoimalla 146 henkilön tuottamat 39 415 kuvanlaadun sanallista kuvausta. Sanastoilla on pitkät perinteet aistinvaraisen arvioinnin tutkimusperinteessä, mutta niitä ei ole aikaisemmin kehitetty kuvanlaadulle. VI. tutkimuksessa tutkittiin, kuinka arvioitsijoiden antamat käsitteet vaikuttavat kuvien laadun arviointiin. Esimerkiksi kuvien arvioitu terävyys tai luonnollisuus auttaa ymmärtämään laadunarvioinnin taustalla olevia päätöksentekoprosesseja. Tietoa voidaan käyttää esimerkiksi kuvan- ja videonlaadun arviointialgoritmien (I/VQA) kehitystyössä

Prediction and structure of triathlon performance in recreational and elite triathletes

Die Sportart Triathlon kombiniert die drei Ausdauersportarten Schwimmen, Radfahren und Laufen, die nacheinander ohne Pause ausgeführt werden und in eine Gesamtwettkampfzeit münden. Die Olympische Distanz über 1.5 km Schwimmen, 40 km Radfahren und 10 km Laufen stellt die am meisten verbreitete Wettkampfdistanz dar, sowohl im Amateur- als auch im Profi-Bereich. Als Ausdauer determinierte Sportart erfordert Triathlon, wie auch die drei Einzeldisziplinen, spezifische physiologische Anforderungen. Zahlreiche weitere Bereiche wie die Anthropometrie der Athletinnen und Athleten, psychologische Voraussetzungen und vieles mehr können ebenfalls leistungsdeterminierend sein. Es ist davon auszugehen, dass selbst die einzelnen Streckenlängen im Triathlon – neben der Olympischen Distanz existieren noch die kürzere Sprint- sowie die längere Halb- und Langdistanz – jeweils spezifische Charakteristika mit sich bringen, die durch eine angepasste Vorbereitung und Trainingsgestaltung vorbereitet werden können. Die Bestimmung solch leistungsrelevanter Parameter einer Sportart oder einer sportlichen Leistung werden im Bereich der Trainingswissenschaft als Struktur der sportlichen Leistung zusammengefasst und bilden die Grundlage für wissenschaftlich fundierte Aussagen zur Trainingsgestaltung, Talentauswahl und vielem mehr. Eng damit verbunden ist die Prognose sportlicher Leistung, die auf Basis der identifizierten Parameter und deren Quantifizierung mittels einer aktuellen leistungsdiagnostischen Untersuchung eine Prognose der tatsächlichen Wettkampfleistung bspw. in Form einer Gesamtwettkampfzeit ermöglichen kann. Die Verknüpfung dieser beiden Aspekte – die Prognose und die Struktur der sportlichen Leistung in der Sportart Triathlon – bilden den Kern der vorliegenden Dissertation, wobei sowohl Amateur- als auch Profi-Sportler in den Fokus genommen wurden. Die Dissertation umfasst acht Kapitel. Nach einem kurzen Vorwort und einer allgemeinen Einführung in die Thematik (Kapitel 1) liefert Kapitel 2 den theoretischen und methodischen Hintergrund. Insbesondere werden die Besonderheiten, Rahmenbedingungen und Voraussetzungen der Sportart Triathlon, der aktuelle Forschungsstand in den Bereichen der Prognose und Struktur sportlicher Leistung sowie die in dieser Thesis verwendeten methodischen Ansätze näher beleuchtet. Da der Einsatz unterschiedlicher Methoden ein wichtiger Bestandteil dieser Arbeit darstellt wird deren Einsatz in den drei Studien (Kapitel 4 bis 6) ausführlicher vorbereitet: die explorative Faktorenanalyse und der Dominanz-Paar-Vergleich als Verfahren zur Vorselektion leistungsrelevanter Parameter, die multiple lineare Regression und künstliche neuronale Netze zur Prognose der individuellen Gesamtwettkampfzeit sowie die Strukturgleichungsanalyse als Verfahren zur Berechnung eines Strukturgleichungsmodells der sportlichen Leistung im Triathlon. Nach der Ableitung der Fragestellungen und der Darstellung der Ziele der vorliegenden Thesis (Kapitel 3), liefern die Forschungsarbeiten in den drei darauffolgenden Kapiteln Erklärungsansätze hierzu. Die Studie in Kapitel 4 liefert erste Erkenntnisse und weist Leistungsparameter nach, die zur Prognose der individuellen Wettkampfleistung von Amateur-Triathleten über die Sprintdistanz dienen. Hierbei wurden anthropometrische, physiologische und trainingsbezogene Parameter im Rahmen einer Leistungsdiagnostik unter Laborbedingungen unmittelbar vor einem Triathlon Wettkampf erfasst und statistische Zusammenhänge zur erbrachten Wettkampfleistung hergestellt. Drei Modelle zur Prognose der Wettkampfleistung konnten mittels linearer Regression berechnet und dabei leistungsrelevante Parameter identifiziert werden. Das auf dem physiologischen Parameter Blutlaktatkonzentration nach 18 min bei 200 W auf einem Fahrradergometer aufbauende Prognosemodel liefert die höchste Varianzaufklärung (R² = 0.71), gefolgt von den Modellen basierend auf den anthropometrischen Parametern Beinlänge und Armspannweite (R² = 0.67) und dem trainingsbezogenen Parameter Trainingsumfang im Schwimmen (R² = 0.41). Nachgewiesen werden konnte, dass dies selbst bei kleinen Stichproben möglich ist und Hinweise zur Trainingsgestaltung und zur Wettkampfeinteilung liefern kann, insbesondere im Amateur-Bereich jedoch mit einer stark eingeschränkten Generalisierbarkeit verbunden sein dürfte. Eine Herausforderung bei größeren Studien dürfte daher die vergleichbare Erfassung der Gesamtwettkampfzeit als abhängige Variable darstellen. Die Studie in Kapitel 5 untersucht auf Basis der vorangegangenen Erfahrungen die Prognose der Gesamtwettkampfzeit von Profi-Triathleten über die olympische Distanz. Hierbei wurden die routinemäßig durchgeführten leistungsdiagnostischen Untersuchungen von Triathleten, die in der Vorbereitung auf die olympischen Sommerspiele im Jahr 2012 durch das Institut für Angewandte Trainingswissenschaft in Leipzig getestet wurden, analysiert und für die Berechnungen der Prognosemodelle verwendet. Dem hohen Maß an Standardisierung der Testungen mit einer großen Anzahl an erfassten Parametern stand die Notwendigkeit der Normalisierung der Gesamtwettkampfzeiten gegenüber. Dies war notwendig, da die Profi-Triathleten an unterschiedlichen Wettkämpfen teilgenommen hatten, zwar überwiegend über dieselbe Streckenlänge jedoch mit unterschiedlichsten Streckenprofilen, Teilnehmerfeldern, klimatischen Bedingungen, etc. Im Vergleich zur bisherigen Literatur konnten mit zwei unterschiedlichen Ansätzen – multiple Regressionen für lineare und künstliche neuronale Netze für nichtlineare Zusammenhänge zwischen Parametern und Gesamtwettkampfzeit – gute Ergebnisse für Prognosemodelle auf Basis anthropometrischer und physiologischer Parameter erzielt werden. Beide Ansätze lieferten je zwei Prognosemodelle. Die lineare Regression führt zu R² = 0.41 auf Basis anthropometrischer Parameter (prädiktiv: Beckenbreite und Schulterbreite) und zu R² = 0.67 auf Basis physiologischer Parameter (prädiktiv: maximale Atemfrequenz, Laufgeschwindigkeit bei 3-mmol·L-1 Blutlaktatkonzentration und maximale Blutlaktatkonzentration). Basierend auf den jeweils fünf relevantesten Parametern einer Vorselektion führen künstliche neuronale Netze zu R² = 0.43 auf Basis anthropometrischer Parameter und R² = 0.86 auf Basis physiologischer Parameter. Der Vorteil neuronaler Netze gegenüber der linearen Regression liegt dabei in der Möglichkeit nichtlineare Zusammenhänge abzubilden. Im Gegensatz zur durchgeführten Studie mit Amateur-Triathleten stellen die Profi-Triathleten eine sehr homogene Stichprobe dar, die der Grundgesamtheit des deutschen Nationalkaders sehr nahekommt, weshalb die Ergebnisse und insbesondere die identifizierten Leistungsparameter eine höhere Generalisierbarkeit aufweisen, wenn auch für einen sehr kleinen Kreis an Athleten. Insbesondere zur Ableitung von wichtigen Merkmalen für Athletinnen und Athleten in Nachwuchskadern liefern die Ergebnisse wertvolle Hinweise auf potentiell relevante anthropometrische Voraussetzungen sowie auf leistungsrelevante und durch Training beeinflussbare physiologische Parameter. Die dritte Studie (Kapitel 6) nutzt die Ergebnisse der erstellten Prognosemodelle aus Kapitel 5, um trotz des Vorhandenseins einer kleinen Stichprobe ein Strukturmodell der sportlichen Leistung im Triathlon über die olympische Distanz zu entwickeln. Hierbei konnten schlussendlich drei gültige Modelle erstellt werden, die einen ersten wichtigen Schritt zur wissenschaftlich fundierten Aufklärung der Leistungsstruktur im olympischen Triathlon liefern. Insbesondere das Modell, das die Erfahrung von professionellen Trainern in der Vorauswahl an Parametern nutzt, liefert als gut einzustufende Modellparameter, die im Einklang zu den Erkenntnissen der zuvor erstellten Prognosemodelle und des Strukturmodels basierend auf theoretischen Überlegungen und einschlägiger Literatur stehen. Als relevant einzustufende Parameter sind hier sowohl anthropometrische (Körpergewicht, BMI, fettfreie Körpermasse) als auch physiologische (relative maximale Sauerstoffaufnahme, Laufgeschwindigkeit bei 3-mmol/l Blutlaktatkonzentration, maximale Laufgeschwindigkeit in einem spezifischen Mobilisationstest) Kenngrößen zu nennen. Als Limitation ist der Einsatz einer kleinen Stichprobe zu nennen, da dies bei der Berechnung von Strukturmodellen von Nachteil sein kann, bei der Verwendung von Daten von Profi-Athleten jedoch unvermeidbar ist. Die entwickelten Modelle sind aus mathematisch-statistischer Sicht eindeutig bestimmt, müssen jedoch durch weitere Datensätze ergänzt werden, um umfassendere Modelle zu ermöglichen. Kapitel 7 liefert schließlich eine allgemeine Diskussion der Forschungsergebnisse und einen Ausblick auf zukünftige Studien. Die Befunde der drei durchgeführten Studien werden zusammengeführt und mit dem bisherigen Wissensstand abgeglichen, um eine umfassendere Betrachtung leistungsrelevanter Parameter der Sportart Triathlon sowie der eingesetzten methodischen Ansätze der multiplen Regression, künstlicher neuronaler Netze sowie der Strukturanalyse vorzunehmen. Die vorliegende Dissertation liefert im Wesentlichen sowohl in der Fachliteratur bereits als leistungsrelevant identifizierte Parameter aber auch bisher weniger betrachtete jedoch als potentiell relevant einzustufende Leistungsparameter. Als wesentliches Ergebnis der Dissertation muss der Einsatz der angewendeten Methoden im Kontext der trainingswissenschaftlichen Leistungsdiagnostik gesehen werden, da dies bisher wenig verbreitet ist. Wissend um die Einschränkung kleiner Stichproben, welche im Profi-Bereich unvermeidbar sind, werden die möglichen Potentiale für zukünftige Studien deutlich und zeigen somit ein spannendes und bedeutsames zukünftiges Forschungsfeld und Implikationen für sich anschließende Studien auf. Die Dissertation schließt mit einer allgemeinen Zusammenfassung (Kapitel 8) der vorliegenden Arbeit