No-Reference Video Quality Assessment Model for Distortion Caused by Packet Loss in the Real-Time Mobile Video Services

Packet loss will make severe errors due to the corruption of related video data. For most video streams, because the predictive coding structures are employed, the transmission errors in one frame will not only cause decoding failure of itself at the receiver side, but also propagate to its subsequent frames along the motion prediction path, which will bring a significant degradation of end-to-end video quality. To quantify the effects of packet loss on video quality, a no-reference objective quality assessment model is presented in this paper. Considering the fact that the degradation of video quality significantly relies on the video content, the temporal complexity is estimated to reflect the varying characteristic of video content, using the macroblocks with different motion activities in each frame. Then, the quality of the frame affected by the reference frame loss, by error propagation, or by both of them is evaluated, respectively. Utilizing a two-level temporal pooling scheme, the video quality is finally obtained. Extensive experimental results show that the video quality estimated by the proposed method matches well with the subjective quality

Videosekvenssin pituuden ja vääristymän sijainnin vaikutus havaittuun laatuun

Previous video quality studies have found that quality at the end of video sequence has higher impact in overall video quality assessment than quality of other parts of sequence. These studies have although only concerned specific video lengths. The aim of this thesis was to study how video sequence length affects in overall video quality assessment when the distorted frames are at the beginning, in the middle or at the end of sequence. The videos, shooted for this study, made it possible to compare different video sequence lengths, because the video content did not change during the sequence and because the sequences were long enough. The results showed that relative distortion length have an effect on how strongly the sequence end is weighted in assessment. The sequence length (l0s, 20s or 40s) did not have an effect on this. If the distortion length was half of sequence length, distortions at the end of sequence have degrading effect in assessment. If the distortion length was quarter or eighth of sequence length, the distortion position did not have an effect on perceived video quality. The results show that accuracy of video quality assessment algorithms can be improved if video frames are weighted by weighting function. Based on this research, the function has to be made in relation to relative distortion length and its position. It was discussed that distortion intensity needs possibly also to be taken into account in weighting function formation. The video database, created for this study, consists of produced videos and subjective assessment data. The video database is free to use and it can be utilized for further research.Aikaisemmissa videon laatututkimuksissa on saatu selville, että videosekvenssin loppupään laatu vaikuttaa videon muita osia enemmän kokonaislaatuarvioon. Nämä tutkimukset ovat kuitenkin koskeneet pääosin vain tietyn pituisia videoita. Työn tavoitteena oli selvittää, miten videosekvenssin pituus vaikuttaa kokonaislaatuarvioon, kun vääristymä on sijoitettu videosekvenssin alkuun, keskelle tai loppuun. Tutkimusta varten kuvattiin videoita, jotka mahdollistivat eripituisien videosekvenssien vertailun, koska videokontenttien sisältö ei vaihdellut merkittävästi sekvenssin aikana ja koska sekvenssit olivat tarpeeksi pitkiä. Tulosten perusteella vääristyneen osuuden suhteellinen pituus videosekvenssissä vaikutti siihen, miten voimakkaasti sekvenssin loppupäätä painotettiin arviossa. Videon pituudella (l0s, 20s tai 40s) ei tulosten perustella ollut vaikutusta tähän. Jos vääristymän pituus oli puolet videosekvenssin pituudesta, sekvenssin lopussa sijainneella vääristymällä oli alentava vaikutus laatuarvioihin. Jos vääristymän pituus oli neljäsosa tai kahdeksasosa sekvenssin pituudesta, vääristymän sijainti ei vaikuttanut havaittuun videon laatuun. Tutkimuksen tulos osoittaa, että videon laatua mittaavien algoritmien suorituskykyä voidaan parantaa, jos videokuvia painotetaan eri suhteessa. Tutkimuksen perusteella painottava funktio on laadittava suhteessa vääristymän suhteelliseen pituuteen ja sen sijaintiin. Työssä pohdittiin, että mahdollisesti vääristymän voimakkuus on myös otettava huomioon funktion laadinnassa. Tutkimuksessa luotiin videopankki, joka sisältää tutkimuksessa tuotetut videot sekä subjektiivisen laatuarviodatan. Videopankki on vapaasti käytettävissä, ja sitä voi hyödyntää jatkotutkimuksissa

Kuvanlaatukokemuksen arvionnin instrumentit

This dissertation describes the instruments available for image quality evaluation, develops new methods for subjective image quality evaluation and provides image and video databases for the assessment and development of image quality assessment (IQA) algorithms. The contributions of the thesis are based on six original publications. The first publication introduced the VQone toolbox for subjective image quality evaluation. It created a platform for free-form experimentation with standardized image quality methods and was the foundation for later studies. The second publication focused on the dilemma of reference in subjective experiments by proposing a new method for image quality evaluation: the absolute category rating with dynamic reference (ACR-DR). The third publication presented a database (CID2013) in which 480 images were evaluated by 188 observers using the ACR-DR method proposed in the prior publication. Providing databases of image files along with their quality ratings is essential in the field of IQA algorithm development. The fourth publication introduced a video database (CVD2014) based on having 210 observers rate 234 video clips. The temporal aspect of the stimuli creates peculiar artifacts and degradations, as well as challenges to experimental design and video quality assessment (VQA) algorithms. When the CID2013 and CVD2014 databases were published, most state-of-the-art I/VQAs had been trained on and tested against databases created by degrading an original image or video with a single distortion at a time. The novel aspect of CID2013 and CVD2014 was that they consisted of multiple concurrent distortions. To facilitate communication and understanding among professionals in various fields of image quality as well as among non-professionals, an attribute lexicon of image quality, the image quality wheel, was presented in the fifth publication of this thesis. Reference wheels and terminology lexicons have a long tradition in sensory evaluation contexts, such as taste experience studies, where they are used to facilitate communication among interested stakeholders; however, such an approach has not been common in visual experience domains, especially in studies on image quality. The sixth publication examined how the free descriptions given by the observers influenced the ratings of the images. Understanding how various elements, such as perceived sharpness and naturalness, affect subjective image quality can help to understand the decision-making processes behind image quality evaluation. Knowing the impact of each preferential attribute can then be used for I/VQA algorithm development; certain I/VQA algorithms already incorporate low-level human visual system (HVS) models in their algorithms.Väitöskirja tarkastelee ja kehittää uusia kuvanlaadun arvioinnin menetelmiä, sekä tarjoaa kuva- ja videotietokantoja kuvanlaadun arviointialgoritmien (IQA) testaamiseen ja kehittämiseen. Se, mikä koetaan kauniina ja miellyttävänä, on psykologisesti kiinnostava kysymys. Työllä on myös merkitystä teollisuuteen kameroiden kuvanlaadun kehittämisessä. Väitöskirja sisältää kuusi julkaisua, joissa tarkastellaan aihetta eri näkökulmista. I. julkaisussa kehitettiin sovellus keräämään ihmisten antamia arvioita esitetyistä kuvista tutkijoiden vapaaseen käyttöön. Se antoi mahdollisuuden testata standardoituja kuvanlaadun arviointiin kehitettyjä menetelmiä ja kehittää niiden pohjalta myös uusia menetelmiä luoden perustan myöhemmille tutkimuksille. II. julkaisussa kehitettiin uusi kuvanlaadun arviointimenetelmä. Menetelmä hyödyntää sarjallista kuvien esitystapaa, jolla muodostettiin henkilöille mielikuva kuvien laatuvaihtelusta ennen varsinaista arviointia. Tämän todettiin vähentävän tulosten hajontaa ja erottelevan pienempiä kuvanlaatueroja. III. julkaisussa kuvaillaan tietokanta, jossa on 188 henkilön 480 kuvasta antamat laatuarviot ja niihin liittyvät kuvatiedostot. Tietokannat ovat arvokas työkalu pyrittäessä kehittämään algoritmeja kuvanlaadun automaattiseen arvosteluun. Niitä tarvitaan mm. opetusmateriaalina tekoälyyn pohjautuvien algoritmien kehityksessä sekä vertailtaessa eri algoritmien suorituskykyä toisiinsa. Mitä paremmin algoritmin tuottama ennuste korreloi ihmisten antamiin laatuarvioihin, sen parempi suorituskyky sillä voidaan sanoa olevan. IV. julkaisussa esitellään tietokanta, jossa on 210 henkilön 234 videoleikkeestä tekemät laatuarviot ja niihin liittyvät videotiedostot. Ajallisen ulottuvuuden vuoksi videoärsykkeiden virheet ovat erilaisia kuin kuvissa, mikä tuo omat haasteensa videoiden laatua arvioiville algoritmeille (VQA). Aikaisempien tietokantojen ärsykkeet on muodostettu esimerkiksi sumentamalla yksittäistä kuvaa asteittain, jolloin ne sisältävät vain yksiulotteisia vääristymiä. Nyt esitetyt tietokannat poikkeavat aikaisemmista ja sisältävät useita samanaikaisia vääristymistä, joiden interaktio kuvanlaadulle voi olla merkittävää. V. julkaisussa esitellään kuvanlaatuympyrä (image quality wheel). Se on kuvanlaadun käsitteiden sanasto, joka on kerätty analysoimalla 146 henkilön tuottamat 39 415 kuvanlaadun sanallista kuvausta. Sanastoilla on pitkät perinteet aistinvaraisen arvioinnin tutkimusperinteessä, mutta niitä ei ole aikaisemmin kehitetty kuvanlaadulle. VI. tutkimuksessa tutkittiin, kuinka arvioitsijoiden antamat käsitteet vaikuttavat kuvien laadun arviointiin. Esimerkiksi kuvien arvioitu terävyys tai luonnollisuus auttaa ymmärtämään laadunarvioinnin taustalla olevia päätöksentekoprosesseja. Tietoa voidaan käyttää esimerkiksi kuvan- ja videonlaadun arviointialgoritmien (I/VQA) kehitystyössä