Measures of quality of experience based on the E-model during a VoIP call

Abstract

Orientador: Yuzo IanoTese (doutorado) ¿ Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: A tecnologia de voz sobre protocolo de internet (voz sobre IP) ou simplesmente, VoIP (Voice Over Internet Protocol) ganha novos usuários decorrente do cenário atual de mercado de convergência de redes de dados e telecomunicações. Entretanto, o sucesso desta tecnologia depende fortemente da qualidade do sinal da fala percebida pelo usuário, uma medida subjetiva, também conhecida como Qualidade de Experiência (Quality of Experience - QoE). Esta Tese propõe e valida um mecanismo de observação de variáveis de ambiente durante uma comunicação VoIP tendo como saída um número que representa a QoE não referenciada (sem o sinal transmitido, somente o sinal recebido) ao utilizar o Modelo-E com o propósito de selecionar os melhores parâmetros disponíveis de configuração que afetam o fluxo de voz e ao mesmo tempo obter a melhor qualidade de chamada possível dentro de um determinado cenário de rede. O resultado obtido fez a ligação entre uma medida objetiva, o parâmetro R gerado pelo Modelo-E, e uma medida subjetiva estimada, o MOS (Mean Opinion Score), durante uma chamada VoIP, não se limitando a medida em si. Todavia, cobriu-se todo o cenário para a medição e a comparação com sistemas padrões de medição de qualidade, formando uma base de conhecimento com os resultados obtidos. O método utilizado de estimativa de qualidade da fala foi comparado em diferentes codecs de voz padrão ITU-T (PCMU, GSM, G.723, G.729, G.726-32), testados em uma topologia de rede que sofreu distorções, como diferentes situações de perdas de dados (0,0%, 1,0%, 2,0%, 2,5%, 3,0%, 5,0%, 7,5%, 10,0%). Uma análise de regressão foi utilizada para permitir uma melhor compreensão do impacto das condições de rede e codecs sobre a QoE do serviço VoIP medido. Foi utilizado um suíte de testes padronizados para medição da QoE nos arquivos de voz recebidos e transmitidos durante os testes baseados em testes referenciados (com os sinais transmitidos e recebidos) nos padrões ITU-T P.863 (Perceptual Objective Listening Quality Assessment - POLQA) e ITU-T P.862 (Perceptual Evaluation of Speech Quality - PESQ) e os resultados foram comparados com os obtidos pelo método não referenciado proposto para medida de QoE. Para os resultados do codec testado foi aplicado o método de regressão linear sendo a variável independente as medidas de QoE obtidas pelo método proposto e a variável dependente foram os resultados obtidos pelos algoritmos PESQ e POLQA. Para todos os codecs testados, o Coeficiente de Determinação (R2) entre o método proposto e os resultados obtidos pelo algoritmo PESQ foram superiores a 0,90 indicando uma forte correlação linear. Já entre o método proposto e o algoritmo POLQA, para os codecs PCMU, GSM e G.723, os resultados de R2 foram superiores a 0,973, indicando uma correlação muito forte. R2 para o codec G.726-32 foi de 0,88 indicando uma correlação forte. Já para o codec G.729, R2 ficou em 0,67 indicando que o modelo linear pode não ser o mais adequado para explicar a relação entre os resultados do método proposto e os valores obtidos pelo algoritmo POLQAAbstract: The technology of Voice over Internet Protocol (Voice over IP or simply VoIP) is present in our personal and professional lives. The number of VoIP users increases day after day due to the current scenario of convergence of data and telecommunications networks. However, the success of this technology depends on the speech signal quality as perceived by the user, a subjective measure as function of the user's point of view, also known as the Quality of Experience (QoE). This thesis proposes and validates an environment variable observation mechanism during a VoIP communication having as output a number that represents the QoE not referenced (without the transmitted signal, only the received signal) of the call, using the E-Model, in order to select the best available parameter settings that affect voice flow of the current VoIP call and at the same time gets the best call quality as possible within a given network scenario. The result relates an objective measurement, the R parameter generated by the E-Model, to the estimated subjective measurement, MOS, during a VoIP call, not limited to the measurement itself. However, it covered the whole scenario for measurement and comparison with quality measurement standards systems, forming a knowledge base with the results. The method of speech quality estimation was compared in different standard voice codec's ITU-T (PCMU, GSM, G.723, G.729, G.726-32) tested in a network topology that has suffered distortions, as different situations of data loss (0.0%, 1.0%, 2.0%, 2.5%, 3.0%, 5.0%, 7.5%, 10.0%). A regression analysis was used to allow a better understanding of the impact of network conditions and codec's on the VoIP service QoE measured. In this thesis it was used a suite of standardized tests for measuring QoE in voice files received and transmitted during testing based on referenced tests (with the transmitted and received signals) in the ITU-T P.863 standard (Perceptual Objective Listening Quality Assessment - POLQA) and ITU-T P.862 (Perceptual Evaluation of Speech Quality - PESQ) and the results were compared with those obtained by the no referenced measure method of QoE proposed in this thesis. The linear regression was applied in order to analyze the results of the tested codec. The independent variable was the QoE measurements obtained by the proposed method to measure QoE and the dependent variable were the results of PESQ and POLQA algorithms. For all tested codec's, the Coefficient of Determination (R2) between the proposed method and the results of the PESQ algorithm was higher than 0.90 indicates a strong linear correlation. For PCMU, G.723, GSM codec's R2 was greater than 0.973 indicating a strong correlation between the results of proposed method and the results of POLQA algorithm. R2 for G.726-32 codec was 0.88 that indicates a high correlation. For G.729 codec, R2 was 0.67 that indicates the linear model may not be the most appropriate to explain the relationship between the results of the proposed method and values obtained by POLQA algorithmDoutoradoTelecomunicações e TelemáticaDoutor em Engenharia Elétric

    Similar works