En esta comunicación describimos el sistema de síntesis de voz presentado a la competición Albayzin 2008. Es un sistema que
sigue un esquema clásico de concatenación de unidades basado en corpus. Cabe destacar que los costes de selección se han ajustado mediante un método basado en algoritmos genéticos y que no se ha utilizado ningún sistema de predicción prosódica.
Se construyeron dos sistemas preliminares que diferían en el algoritmo de generación de forma de onda escogiendo el que se
presenta a la competición mediante un test perceptual.Peer ReviewedPostprint (published version

Adell Mercado, Jordi

Formiga Fanals, Lluís

Iriondo Sanz, Ignasi

Monzo, Carlos

Socoró Carrié, Joan Claudi

Álías, Francesc

UPCommons. Portal del coneixement obert de la UPC

ADAPTACIÓN DEL CTH-URL PARA LA COMPETICIÓN ALBAYZIN 2008Carlos Monzo, Lluís Formiga, Jordi Adell, Ignasi Iriondo, Francesc Alías y Joan Claudi SocoróGPMM - Grup de Recerca en Processament MultimodalEnginyeria i Arquitectura La Salle - Universitat Ramon LlullC/ Quatre Camins 2, 08022 Barcelona, SpainRESUMENEn esta comunicación describimos el sistema de síntesis de vozpresentado a la competición Albayzin 2008. Es un sistema quesigue un esquema clásico de concatenación de unidades basadoen corpus. Cabe destacar que los costes de selección se hanajustado mediante un método basado en algoritmos genéticos yque no se ha utilizado ningún sistema de predicción prosódica.Se construyeron dos sistemas preliminares que diferían en el al-goritmo de generación de forma de onda escogiendo el que sepresenta a la competición mediante un test perceptual.1. INTRODUCCIÓNLa investigación sobre síntesis de voz en la Escola Tècnica Su-perior d’Enginyeria Electrònica i Informàtica La Salle se inicióen los ochenta con trabajos sobre síntesis articulatoria y por for-mantes [1, 2, 3].Más tarde se optó por la síntesis concatenativa basada en di-fonemas. Se implementó un sintetizador en catalán basado enla técnica TD-PSOLA [4, 5], que ha sido la base para los sis-temas desarrollados posteriormente hasta la actualidad. Desdeentonces se ha mejorado la selección de textos a ser usadosdurante el proceso de grabación, la creación de reglas para latranscripción fonética (especialmente para castellano), la seg-mentación de las unidades y el marcado de pitch. Por otrolado, se han realizado investigaciones en el campo del mode-lado prosódico[6], ajuste de pesos para la función de selección[7, 8] y nuevas parametrizaciones basadas en cualidad de la voz[9].La investigación del grupo los últimos años se ha basado endisminuir el coste de producción, segmentación y puesta a puntode los corpus de voz desarrollando nuevas herramientas de eti-quetado automático. Dichas técnicas de rápida puesta a puntohan sido desarrolladas dentro del proyecto europeo SALERO(Semantic AudiovisuaL Entertainment Reusable Objects). Di-cho proyecto trata de conseguir un flujo producción para juegos,películas y televisión en diferentes medios de manera rápida,cualitativa y económica mediante la combinación de gráficospor ordenador, tecnologías de lenguaje y síntesis, tecnologíasde web semántica así como búsqueda y recuperación basada encontenido.El sistema presentado en esta evaluación está compuesto portres módulos: el de transcripción fonética, selección de unidadesy generación de forma de onda. La transcripción fonética serealiza mediante reglas. La selección de unidades se lleva acabo mediante un algoritmo de programación dinámica y la gen-eración de forma de onda mediante concatenación y modifi-cación (en algunos casos) de la señal. La versión presentadaen esta competición prescinde excepcionalmente del módulo deEste trabajo ha sido subvencionado parcialmente por el proyectoSALERO (IST FP6-027122) de la Comisión Europea.estimación prosódica [6] y considera la prosodia inherente en elcorpus de voz de las unidades seleccionadas parcialmente sigu-iendo lo descrito en [10]. De esta forma el algoritmo de selec-ción debe asegurar que la prosodia generada sea natural. Paraello debe ser capaz de escoger las unidades de forma que unelevado porcentaje sean seleccionadas consecutivamente, lo queconlleva aprovechar la variabilidad prosódica implícita en el cor-pus.En las secciones 2, 4 y 5 se describen los módulos del sis-tema de síntesis. Además, en la sección 3 se explica el tratamientodel corpus para la generación del inventario de unidades y en lasección 6 el procedimiento seguido para selección del sistemadefinitivo.2. TRANSCRIPCIÓN FONÉTICAEl phone-set utilizado en nuestro sintetizador deriva de SAMPA[11]. El módulo de transcripción fonética consiste en un motorde reglas [12]. Las reglas actúan sobre una estructura de datos,que consiste en una lista de los pares grafema-fonema en unenunciado. Es posible utilizar una regla de inserción (I) o deborrado (D). La reglas se aplican sólo cuando la evaluación (E)de una cualidad de un fonema da un resultado positivo.E(gr ==′ h′) → D(gr) (1)E(gr ==′ x′) → I(/ks/) (2)La regla (1) indica que se debe borrar el grafema (gr) ′h′ yla (2) que el grafema ′x′ se transforma en los fonemas /ks/ porlo que se produce una inserción. Para excepciones el sistemaincluye un diccionario que se consulta antes de aplicar el motorde reglas.3. CREACIÓN DEL INVENTARIO DE UNIDADES3.1. Segmentación y Etiquetado3.1.1. Segmentación por fonemas más detección de silenciosLa segmentación es el proceso por el cual se etiqueta el corpusde voz indicando los límites temporales a nivel de fonema. Den-tro del grupo de investigación se ha evolucionado el proceso desegmentación, incorporando mejoras respecto del primer mar-cador realizado [13], tanto en lo que se refiere a la calidad demarcado como en la facilidad de uso gracias a la creación deinterfaces de usuario e independizándolo de la lengua de in-terés. Actualmente, el entrenamiento necesario y el posteriorproceso de etiquetado está basados en el uso de modelos ocultosde Markov (HMM). Para ello se dispone de código propietariodesarrollado enMatlab R© que hace uso a su vez de la herramientaHTK (Hidden Markov Model Toolkit) [14].El corpus que se ha suministrado es un corpus locutado poruna voz femenina, de estilo neutro que consta de 776 archivos— 87 —V Jornadas en Tecnología del Hablade alrededor 6000 palabras y En lo que se refiere al análisis delcorpus subministrado para la competición, esencialmente se harealizado el control de la aparición y omisión de silencios re-specto a los indicados en cada uno de los enunciados, indepen-dizando así el hecho que el locutor realizara las pausas de modoacorde al que los textos exigían. Por otro lado, los sonidos oclu-sivos se tratan de forma especial, de tal manera que el golpede voz (burst) y el silencio previo se modelan como unidadesdiferentes.3.1.2. Marcado de pitchSe ha realizado en dos fases. En la primera se sitúan las marcassobre zonas sonoras, utilizando para ello un marcador basadoen el algoritmo RAPT [15]. En segundo lugar se aplica un post-procesado sobre las marcas llamado Pitch Marks Filtering Algo-rithm (PMFA) [16], con el que se consigue un marcado fiable,minimizando a su vez la existencia de inserciones y omisiones.Finalmente, se obtiene como resultado el marcado de zonas sor-das y sonoras sin transiciones bruscas.3.2. Prunning de la base de datosUna vez creada la base de datos, con la información de dura-ciones (segmentación) y de F0 media (pitch), se realiza un análi-sis estadístico para cada una de las unidades de forma que sedescarten, durante la síntesis, aquellos casos que sean consider-ados erróneos (p.ej. outliers). El criterio considerado se basaen el hecho que todos aquellos valores, de duración y F0, queestén fuera del margen ±1.5 veces el valor de mediana calcu-lado sobre todo el corpus para cada unidad serán descartados. Apartir de este procedimiento, por tanto, se dispone de una lista(black list) donde se identifica la unidad que no se desea utilizardurante la síntesis, el archivo a la que pertenece y su posicióndentro del enunciado.En cuanto a los resultados obtenidos sobre las duracionesy F0 medio se obtuvieron los siguiente porcentajes: 2.71% devalores descartados respecto a duración media y 1.10% respectoa la F0 media.4. OPTIMIZACIÓN DE COSTES DE SELECCIÓNLa selección de unidades se realiza mediante un algoritmo deprogramación dinámica que minimiza una función de coste parauna serie de i unidades seleccionadas del corpus [17]. Al nohaber predicción prosódica se omiten los costes de target y solose tienen en cuenta los costes de concatenación. Según se puedeobservar en la ecuación (3), la matriz de costes es ponderada porun vector de pesos que intenta correlar los costes con la calidadfinal de la señal.Csel{U1,U2,··· ,UN} =N−1∑i=13∑j=1ωjSCj(i, i+ 1) (3)En la ecuación (3) se presenta un ejemplo de cálculo de la fun-ción de coste, donde SCij corresponde al subcoste de selec-cionar la unidad i según la parametrización j = {PIT C, ENEC, MFCC C} y ωj a su peso correspondiente.4.1. Costes de concatenación y su normalizaciónLos costes de concatenación con los que se trabaja son:• PIT C: Subcoste de pitch de concatenación. Determinala diferencia de F0 en el punto de concatenación de launidad.• ENE C: Subcoste de energía de concatenación. Es ladiferencia de nivel energético de las unidades a concate-nar en el punto de concatenación mencionado anterior-mente.• MFCC C: subcoste espectral de concatenación. Su cál-culo se basa en la estimación del espectro mediante suparametrización cepstral en la escala Mel (en inglés,MelFrequency Cepstral Coefficients (MFCC). Se utilizan 24coeficientes cepstrales más sus derivadas calculadas so-bre una ventana de 20ms en el punto de concatenación.La normalización de los costes para que sean comparablesse basa en la aplicación de una función sigmoidea, debido a quela cantidad de valores atípicos no permiten una normalizaciónMAX-MIN (la normalización sigmoidea pondera la parte linealcentral de la distribución de valores). En las ecuaciones (4) y (5)se detalla la normalización siendoPRij yPL(i+1)j los subcostes delas unidades i e i+1 según la parametrización j y en su última (R- right) y primera (L - left) tramas, respectivamente. Adicional-mente SCj(ui, ui+1) representa el coste de concatenación j delas unidades i e i+1 una vez normalizado. Dicha normalizaciónse basa en el cálculo de las diferencias de los parámetros normal-izándolas respecto a la desviación del subcoste (σXc ) sobre unafunción sigmoidea [18].Xc(ui, ui+1) =N∑1|PRij − PL(i+1)j | (4)SCj(ui, ui+1) = 1− e−(Xc(ui,ui+1)σXc)2(5)Asimismo, las estadísticas en el proceso de normalizaciónse obtienen para cada una de las unidades analizadas, y se apli-can evitando el problema del impacto de sesgar los subcostesdebido a una normalización global de los mismos considerandotodas las unidades del corpus.Los pesos utilizados se han obtenido mediante una técnicade regresión que utiliza algoritmos genéticos por torneo (tGA)[19]. En este caso, se utilizaron los pesos normalizados que secalcularon para un corpus propio en catalán, de 20 minutos deduración y 1.207 unidades.5. GENERACIÓN DE FORMA DE ONDAPara la competición Albayzín 2008 se pusieron a punto dos sis-temas de generación de forma de onda para la arquitectura delCTH explicada anteriormente. El primer sistema implementabauna síntesis basada en Overlap and Add en el dominio temporal(TD-PSOLA) [20] mientras que el segundo simplemente realiz-aba concatenación directa de la señal según sus marcas de pitch(RAW).La modificación de la señal mediante TD-PSOLA se ha apli-cado solamente a las unidades sonoras ralentizando su velocidadun 10% (aumentando su duración). Para alargar unidades sehace una interpolación de las tramas.La concatenación RAW no hace ningún tipo de ventaneoy se concatena la señal en el paso por cero más cercano a lamarca de pitch. La ventaja de este tipo de concatenación se basaen mantener la propia naturalidad de la señal. Dicho sistema,asume que ante una selección de unidades óptima, no es nece-saria ninguna normalización o modificación de la señal y asíse puede aprovechar la velocidad, volumen y entonación de lagrabación original [21].— 88 —V Jornadas en Tecnología del Habla6. SELECCIÓN DEL SISTEMA PRESENTADODebido a la restricción de presentar un sólo sistema por equipoparticipante, se hizo una selección del sistema de síntesis másaceptado a nivel perceptual. A este efecto se escogieron al azarcinco frases de las 350 de test que se tenían que generar, se sin-tetizaron con TD-PSOLA y con RAW para que el usuario finalescogiera entre ellas (según la naturalidad y inteligibilidad con-seguidas).15 usuarios, tanto expertos como no expertos en tecnologíasdel habla, realizaron la prueba cuyos resultados se pueden ob-servar en la figura 1.Figura 1. Porcentaje de preferencia del test perceptual para lascinco frases escogidas del test.Analizando los resultados se puede observar que el númerode votaciones entre RAW y TD-PSOLA es muy parecido en dosde las cinco frases donde siempre acaba ganando por la mínimaRAW. En las otras frases RAW peresenta una abrumadora may-oría. Por este motivo, se decidió presentar a la evaluación elsistema RAW.7. CONCLUSIONESDesde el punto de vista de la creación de la voz se puede con-cluir que el tiempo de puesta a punto ha sido bastante rápido yeficiente. Para cuantificar el tiempo destinado para ello, seríanen torno a 20 horas de parte de un técnico y las necesarias, enfunción de la longitud del corpus y de la potencia de cálculo dela máquina, para su parametrización. Cabe decir que el tiempo ycoste destinado ha sido el más óptimo según nuestra experiencia,ya que para cada nueva voz desarrollada las herramientas parasu etiquetado han sido mejoradas y los procesos más automati-zados según el proyecto SALERO detallado en la introducción.Cabe deducir, debido al resultado de las pruebas percep-tuales, que al no disponer de modelo prosódico, la técnica deTD-PSOLA no mejora, y en algunos casos empeora, la calidadperceptual de la señal.Es la segunda voz en castellano utilizada para un dominiogenérico con nuestro conversor texto-habla. Nuestro primer con-versor texto-habla utilizó una voz expresiva con distintas emo-ciones el cual ha dado lugar a diferentes publicaciones y proyec-tos [22, 6, 23].8. TRABAJO FUTUROLa estrategia de futuro de nuestro CTH pasa por incorporar téc-nicas de modificación de la señal basadas en modelos harmóni-cos más ruido, mejorar el procesado de la señal según TD-PSOLAteniendo en cuenta la especifidad de cada unidad, incorporarcostes lingüísticos en coste de target, incorporar el trabajo pro-totipo de selección de unidades basado en medidas perceptualesdetallado en [7, 8] y incorporar el modelo prosódico expresivodetallado en [6].9. BIBLIOGRAFÍA[1] Josep Martí, Estudi acústic del català i síntesi automàticaper ordinador, Ph.D. thesis, Universidad de Valencia, Va-lencia, España, 1985.[2] Josep Martí, Reconocimiento automático del habla, chap-ter Síntesis del habla: Evolución histórica y situación ac-tual, Boixareu Marcombo, 1987.[3] Josep Martí, “Estado actual de la síntesis de voz,” in Estu-dios de Fonética Experimental, 1990, vol. 4, pp. 147–168.[4] Joan Camps, Gerard Bailly, y Josep Martí, “Synthèse àpartir du texte pour le catalan,” in Proc. 19èmes Journéesd’Études sur la Parole, Bruselas, Francia, 1992, pp. 329–333.[5] Roger Guaus, Francesc Gudayol, y Josep Martí, “Conver-sión textovoz mediante síntesis PSOLA,” in Jornadas Na-cionales de Acústica, Barcelona, España, 1996, pp. 355–358.[6] Ignasi Iriondo, Joan Claudi Socoró, y Francesc Alías,“Prosody Modelling of Spanish for Expressive SpeechSynthesis,” in Proc. of International Conference on Acous-tics, Speech and Signal Processing (ICASSP), Honolulu,EUA, Abril 2007, vol. 4, pp. 821–824.[7] Lluís Formiga y Francesc Alías, “Extracting User Pref-erences by GTM for aiGA Weight Tuning in Unit Se-lection Text-to-Speech Synthesis,” in Computational andAmbiental Intelligence - Proceedings on 9th InternationalWork-Conference on Artificial Neural Networks (IWANN),2007.[8] Francesc Alías, Xavier Llorà, Lluís Formiga, Kumara Sas-try, y David E. Goldberg, “Efficient interactive weight tun-ing for TTS synthesis: reducing user fatigue by improvinguser consistency,” in Proc. of International Conferenceon Acoustics, Speech and Signal Processing (ICASSP),Toulouse, Francia, 2006, vol. I, pp. 865–868.[9] Carlos Monzo, Francesc Alías, Ignasi Iriondo, XavierGonzalvo, y Santiago Planet, “Discriminating Expres-sive Speech Styles by Voice Quality Parameterization,”in Proc. of the 16th International Congress of PhoneticSciences(ICPhS), Saarbrücken, Alemania, Abril 2007, pp.2081–2084.[10] Francesc Alías, Ignasi Iriondo, Lluís Formiga, XavierGonzalvo, Carlos Monzo, y Xavier Sevillano, “High qual-ity Spanish restricted-domain TTS oriented to a weatherforecast application,” in Proc. of the 9th InternationalConference on Speech Communication and Technology(Eurospeech), Lisboa, Portugal, 2005, pp. 2573–2576.[11] John C. Wells, SAMPA computer readable phonetic alpha-betHandbook of Standards and Resources for Spoken Lan-guage Systems, chapter SAMPA computer readable pho-netic alphabet, pp. Part IV, section B, Berlin and NewYork: Mouton de Gruyter, 1997.[12] Ignasi Iriondo, Producción de un corpus oral y modeladoprosódico para la síntesis del habla expresiva, Ph.D. the-sis, Universitat Ramón Llull, 2008.[13] Francesc Alías y Ignasi Iriondo, “Segmentador de fone-mas en catalán basado en DHMM,” in Actas del 16th Sim-posium Nacional de la Unión Científica (URSI), Madrid,España, 2001, pp. 149–150.— 89 —V Jornadas en Tecnología del Habla[14] “HTK,” in Recuperado el 19 de 09 de 2008, dehttp://htk.eng.cam.ac.uk, 2008, pp. 149–150.[15] David Talkin, “A Robust Algorithm for Pitch Tracking(RAPT),” in W. B. Kleijn y K. K. Paliwal (eds.). SpeechCoding and Synthesis. Amsterdam, NL: Elsevier Science,1995, pp. 495–518.[16] Francesc Alías, Carlos Monzo, y Joan C. Socoró, “A PitchMarks Filtering Algorithm based on Restricted DynamicProgramming,” in Proc. of International Conference onSpeech and Language Processing (ICSLP).[17] Andrew Hunt y Alan W. Black, “Unit selection in a con-catenative speech synthesis system using a large speechdatabase,” in Proc. of International Conference on Acous-tics, Speech and Signal Processing (ICASSP), Atlanta,EUA, 1996, vol. 1, pp. 373–376.[18] Albert Febrer, Síntesi de la parla per concatenació basadaen la selecció, Ph.D. thesis, Universitat Politècnica deCatalunya, Gener 2001.[19] Francesc Alías y Xavier Llorà, “Evolutionary weight tun-ing based on diphone pairs for unit selection speech syn-thesis,” in Proc. of the 8th European Conference on SpeechCommunication and Technology (EuroSpeech), Geneve,Suiza, 2003, pp. 1333–1336.[20] Eric Moulines y Francis Charpentier, “Pitch-Sinchronouswaveform processing techniques for text-to-speech syn-thesis using diphones,” in Speech Communication, 1990,vol. 9, pp. 453–467.[21] Marcello Balestri, Alberto Pacchiotti, Silvia Quazza,Pier Luigi Salza, y Stefano Sandri, “Choose the best tomodify the least: a new generation concatenative synthe-sis system,” in Proc. of the 6th European Conferenceon Speech Communication and Technology (EuroSpeech),1999, pp. 2291–2294.[22] Luigi Ceccaroni, Paloma Martínez, Josefa Z. Hernández,y Xavier Verdaguer, “IntegraTV-4all: an interactive tele-vision for all,” in Proc. of 1st International Sympo-sium on Ubiquitous Computing and Ambient Intelligence(UCAmI’05), 2005.[23] Francesc Alías, Xavier Sevillano, Joan Claudi Socoró, yXavier Gonzalvo, “Towards high quality next-generationText-to-Speech synthesis: a Multidomain approach by au-tomatic domain classification,” IEEE Transactions on Au-dio, Speech and Language Processing (Special issue onNew Approaches to Statistical Speech and Text Process-ing), vol. 16 (7), pp. 1340–1354, 2008.— 90 —V Jornadas en Tecnología del Habla

Adaptación del CTH-URL para la competición ALBAYZIN 2008

En esta comunicación describimos el sistema de síntesis de voz presentado a la competición Albayzin 2008. Es un sistema que

sigue un esquema clásico de concatenación de unidades basado en corpus. Cabe destacar que los costes de selección se han ajustado mediante un método basado en algoritmos genéticos y que no se ha utilizado ningún sistema de predicción prosódica.

Se construyeron dos sistemas preliminares que diferían en el algoritmo de generación de forma de onda escogiendo el que se

presenta a la competición mediante un test perceptual.Peer Reviewe

UPCommons

https://upcommons.upc.edu/bitstream/2117/14918/1/art_20.pdf

Adaptación del CTH-URL para la competición ALBAYZIN 2008

Abstract

Similar works

Full text

Available Versions

UPCommons. Portal del coneixement obert de la UPC

UPCommons