První experimenty se selekcí relevantních dokumentů pro zpětnou vazbu ve vyhledávání informací v řeči

This paper presents our first experiments aimed at the automatic selection of the relevant documents for the blind relevance feedback method in speech information retrieval. Usually the relevant documents are selected only by simply determining the first N documents to be relevant. We consider this approach to be insufficient and we would try in this paper to outline the possibilities of the dynamical selection of the relevant documents for each query depending on the content of the retrieved documents instead of just blindly defining the number of the relevant documents to be used for the blind relevance feedback in advance. We have performed initial experiments with the application of the score normalization techniques used in the speaker identification task, which was successfully used in the multi-label classification task for finding the “correct” topics of a newspaper article in the output of a generative classifier. The experiments have shown promising results, therefore they will be used to define the possibilities of the subsequent research in this area

Robustní metodologie hodnocení vylepšení systému TTS

Článek ukazuje na problematické a obvykle zanedbávané aspekty evaluace TTS systémů poslechovými testy. Je ukázáno, že obyčejný náhodný výběr frází k poslechu nemusí pokrýt případy, které jsou relevantní vzhledem k hodnocenému systému TTS. Je také ukázáno, že bez hlubší znalosti distribuce rozdílů v syntetické řeči, získaných porovnáním výstupů základního a hodnoceného systému, nelze vybrat spolehlivou množina frází k evaluaci. Předkládáme tedy, a na skutečných případech ukazujeme metodu, která v případě, že známe distribuci rozdílů, je schopna vyčíslit míru spolehlivosti poslechového testu stejně jako odhadnou pravděpodobnost neplatnosti závěrů získaných z výsledků poslechového testu.The paper points to problematic and usually neglected aspects of using listening tests for TTS evaluation. It shows that simple random selection of phrases to be listened to may not cover those cases which are relevant to the evaluated TTS system. Also, it shows that a reliable phrase set cannot be chosen without a deeper knowledge of the distribution of differences in synthetic speech, which are obtained by comparing the output generated by an evaluated TTS system to what stands as a baseline system. Having such knowledge, the method able to evaluate the reliability of listening tests, as related to the estimation of possible invalidity of listening results-derived conclusion, is proposed here and demonstrated on real examples