When and why do we pretend (not) to understand : an attempt to make a classification on the basis of meta-communicative statements

Согласно общим правилам коммуникации, собеседники должны честно вести разговор. Как известно, это далеко не всегда так. В статье рассматривается один тип отклонения от этой нормы – ситуации, в которых говорящий (не) делает вид, что (не) понимает. Понимание – ключевое понятие коммуникации, поскольку в общении между людьми – не всегда, но чаще всего – собеседники стремятся к взаимопониманию. Таким образом, в задачи реципиента входит идентификация моментов, в которых он не понимает, что говорящий хочет выразить. Если реципиент этого не делает, он нарушает общие постулаты коммуникации. При рассмотрении таких ситуаций можно различать три основных случая в зависимости от того, кто является агенсом речи, реципиентом речи, рассказчиком и экпериенсером (человеком, который не понимает). Любая из этих ситуаций имеет свои характеристики по отношению причин использования такого некооперативного приема общения. Чтобы исследовать это явление, в статье используется необычная методика. Выводы основываются на метаязыковых высказываниях свидетелей коммуникации. Анализ показал, что экспериенсер делает вид, что (не) понимает, в частности: 1) когда у него принципиальное отношение к данному средству общения (например, (не)знание иностранного языка); 2) когда (не)понимание облегчает его положение в данной ситуации (например, когда его обвиняют в чем-то); 3) когда (не)понимание сказанного освобождает его от дополнительной работы (например, когда просят совета); 4) когда (не)понимание происходит просто по инерции, от лени или неохоты экспериенсера. Рассказчик, со своей стороны, делает вид, что не понимает, чаще всего, когда он осуждает или критикует поведение экспериенсера.Peer reviewe

Interim research assessment 2003-2005 - Computer Science

This report primarily serves as a source of information for the 2007 Interim Research Assessment Committee for Computer Science at the three technical universities in the Netherlands. The report also provides information for others interested in our research activities

Enforcing constraints for multi-lingual and cross-lingual speech-to-text systems

The recent development of neural network-based automatic speech recognition (ASR) systems has greatly reduced the state-of-the-art phone error rates in several languages. However, when an ASR system trained on one language tries to recognize speech from another language, such a system usually fails, even when the two languages come from the same language family. The above scenario poses a problem for low-resource languages. Such languages usually do not have enough paired data for training a moderately-sized ASR model and thus require either cross-lingual adaptation or zero-shot recognition. Due to the increasing interest in bringing ASR technology to low-resource languages, the cross-lingual adaptation of end-to-end speech recognition systems has recently received more attention. However, little analysis has been done to understand how the model learns a shared representation across languages and how language-dependent representations can be fine-tuned to improve the system’s performance. We compare a bi-lingual CTC model with language-specific tuning at earlier LSTM layers to one without such tuning. This is to understand if having language-independent pathways in the model helps with multi-lingual learning and why. We first train the network on Dutch and then transfer the system to English under the bi-lingual CTC loss. After that, the representations from the two networks are visualized. Results showed that the consonants of the two languages are learned very well under a shared mapping but that vowels could benefit significantly when further language-dependent transformations are applied before the last classification layer. These results can be used as a guide for designing multilingual and cross-lingual end-to-end systems in the future. However, creating specialized processing units in the neural network for each training language could yield increasingly large networks as the number of training languages increases. It is also unclear how to adapt such a system to zero-shot recognition. The remaining work adapts two existing constraints to the realm of multi-lingual and cross-lingual ASR. The first constraint is cycle-consistent training. This method defines a shared codebook of phonetic tokens for all training languages. Input speech first passes through the speech encoder of the ASR system and gets quantized into discrete representations from the codebook. The discrete sequence representation is then passed through an auxiliary speech decoder to reconstruct the input speech. The framework constrains the reconstructed speech to be close to the original input speech. The second constraint is regret minimization training. It separates an ASR encoder into two parts: a feature extractor and a predictor. Regret minimization defines an additional regret term for each training sample as the difference between the losses of an auxiliary language-specific predictor with the real language I.D. and a fake language I.D. This constraint enables the feature extractor to learn an invariant speech-to-phone mapping across all languages and could potentially improve the model's generalization ability to new languages

Bertsobot: gizaki-robot arteko komunikazio eta elkarrekintzarako portaerak

216 p.Bertsobot: Robot-Portaerak Gizaki-Robot Arteko Komunikazio eta ElkarrekintzanBertsotan aritzeko gaitasuna erakutsiko duen robot autonomoa garatzeada gure ikerketa-lanaren helburu behinena. Bere egitekoa, bertsoa osatzekoinstrukzioak ahoz jaso, hauek prozesatu eta ahalik eta bertsorik egokienaosatu eta kantatzea litzateke, bertsolarien oholtza gaineko adierazkortasunmaila erakutsiz gorputzarekin. Robot-bertsolariak, gizaki eta roboten artekoelkarrekintza eta komunikazioan aurrera egiteko modua jarri nahi luke, lengoaianaturala erabiliz robot-gizaki arteko bi noranzkoko komunikazioan

Bertsobot: gizaki-robot arteko komunikazio eta elkarrekintzarako portaerak

216 p.Bertsobot: Robot-Portaerak Gizaki-Robot Arteko Komunikazio eta ElkarrekintzanBertsotan aritzeko gaitasuna erakutsiko duen robot autonomoa garatzeada gure ikerketa-lanaren helburu behinena. Bere egitekoa, bertsoa osatzekoinstrukzioak ahoz jaso, hauek prozesatu eta ahalik eta bertsorik egokienaosatu eta kantatzea litzateke, bertsolarien oholtza gaineko adierazkortasunmaila erakutsiz gorputzarekin. Robot-bertsolariak, gizaki eta roboten artekoelkarrekintza eta komunikazioan aurrera egiteko modua jarri nahi luke, lengoaianaturala erabiliz robot-gizaki arteko bi noranzkoko komunikazioan

Epäröinnin ilmeneminen venäläisissä televisiokeskusteluissa

This dissertation describes the different forms of the emergence of hesitation in Russian television shows. By hesitation I mean a situation in which the speaker does not know how to react and encounters a speech production problem or some trouble in interaction. Therefore, this involves all pragmatic, semantic, structural, lexical and phonetic problems that emerge in talk in the different delays in a projected trajectory. The analysis focuses on finding different markers of hesitation in Russian television shows, exploring the differences in the use of the different hesitation markers and discovering possible limitations of their use. The theoretical background for this study includes Functional Syntax. I also take into consideration psycholinguistic studies of speech production phases. The framework for the analysis is provided, among others, by conversation analysis (CA) and interactional linguistics. The data for the study consist of four extracts from Russian television shows of 1 h 15 min in length. The programs were recorded and broadcast on Russian television in the 1990s. In my data the total number of hesitation markers and their strings is approximately 625. Furthermore, because of the multifunctionality of linguistic devices, there are circa 375 markers that imply or might imply hesitation among the other functions that they fulfil. The results show that hesitation may occur in Russian television shows in a total of seven different ways. These hesitation markers are 1) explicit phrases, 2) filled pauses, 3) prosodic markers, 4) unfilled pauses, 5) lexical markers, 6) repeated lexical elements, and 7) delays in fulfilling the pragmatically projected component. Moreover, these markers typically occur in strings. Two hesitation markers, i.e. filled pauses and prosodic markers, are located in every context in my data. Hence, these can be described as common hesitation markers. In contrast, all the other markers are more specific and more context related. To conclude, the main findings of the study indicate that hesitating is a rather discreet action, and different markers may reveal details of the nature of the problem and the speaker’s attitude toward his own chance of solving the speech production problem or the trouble in interaction. Generally, the results of this dissertation partly replicate and partly widen the findings of previous studies concerning hesitation in Russian and some other languages. The contribution of this study is to suggest that the methods of conversation analysis and interactional linguistics may be applied together with the theoretical assumptions of psycholinguistics and Functional Syntax.Väitöskirjani tavoitteena on kuvata epäröinnin ilmenemisen tavat venäläisissä televisiokeskusteluissa. Epäröinnillä tarkoitan tilannetta, jossa puhuja ei tiedä, miten reagoida vuorovaikutuksen tai puheen tuottamisen kannalta. Näin ollen epäröinti käsittää kaikki vuorovaikutuksen sujumiseen sekä puheen tuottamiseen liittyvät pragmaattiset, semanttiset, rakenteelliset, leksikaaliset ja foneettiset ongelmat, jotka tulevat ilmi kaikenlaisina viiveinä puheen etenemisessä. Tarkoituksenani on löytää eri epäröintitavat venäläisissä televisiokeskusteluissa, tarkastella eroja eri ilmaisutapojen välillä ja löytää mahdollisia rajoituksia eri ilmaisutapojen käytölle. Tutkimukseni lähtökohta on funktionaalisen lauseopin mukainen. Tukeudun tutkimuksessani jonkin verran myös psykolingvistisiin tutkimustuloksiin puheentuotannon vaiheista. Analyysini nojaa metodologisesti etenkin keskustelunanalyyttiseen ja vuorovaikutuslingvistiseen tutkimussuuntaukseen. Tutkimusaineistoni koostuu neljästä Venäjän televisiossa 1990-luvulla esitetystä keskusteluohjelman katkelmasta (kesto yhteensä 1 t 15 min). Katkelmat sisältävät noin 625 epäröinnin ilmenemistapausta. Koska puheelle on ylipäänsä ominaista monifunktioisuus, aineistoni koostuu myös noin 375 muusta merkitsimestä, jotka saattavat muiden tehtäviensä ohella kertoa puhujan epäröinnistä. Tutkimustulokseni osoittavat, että epäröinti ilmenee venäläisissä televisiokeskusteluissa varsin monipuolisesti. Eri epäröintitapoja on seitsemän: 1) eksplisiittiset ilmaukset, 2) ns. tauon täyttäjät, 3) prosodiset merkitsimet, 4) tyhjät tauot, 5) leksikaaliset merkitsimet, 6) toistot ja 7) pragmaattisen projektion toteutumisen sanallinen viivyttely. Lisäksi eri epäröintityypit ketjuuntuvat usein. Osa tavoista (ns. tauon täyttäjät ja prosodiset merkitsimet) esiintyy jokaisessa kontekstissa, joten niitä voi kutsua yleisiksi epäröintitavoiksi. Muut tyypit ovat spesifimpiä. Tutkimuksesta käy myös ilmi, että epäröinnin osoittaminen on varsin hienovaraista toimintaa ja eri ilmaisutavoilla voidaan kertoa hyvinkin tarkasti ongelman luonteesta sekä puhujan uskosta löytää tyydyttävä ratkaisu. Yleisesti tutkimustulokseni osin vahvistavat ja osin laajentavat ja syventävät aiempia venäjää ja muita kieliä koskevia epäröintitutkimuksia. Työni panos tieteelliseen keskusteluun on osoittaa, että keskustelunanalyysin ja vuorovaikutuslingvistiikan metodeja voi soveltaa yhdessä psykolingvistiikasta ja funktionaalisesta lauseopista lainattujen perusoletusten kanssa

Інтонація у філософському тексті: філософсько- культурологічний вимір

Дисертація присвячена філософсько-культурологічному дослідженню ролі інтонації у філософських текстах, яка, будучи конститутивною для філософії, залишається етосом “слухової” і “візуальної” культур з тенденційним ускладненням її вираження і сприйняття. З’ясувавши, що філософським текстам властиві принципова авторськість, глибинний діалогізм, інтертекстуальність, поліфонія, філософські категорії і запитальність, доповнюємо цей список потужною детонаційністю (прагненням виходу в тонаційне за межі його конвенціональних ін-). Інтонаційно-артикуляційний конфлікт, актуалізований Руссо у контексті філософського письма, і деконструкційно досліджений Дерріда, відкриває тільки один з можливих видів співпраці інтонації й артикуляції у філософському тексті. Але і в ньому Дерріда відчув, не ідентифікувавши, “третю силу”, яку ми назвали детонацією