Photonic Vector Processing Techniques for Radiofrequency Signals

[EN] The processing of radiofrequency signals using photonics means is a discipline that appeared almost at the same time as the laser and the optical fibre. Photonics offers the capability of managing broadband radiofrequency (RF) signals thanks to its low transmission attenuation, a variety of linear and non-linear phenomena and, recently, the potential to implement integrated photonic subsystems. These features open the door for the implementation of multiple functionalities including optical transportation, up and down frequency conversion, optical RF filtering, signal multiplexing, de-multiplexing, routing and switching, optical sampling, tone generation, delay control, beamforming and photonic generation of digital modulations, and even a combination of several of these functionalities. This thesis is focused on the application of vector processing in the optical domain to radiofrequency signals in two fields of application: optical beamforming, and photonic vector modulation and demodulation of digital quadrature amplitude modulations. The photonic vector control enables to adjust the amplitude and phase of the radiofrequency signals in the optical domain, which is the fundamental processing that is required in different applications such as beamforming networks for direct radiating array (DRA) antennas and multilevel quadrature modulation. The work described in this thesis include different techniques for implementing a photonic version of beamforming networks for direct radiating arrays (DRA) known as optical beamforming networks (OBFN), with the objectives of providing a precise control in terrestrial applications of broadband signals at very high frequencies above 40 GHz in communication antennas, optimizing the size and mass when compared with the electrical counterparts in space application, and presenting new photonic-based OBFN functionalities. Thus, two families of OBFNs are studied: fibre-based true time delay architectures and integrated networks. The first allow the control of broadband signals using dispersive optical fibres with wavelength division multiplexing techniques and advanced functionalities such as direction of arrival estimation in receiving architectures. In the second, passive OBFNs based on monolithically-integrated Optical Butler Matrices are studied, including an ultra-compact solution using optical heterodyne techniques in silicon-on-insulator (SOI) material, and an alternative implementing a homodyne counterpart in germanium doped silica material. In this thesis, the application of photonic vector processing to the generation of quadrature digital modulations has also been investigated. Multilevel modulations are based on encoding digital information in discrete states of phase and amplitude of an electrical signal to enhance spectral efficiency, as for instance, in quadrature modulation. The signal process required for generating and demodulating this kind of signals involves vector processing (phase and amplitude control) and frequency conversion. Unlike the common electronic or digital implementation, in this thesis, different photonic based signal processing techniques are studied to produce digital modulation (photonic vector modulation, PVM) and demodulation (PVdM). These techniques are of particular interest in the case of broadband signals where the data rate required to be managed is in the order of gigabit per second, for applications like wireless backhauling of metro optical networks (known as fibre-to-the-air). The techniques described use optical dispersion in optical fibres, wavelength division multiplexing and photonic up/down conversion. Additionally, an optical heterodyne solution implemented monolithically in a photonic integrated circuit (PIC) is also described.[ES] El procesamiento de señales de radiofrecuencia (RF) utilizando medios fotónicos es una disciplina que apareció casi al mismo tiempo que el láser y la fibra óptica. La fotónica ofrece la capacidad de manipular señales de radiofrecuencia de banda ancha, una baja atenuación, procesados basados en una amplia variedad de fenómenos lineales y no lineales y, recientemente, el potencial para implementar subsistemas fotónicos integrados. Estas características ofrecen un gran potencial para la implementación de múltiples funcionalidades incluyendo transporte óptico, conversión de frecuencia, filtrado óptico de RF, multiplexación y demultiplexación de señales, encaminamiento y conmutación, muestreo óptico, generación de tonos, líneas de retardo, conformación de haz en agrupaciones de antenas o generación fotónica de modulaciones digitales, e incluso una combinación de varias de estas funcionalidades. Esta tesis se centra en la aplicación del procesamiento vectorial en el dominio óptico de señales de radiofrecuencia en dos campos de aplicación: la conformación óptica de haces y la modulación y demodulación vectorial fotónica de señales digitales en cuadratura. El control fotónico vectorial permite manipular la amplitud y fase de las señales de radiofrecuencia en el dominio óptico, que es el procesamiento fundamental que se requiere en diferentes aplicaciones tales como las redes de conformación de haces para agrupaciones de antenas y en la modulación en cuadratura. El trabajo descrito en esta tesis incluye diferentes técnicas para implementar una versión fotónica de las redes de conformación de haces de en agrupaciones de antenas, conocidas como redes ópticas de conformación de haces (OBFN). Se estudian dos familias de redes: arquitecturas de retardo en fibra óptica y arquitecturas integradas. Las primeras permiten el control de señales de banda ancha utilizando fibras ópticas dispersivas con técnicas de multiplexado por división de longitud de onda y funcionalidades avanzadas tales como la estimación del ángulo de llegada de la señal en la antena receptora. En la segunda, se estudian redes de conformación pasivas basadas en Matrices de Butler ópticas integradas, incluyendo una solución ultra-compacta utilizando técnicas ópticas heterodinas en silicio sobre aislante (SOI), y una alternativa homodina en sílice dopado con germanio. En esta tesis, también se han investigado técnicas de procesado vectorial fotónico para la generación de modulaciones digitales en cuadratura. Las modulaciones multinivel codifican la información digital en estados discretos de fase y amplitud de una señal eléctrica para aumentar su eficiencia espectral, como por ejemplo la modulación en cuadratura. El procesado necesario para generar y demodular este tipo de señales implica el procesamiento vectorial (control de amplitud y fase) y la conversión de frecuencia. A diferencia de la implementación electrónica o digital convencional, en esta tesis se estudian diferentes técnicas de procesado fotónico tanto para la generación de modulaciones digitales (modulación vectorial fotónica, PVM) como para su demodulación (PVdM). Esto es de particular interés en el caso de señales de banda ancha, donde la velocidad de datos requerida es del orden de gigabits por segundo, para aplicaciones como backhaul inalámbrico de redes ópticas metropolitanas (conocida como fibra hasta el aire). Las técnicas descritas se basan en explotar la dispersión cromática de la fibra óptica, la multiplexación por división de longitud de onda y la conversión en frecuencia. Además, se presenta una solución heterodina implementada monolíticamente en un circuito integrado fotónico (PIC).[CA] El processament de senyals de radiofreqüència (RF) utilitzant mitjans fotònics és una disciplina que va aparèixer gairebé al mateix temps que el làser i la fibra òptica. La fotònica ofereix la capacitat de manipular senyals de radiofreqüència de banda ampla, una baixa atenuació, processats basats en una àmplia varietat de fenòmens lineals i no lineals i, recentment, el potencial per implementar subsistemes fotònics integrats. Aquestes característiques ofereixen un gran potencial per a la implementació de múltiples funcionalitats incloent transport òptic, conversió de freqüència, filtrat òptic de RF, multiplexació i demultiplexació de senyals, encaminament i commutació, mostreig òptic, generació de tons, línies de retard, conformació de feix en agrupacions d'antenes i la generació fotònica de modulacions digitals, i fins i tot una combinació de diverses d'aquestes funcionalitats. Aquesta tesi es centra en l'aplicació del processament vectorial en el domini òptic de senyals de radiofreqüència en dos camps d'aplicació: la conformació òptica de feixos i la modulació i demodulació vectorial fotònica de senyals digitals en quadratura. El control fotònic vectorial permet manipular l'amplitud i la fase dels senyals de radiofreqüència en el domini òptic, que és el processament fonamental que es requereix en diferents aplicacions com ara les xarxes de conformació de feixos per agrupacions d'antenes i en modulació multinivell. El treball descrit en aquesta tesi inclou diferents tècniques per implementar una versió fotònica de les xarxes de conformació de feixos en agrupacions d'antenes, conegudes com a xarxes òptiques de conformació de feixos (OBFN), amb els objectius de proporcionar un control precís en aplicacions terrestres de senyals de banda ampla a freqüències molt altes per sobre de 40 GHz en antenes de comunicacions, optimitzant la mida i el pes quan es compara amb els homòlegs elèctrics en aplicacions espacials, i la presentació de noves funcionalitats fotòniques per agrupacions d'antenes. Per tant, s'estudien dues famílies de OBFNs: arquitectures de retard en fibra òptica i arquitectures integrades. Les primeres permeten el control de senyals de banda ampla utilitzant fibres òptiques dispersives amb tècniques de multiplexació per divisió en longitud d'ona i funcionalitats avançades com ara l'estimació de l'angle d'arribada del senyal a l'antena receptora. A la segona, s'estudien xarxes de conformació passives basades en Matrius de Butler òptiques en fotònica integrada, incloent una solució ultra-compacta utilitzant tècniques òptiques heterodinas en silici sobre aïllant (SOI), i una alternativa homodina en sílice dopat amb germani. D'altra banda, també s'ha investigat en aquesta tesi tècniques de processament vectorial fotònic per a la generació de modulacions digitals en quadratura. Les modulacions multinivell codifiquen la informació digital en estats discrets de fase i amplitud d'un senyal elèctric per augmentar la seva eficiència espectral, com ara la modulació en quadratura. El processat necessari per generar i desmodular aquest tipus de senyals implica el processament vectorial (control d'amplitud i fase) i la conversió de freqüència. A diferència de la implementació electrònica o digital convencional, en aquesta tesi s'estudien diferents tècniques de processament fotònic tant per a la generació de modulacions digitals (modulació vectorial fotònica, PVM) com per la seva demodulació (PVdM). Això és de particular interès en el cas de senyals de banda ampla, on la velocitat de dades requerida és de l'ordre de gigabits per segon, per a aplicacions com backhaul sense fils de xarxes òptiques metropolitanes (coneguda com fibra fins l'aire). Les tècniques descrites es basen en explotar la dispersió cromàtica de la fibra òptica, la multiplexació per divisió en longitud d'ona i la conversió en freqüència. A més, es presePiqueras Ruipérez, MÁ. (2016). Photonic Vector Processing Techniques for Radiofrequency Signals [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/63264TESI

Deep Spoken Keyword Spotting:An Overview

Spoken keyword spotting (KWS) deals with the identification of keywords in audio streams and has become a fast-growing technology thanks to the paradigm shift introduced by deep learning a few years ago. This has allowed the rapid embedding of deep KWS in a myriad of small electronic devices with different purposes like the activation of voice assistants. Prospects suggest a sustained growth in terms of social use of this technology. Thus, it is not surprising that deep KWS has become a hot research topic among speech scientists, who constantly look for KWS performance improvement and computational complexity reduction. This context motivates this paper, in which we conduct a literature review into deep spoken KWS to assist practitioners and researchers who are interested in this technology. Specifically, this overview has a comprehensive nature by covering a thorough analysis of deep KWS systems (which includes speech features, acoustic modeling and posterior handling), robustness methods, applications, datasets, evaluation metrics, performance of deep KWS systems and audio-visual KWS. The analysis performed in this paper allows us to identify a number of directions for future research, including directions adopted from automatic speech recognition research and directions that are unique to the problem of spoken KWS

Informed algorithms for sound source separation in enclosed reverberant environments

While humans can separate a sound of interest amidst a cacophony of contending sounds in an echoic environment, machine-based methods lag behind in solving this task. This thesis thus aims at improving performance of audio separation algorithms when they are informed i.e. have access to source location information. These locations are assumed to be known a priori in this work, for example by video processing. Initially, a multi-microphone array based method combined with binary time-frequency masking is proposed. A robust least squares frequency invariant data independent beamformer designed with the location information is utilized to estimate the sources. To further enhance the estimated sources, binary time-frequency masking based post-processing is used but cepstral domain smoothing is required to mitigate musical noise. To tackle the under-determined case and further improve separation performance at higher reverberation times, a two-microphone based method which is inspired by human auditory processing and generates soft time-frequency masks is described. In this approach interaural level difference, interaural phase difference and mixing vectors are probabilistically modeled in the time-frequency domain and the model parameters are learned through the expectation-maximization (EM) algorithm. A direction vector is estimated for each source, using the location information, which is used as the mean parameter of the mixing vector model. Soft time-frequency masks are used to reconstruct the sources. A spatial covariance model is then integrated into the probabilistic model framework that encodes the spatial characteristics of the enclosure and further improves the separation performance in challenging scenarios i.e. when sources are in close proximity and when the level of reverberation is high. Finally, new dereverberation based pre-processing is proposed based on the cascade of three dereverberation stages where each enhances the twomicrophone reverberant mixture. The dereverberation stages are based on amplitude spectral subtraction, where the late reverberation is estimated and suppressed. The combination of such dereverberation based pre-processing and use of soft mask separation yields the best separation performance. All methods are evaluated with real and synthetic mixtures formed for example from speech signals from the TIMIT database and measured room impulse responses