Semi-tied Units for Efficient Gating in LSTM and Highway Networks

Gating is a key technique used for integrating information from multiple sources by long short-term memory (LSTM) models and has recently also been applied to other models such as the highway network. Although gating is powerful, it is rather expensive in terms of both computation and storage as each gating unit uses a separate full weight matrix. This issue can be severe since several gates can be used together in e.g. an LSTM cell. This paper proposes a semi-tied unit (STU) approach to solve this efficiency issue, which uses one shared weight matrix to replace those in all the units in the same layer. The approach is termed "semi-tied" since extra parameters are used to separately scale each of the shared output values. These extra scaling factors are associated with the network activation functions and result in the use of parameterised sigmoid, hyperbolic tangent, and rectified linear unit functions. Speech recognition experiments using British English multi-genre broadcast data showed that using STUs can reduce the calculation and storage cost by a factor of three for highway networks and four for LSTMs, while giving similar word error rates to the original models.Comment: To appear in Proc. INTERSPEECH 2018, September 2-6, 2018, Hyderabad, Indi

DNN speaker adaptation using parameterised sigmoid and ReLU hidden activation functions

This paper investigates the use of parameterised sigmoid and rectified linear unit (ReLU) hidden activation functions in deep neural network (DNN) speaker adaptation. The sigmoid and ReLU parameterisation schemes from a previous study for speaker independent (SI) training are used. An adaptive linear factor associated with each sigmoid or ReLU hidden unit is used to scale the unit output value and create a speaker dependent (SD) model. Hence, DNN adaptation becomes re-weighting the importance of different hidden units for every speaker. This adaptation scheme is applied to both hybrid DNN acoustic modelling and DNN-based bottleneck (BN) feature extraction. Experiments using multi-genre British English television broadcast data show that the technique is effective in both directly adapting DNN acoustic models and the BN features, and combines well with other DNN adaptation techniques. Reductions in word error rate are consistently obtained using parameterised sigmoid and ReLU activation function for multiple hidden layer adaptation

Supplementary data for "DNN Speaker Adaptation using Parameterised Sigmoid and ReLU Hidden Activation Functions"

Description of the Speech Recognition Training and Test Data and its Availability used for Experiments. Key Speech Recognition Outputs/Detailed Scoring Results used in the paper.This work was supported by the EPSRC [grant number EP/I031022/1] and by Cambridge Commonwealth, European & International Trust

Applications of artificial neural networks in three agro-environmental systems: microalgae production, nutritional characterization of soils and meteorological variables management

La agricultura es una actividad esencial para los humanos, es altamente dependiente de las condiciones meteorológicas y foco de investigación e innovación con el objetivo de enfrentar diversos desafíos. El cambio climático, calentamiento global y la degradación de los ecosistemas agrícolas son sólo algunos de los problemas que los humanos enfrentamos para continuar con la esencial producción de alimentos. Buscando la innovación en el sector agrícola, se consideraron tres tópicos principales de investigación para esta tesis; la producción de microalgas, el color del suelo y la fertilidad, y la adquisición de datos meteorológicos. Estos temas tienen roles cada vez más importantes en la agricultura, especialmente bajo la incertidumbre del futuro de la producción de alimentos. Las microalgas son una interesante alternativa para la fertilización de cultivos y la sostenibilidad del suelo; mientras que los parámetros de fertilidad del suelo necesitan ser más estudiados para desarrollar métodos de análisis de menor costo y más rápidos para ayudar al manejo. La agricultura, como actividad altamente dependiente del clima, necesita de datos meteorológicos para anticipar eventos, planificar y manejar los cultivos eficientemente. Estos temas se seleccionaron con el propósito de mejorar el estado actual de la técnica, proponer nuevas alternativas basadas, principalmente, en la aplicación de redes neuronales artificiales (ANN) como una manera novedosa de resolver los problemas y generar conocimiento de aplicación directa en sistemas de cultivos. El objetivo principal de esta tesis fue generar modelos de ANNs capaces de abordar problemas relacionados con la agricultura, como una alternativa a los métodos tradicionales y más costosos empleados en el manejo, análisis y adquisición de datos en los sistemas agrarios.Departamento de Ingeniería Agrícola y ForestalDoctorado en Ciencia e Ingeniería Agroalimentaria y de Biosistema