Multilingual Modulation by Neural Language Codes

Multilinguale Spracherkennung bleibt eine der großen Herausforderungen in der Sprachverarbeitung. Jede der mehr als 7000 Sprachen der Welt, ebenso wie viele Akzente und Dialekte, benötigen ein eigenes akustisches Modell um eine akzeptable Erkennungsleistung zu erreichen. Wir schlagen einen Ansatz basieren auf einem großen, multilingualen Modell vor, welches mittels Sprachencodes schnell adaptiert werden kann. Extrahiert durch ein zusätzliches neuronales Netzwerk, kodieren die Sprachencodes Eigenschaften von Sprachen welche dazu genutzt werden, um die Aktivierungen von Neuronen in einem multilingualen akustischen Modell zu steuern. Durch ein Einsatz eines großen, multilingualen Modells und dieser Sprachenmodulation sind wir nicht nur in der Lage die gleiche Leistung wie monolingual trainierte Systeme zu erreichen, sondern darüber hinaus sogar eine bessere Erkennungsleistung zu erzielen