The continuous increase of traffic demand in long-haul communications motivated
the network operators to look for receiver side techniques to mitigate the nonlinear
effects, resulting from signal-signal and signal-noise interaction, thus pushing the
current Capacity boundaries. Machine learning techniques are a very hot-topic
with given proofs in the most diverse applications. This dissertation aims to study
nonlinear impairments in long-haul coherent optical links and the current state of
the art in DSP techniques for impairment mitigation as well as the integration of
machine learning strategies in optical networks. Starting with a simplified fiber
model only impaired by ASE noise, we studied how to integrate an ANN-based
symbol estimator into the signal pipeline, enabling to validate the implementation
by matching the theoretical performance. We then moved to nonlinear proof of
concept with the incorporation of NLPN in the fiber link. Finally, we evaluated
the performance of the estimator under realistic simulations of Single and Multi-
Channel links in both SSFM and NZDSF fibers. The obtained results indicate
that even though it may be hard to find the best architecture, Nonlinear Symbol
Estimator networks have the potential to surpass more conventional DSP strategies.O aumento contínuo de tráfego nas comunicações de longo-alcance motivou os
operadores de rede a procurar técnicas do lado do receptor para atenuar os efeitos
não lineares resultantes da interacção sinal-sinal e sinal-ruído, alargando assim os
limites da capacidade do sistema. As técnicas de aprendizagem-máquina são um
tópico em ascenção com provas dadas nas mais diversas aplicações e setores. Esta
dissertação visa estudar as principais deficiências nas ligações de longo curso e o
actual estado da arte em técnicas de DSP para mitigação das mesmas, bem como
a integração de estratégias de aprendizagem-máquina em redes ópticas. Começando
com um modelo simplificado de fibra apenas perturbado pelo ruído ASE,
estudámos como integrar um estimador de símbolos baseado em ANN na cadeia
do prodessamento de sinal, conseguindo igualar o desempenho teórico. Procedemos
com uma prova de conceito perante não linearidades com a incorporação do
ruído de fase não linear na propagação. Finalmente, avaliamos o desempenho do
estimador com simulações realistas de links Single e Multi canal tanto em fibras
SSFM como NZDSF. Os resultados obtidos indicam que apesar da dificuldade de
encontrar a melhor arquitectura, a estimação não linear baseada em redes neuronais
têm o potencial para ultrapassar estratégias DSP mais convencionais.Mestrado em Engenharia Eletrónica e Telecomunicaçõe