Introdução às redes neuronais. Arquitetura e princípio de funcionamento. Treino da redes neuronais. Avaliação de desempenho

José Nuno Fidalgo

Open Repository of the University of Porto

Redes 
Neuronais
Nuno Fidalgo
Redes Neuronais Artificiais
2
Redes Neuronais
O que são?
 Técnicas computacionais (modelos matemáticos) 
inspirados na estrutura cerebral
 Adquirem “conhecimento” através de exemplos
 Uma RN é composta por várias unidades de 
processamento, cujo funcionamento é bastante simples
 Existem conexões entre unidades (sinapses), às quais 
estão associados pesos
 Processamento paralelo
 Key words: Máquinas de aprendizagem, processamento 
distribuído, adaptativas, regressão não linear
3
Redes Neuronais
Para que servem?
 Aplicações mais comuns:
 Aproximação de funções
 Regressões
 Previsão
 Outras aplicações:
 Classificação, reconhecimento de padrões ou de 
sequências, metodologias de ajuda à decisão
 Processamento de dados (sinal), filtragem, data mining
 Controlo
4
5
Entradas Saída(s)
Camada 
escondida
Pesos
Redes Neuronais
Estrutura duma RN feedforward
Unidades (“neurónios”)
Redes Neuronais
Exemplos
6
Velocidade
Direção
Potência
I(d-2, h=0)
I(d-2, h=23)
.
.
I(d, h=0)
I(d, h=1)Inext day
I(d, h=23)
.
.
.I(d-1week, h=0)
I(d-1week, h=23)
.
.
I(d-2week, h=0)
I(d-2week, h=23)
.
.
ANNd1
(74-6-24)
sin(2πd/7)
cos(2πd/7)
ê = 
(, çã)
() = 
[,   − 2 ,   − 1 ,   − 2 ]
Redes Neuronais
Estrutura e funcionamento de uma unidade 
Funções de activação
7
V
D
Σ
w1
w2
F
y
net! = w#V % w&D % b
y= F(net!)
Neurónio k
k
netk
1
b
F – função de ativação
b – (bias) limiar
Redes Neuronais 
Estrutura de uma RN multi-camada
Matrizes de pesos, correspondentes à ligação entre camadas:
8
Redes Neuronais
Aprendizagem por retropropagação do erro
 A rede aprende com base em:
 exemplos - conjunto predefinido de pares de exemplos de entrada/saída
 ciclos de propagação/retropropagação/adaptação
 Para um padrão de entrada o estímulo é propagado até à saída. 
 O padrão de saída é então comparado com a saída desejada e um 
sinal de erro é calculado para cada elemento de saída.
 O sinal de erro é retropropagado (da saída para a entrada) ao 
longo das várias camadas
 Sinal proporcional à contribuição relativa de cada peso no erro total
 Baseado no sinal de erro recebido,  os pesos das conexões são 
então modificados no sentido de diminuir o erro
 Método do Gradiente Descendente
9
Redes neuronais 
Especificação da estrutura
 Camada de entrada
 número de neurónios igual ao número de entradas
 Camada de saída
 número de neurónios igual ao número de saídas
 pode optar-se por várias RN com 1 saída em vez de uma RN com 
várias saídas
 Número de camadas/neurónios escondidos
 Geralmente uma camada intermédia é suficiente (T. de Kolmogorov)
 Não existe um método expedito para determinar o número ideal de 
neurónios 
 Heurística (exemplo): considerar 2n+1 neurónios, sendo n o número 
de variáveis de entrada. Mas sujeito a outros fatores (número de 
exemplos, complexidade do problema…)
 Duas camadas intermédias é por vezes necessário para resolver 
problemas de grande complexidade
10
Redes Neuronais
Passos da construção de uma RN
 Definir o problema, identificando as variáveis a prever e as 
potenciais entradas (variáveis independentes com significância)
 Filtragem e processamento dos dados para treino e teste da rede
 Treinar a rede com um conjunto de exemplos representativo
 Testar a rede - conjunto de teste distinto do conjunto de treino
 Estrutura e topologia da rede 
 Variar número de unidades da camada escondida
 Variar composição dos conjuntos de treino e de teste
11
Estandardização
(normalização)
 Estandardização - ajusta escalas e variâncias (desvios-padrão) 
das entradas ⇒ melhora eficiência do treino
 Métodos
 Min-Máx – Comprime a escala da variável no intervalo [-1, 1]
 Z-Score – necessita da média e do desvio padrão. Não sendo 
conhecidos podem usar-se valores aproximados.
 Decimal Scaling – faz apenas um ajuste de escala decimal. 
Utiliza-se quando são apenas conhecidas a ordem de grandeza 
decimas das variáveis
 Destandardização é o processo inverso, transformando a escala    
das variáveis estandardizadas na escala real.
12
Estandardização
 Método Min-Máx
 Método Z-Score – Entradas normalizadas apresentam média zero e desvio 
padrão unitário
 Método Decimal Scaling - mudança de escala com divisão por múltiplos 
de 10, onde j é o menor valor inteiro que satisfaz a condição max |V´|<1 
j
v
v
10
'= jvv 10'⋅=
( ) AAA
aa
avv minminmax
minmax
min
' +−×
−
−=
( ) ( ) aaaAA
Avv minminmax
minmax
min' +−×
−
−=
estandardização
destandardização
estandardização destandardização
estandardização destandardização
13
mina minA
maxa maxA
Inicial Standard
Habitualmente, minA=-1 e maxA=1
)* = 	
) −< ) >
./
) = )*./ %< ) > < ) > −	valor	médio	de	)
./ − desvio	padrão	de	)
Simuladores de redes neuronais
 Grande variedade de software, diferentes implementações e 
variedade de redes neuronais. Alguns exemplos:
 Matlab – NN Toolbox
 Instalado na imagem de software das salas da FEUP
 Recomendado para as aulas TP, user friendly
 R Project (http://mirror.cricyt.edu.ar/r/)
 Vários Packs de software livre, alguns disponibilizando código fonte.
 Neurosolutions (http://www.neurosolutions.com/)
 Software comercial, acessível, com grande variedade de RN com 
elevada qualidade.
 Versão livre mas limitada
14
Redes Neuronais
Usando o Matlab
 Iniciar MatLab
 No quadro Workspace
 Import data
 Selecionar ficheiro Excel e, no tipo de ficheiro, especificar Spreadsheet
 Selecionar a folha (Sheet) do ficheiro em questão
 Next
 Selecionar opção “Create vectors for each column…”
 Na janela de comando escrever nntool ou nftool (preferível 
nftool para inexperientes)
15
Aplicações do Matlab
NFTOOL
16
Redes Neuronais
Usando o Matlab - nftool
 Inputs - especificar vetor ou matriz de entradas da RN
 Se quiser ter como entradas os vetores Dia, Hora e Temperatura pode agregar 
estes vetores numa matriz Entradas escrevendo na janela de comando: 
 Entradas = [Dia, Hora, Temperatura]
 Em Samples are selecionar Matriz row
 Targets - especificar vetor de saídas desejadas da RN (ex:consumo)
 Next
 Train
 Quando o treino terminar:
 Analisar índices e gráficos de desempenho
 Guardar resultados
 Fazer Next e Generate scripts e analisar o script produzido
 Fazer Save results para guardar RN, resultados, etc. Não esquecer de 
especificar os nomes.
17
Aplicações do Matlab
NNTOOL
18
Redes Neuronais
Usando o Matlab - nntool
 Import
 Input data
 Target data
 New network (especificar características…)
 Fazer duplo clic em network
 …
19
Redes Neuronais
Usando o Matlab – janela de comando
Definição da estrutura da rede
 net = newff(PR,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF)
 Newff – cria a estrutura de uma rede neuronal direta com 
retropropagação (feed-forward backpropagation network)
 PR – Matriz (Rx2) de Min e Max, para cada variável de entrada R
 Si – Número de neurónios na camada i
 TFi – Função de transferência (ativação) na camada i (tansig, 
logsig, or purelin)
 BTF – Função de treino da rede (default = 'trainlm')
 BLF – Função de aprendizagem dos pesos, (default = 'learngdm‘
 PF – Função de performance, default = 'mse'.
20
Redes Neuronais
Usando o Matlab – janela de comando
Treino da rede
 [net,tr,Y,E,Pf,Af] = train(net,P,T,Pi,Ai,VV,TV)
 train – comando para treinar a rede
 net – é a rede criada anteriormente com newff
 P – matriz de entrada – o número de entradas deve estar 
coerente com o número de entradas de newff
 T – matriz de saídas desejadas (target) – o número de saídas 
deve estar coerente com o número de saídas de newff
21
Redes Neuronais
Usando o Matlab – janela de comando
Simulação
 [Y,Pf,Af,E,perf] = sim(net,P,Pi,Ai,T)
 sim – simula a rede neuronal
 net – é a rede criada com newff
 P – é a matriz de entrada
 Y – é a matriz de saídas
22


Portuguese

Redes Neuronais

Repositório Aberto da Universidade do Porto

Redes NeuronaisNuno FidalgoRedes Neuronais Artificiais2Redes NeuronaisO que são? Técnicas computacionais (modelos matemáticos) inspirados na estrutura cerebral Adquirem “conhecimento” através de exemplos Uma RN é composta por várias unidades de processamento, cujo funcionamento é bastante simples Existem conexões entre unidades (sinapses), às quais estão associados pesos Processamento paralelo Key words: Máquinas de aprendizagem, processamento distribuído, adaptativas, regressão não linear3Redes NeuronaisPara que servem? Aplicações mais comuns: Aproximação de funções Regressões Previsão Outras aplicações: Classificação, reconhecimento de padrões ou de sequências, metodologias de ajuda à decisão Processamento de dados (sinal), filtragem, data mining Controlo45Entradas Saída(s)Camada escondidaPesosRedes NeuronaisEstrutura duma RN feedforwardUnidades (“neurónios”)Redes NeuronaisExemplos6VelocidadeDireçãoPotênciaI(d-2, h=0)I(d-2, h=23)..I(d, h=0)I(d, h=1)Inext dayI(d, h=23)...I(d-1week, h=0)I(d-1week, h=23)..I(d-2week, h=0)I(d-2week, h=23)..ANNd1(74-6-24)sin(2pid/7)cos(2pid/7)ê = (, çã)() = [,   − 2 ,   − 1 ,   − 2 ]Redes NeuronaisEstrutura e funcionamento de uma unidade Funções de activação7VDΣw1w2Fynet! = w#V % w&D % by= F(net!)Neurónio kknetk1bF – função de ativaçãob – (bias) limiarRedes Neuronais Estrutura de uma RN multi-camadaMatrizes de pesos, correspondentes à ligação entre camadas:8Redes NeuronaisAprendizagem por retropropagação do erro A rede aprende com base em: exemplos - conjunto predefinido de pares de exemplos de entrada/saída ciclos de propagação/retropropagação/adaptação Para um padrão de entrada o estímulo é propagado até à saída.  O padrão de saída é então comparado com a saída desejada e um sinal de erro é calculado para cada elemento de saída. O sinal de erro é retropropagado (da saída para a entrada) ao longo das várias camadas Sinal proporcional à contribuição relativa de cada peso no erro total Baseado no sinal de erro recebido,  os pesos das conexões são então modificados no sentido de diminuir o erro Método do Gradiente Descendente9Redes neuronais Especificação da estrutura Camada de entrada número de neurónios igual ao número de entradas Camada de saída número de neurónios igual ao número de saídas pode optar-se por várias RN com 1 saída em vez de uma RN com várias saídas Número de camadas/neurónios escondidos Geralmente uma camada intermédia é suficiente (T. de Kolmogorov) Não existe um método expedito para determinar o número ideal de neurónios  Heurística (exemplo): considerar 2n+1 neurónios, sendo n o número de variáveis de entrada. Mas sujeito a outros fatores (número de exemplos, complexidade do problema…) Duas camadas intermédias é por vezes necessário para resolver problemas de grande complexidade10Redes NeuronaisPassos da construção de uma RN Definir o problema, identificando as variáveis a prever e as potenciais entradas (variáveis independentes com significância) Filtragem e processamento dos dados para treino e teste da rede Treinar a rede com um conjunto de exemplos representativo Testar a rede - conjunto de teste distinto do conjunto de treino Estrutura e topologia da rede  Variar número de unidades da camada escondida Variar composição dos conjuntos de treino e de teste11Estandardização(normalização) Estandardização - ajusta escalas e variâncias (desvios-padrão) das entradas ⇒ melhora eficiência do treino Métodos Min-Máx – Comprime a escala da variável no intervalo [-1, 1] Z-Score – necessita da média e do desvio padrão. Não sendo conhecidos podem usar-se valores aproximados. Decimal Scaling – faz apenas um ajuste de escala decimal. Utiliza-se quando são apenas conhecidas a ordem de grandeza decimas das variáveis Destandardização é o processo inverso, transformando a escala    das variáveis estandardizadas na escala real.12Estandardização Método Min-Máx Método Z-Score – Entradas normalizadas apresentam média zero e desvio padrão unitário Método Decimal Scaling - mudança de escala com divisão por múltiplos de 10, onde j é o menor valor inteiro que satisfaz a condição max |V´|<1 jvv10'=jvv 10'⋅=( ) AAAaaavv minminmaxminmaxmin' +−×−−=( ) ( ) aaaAAAvv minminmaxminmaxmin'+−×−−=estandardizaçãodestandardizaçãoestandardização destandardizaçãoestandardização destandardização13mina minAmaxa maxAInicial StandardHabitualmente, minA=-1 e maxA=1)* = 	) −< ) >./) = )*./ %< ) > < ) > −	valor	médio	de	)./ − desvio	padrão	de	)Simuladores de redes neuronais Grande variedade de software, diferentes implementações e variedade de redes neuronais. Alguns exemplos: Matlab – NN Toolbox Instalado na imagem de software das salas da FEUP Recomendado para as aulas TP, user friendly R Project (http://mirror.cricyt.edu.ar/r/) Vários Packs de software livre, alguns disponibilizando código fonte. Neurosolutions (http://www.neurosolutions.com/) Software comercial, acessível, com grande variedade de RN com elevada qualidade. Versão livre mas limitada14Redes NeuronaisUsando o Matlab Iniciar MatLab No quadro Workspace Import data Selecionar ficheiro Excel e, no tipo de ficheiro, especificar Spreadsheet Selecionar a folha (Sheet) do ficheiro em questão Next Selecionar opção “Create vectors for each column…” Na janela de comando escrever nntool ou nftool (preferível nftool para inexperientes)15Aplicações do MatlabNFTOOL16Redes NeuronaisUsando o Matlab - nftool Inputs - especificar vetor ou matriz de entradas da RN Se quiser ter como entradas os vetores Dia, Hora e Temperatura pode agregar estes vetores numa matriz Entradas escrevendo na janela de comando:  Entradas = [Dia, Hora, Temperatura] Em Samples are selecionar Matriz row Targets - especificar vetor de saídas desejadas da RN (ex:consumo) Next Train Quando o treino terminar: Analisar índices e gráficos de desempenho Guardar resultados Fazer Next e Generate scripts e analisar o script produzido Fazer Save results para guardar RN, resultados, etc. Não esquecer de especificar os nomes.17Aplicações do MatlabNNTOOL18Redes NeuronaisUsando o Matlab - nntool Import Input data Target data New network (especificar características…) Fazer duplo clic em network …19Redes NeuronaisUsando o Matlab – janela de comandoDefinição da estrutura da rede net = newff(PR,[S1 S2...SNl],{TF1 TF2...TFNl},BTF,BLF,PF) Newff – cria a estrutura de uma rede neuronal direta com retropropagação (feed-forward backpropagation network) PR – Matriz (Rx2) de Min e Max, para cada variável de entrada R Si – Número de neurónios na camada i TFi – Função de transferência (ativação) na camada i (tansig, logsig, or purelin) BTF – Função de treino da rede (default = 'trainlm') BLF – Função de aprendizagem dos pesos, (default = 'learngdm‘ PF – Função de performance, default = 'mse'.20Redes NeuronaisUsando o Matlab – janela de comandoTreino da rede [net,tr,Y,E,Pf,Af] = train(net,P,T,Pi,Ai,VV,TV) train – comando para treinar a rede net – é a rede criada anteriormente com newff P – matriz de entrada – o número de entradas deve estar coerente com o número de entradas de newff T – matriz de saídas desejadas (target) – o número de saídas deve estar coerente com o número de saídas de newff21Redes NeuronaisUsando o Matlab – janela de comandoSimulação [Y,Pf,Af,E,perf] = sim(net,P,Pi,Ai,T) sim – simula a rede neuronal net – é a rede criada com newff P – é a matriz de entrada Y – é a matriz de saídas22

https://repositorio-aberto.up.pt/bitstream/10216/84415/2/137927.pdf

Redes Neuronais

Abstract

Similar works

Full text

Available Versions

Open Repository of the University of Porto

Repositório Aberto da Universidade do Porto