Presentación de la demostración directa e intuitiva de Shannon de su teorema de capacidad del canal gaussiano limitado en banda

Ronda Prieto, José Ignacio

Archivo Digital UPM

Transmisión digital: capacidad del canal gaussiano

Servicio de Coordinación de Bibliotecas de la Universidad Politécnica de Madrid

Transmisión Digital 1
Transmisión Digital
Capacidad del canal gaussiano
José Ignacio Ronda Prieto GTI, SSR, ETSIT, UPM
jir@gti.ssr.upm.es
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 2
Introducción
Presentamos una demostración directa e intuitiva del teorema
de Shannon de capacidad del canal gaussiano limitado en
banda, debida al propio Shannon.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 3
T. de la capacidad del canal gaussiano
■ Definimos la capacidad de un canal como
C = W log2
(
1 +
s
N0W
)
donde s es la potencia de señal y N0 la dep de ruido,W el
ancho de banda.
■ Entonces, si R < C, para todo ǫ hay una modulación con
PE ≤ ǫ (resultado positivo).
■ Por el contrario, si R > C esto no es posible (resultado
negativo).
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 4
Preparativos
Tomamos la base ortonormal libre de IES
φk(t) =
1√
T0
sinc
(
t− kT0
T0
)
,
k = 0, . . . , L− 1, T0 = 1
2W
, T = LT0.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 4
Preparativos
Tomamos la base ortonormal libre de IES
φk(t) =
1√
T0
sinc
(
t− kT0
T0
)
,
k = 0, . . . , L− 1, T0 = 1
2W
, T = LT0.
Definiendo e0 = sT0 (energía por dimensión), R0 = RT0 (bits
por dimensión),
R
W
=
R0/T0
1/(2T0)
= 2R0
s
n
=
e0/T0
N0/(2T0)
= 2
e0
N0
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 4
Preparativos
Tomamos la base ortonormal libre de IES
φk(t) =
1√
T0
sinc
(
t− kT0
T0
)
,
k = 0, . . . , L− 1, T0 = 1
2W
, T = LT0.
Definiendo e0 = sT0 (energía por dimensión), R0 = RT0 (bits
por dimensión),
R
W
=
R0/T0
1/(2T0)
= 2R0
s
n
=
e0/T0
N0/(2T0)
= 2
e0
N0
la condición queda
R0 ≤ 1
2
log2
(
1 + 2
e0
N0
)
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 5
Demostración del resultado positivo
Consideramos códigos deM = 2RT señales tomadas
aleatoriamente con distribución uniforme en la bola de radio√
sT de RL (luego Ei = ‖si‖2 ≤ sT ).
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 5
Demostración del resultado positivo
Consideramos códigos deM = 2RT señales tomadas
aleatoriamente con distribución uniforme en la bola de radio√
sT de RL (luego Ei = ‖si‖2 ≤ sT ).
Veamos que la probabilidad de error media P¯E de tales códigos
se puede hacer tan pequeña como queramos, tomando L
suficientemente grande.
Por tanto, deben existir códigos con PE tan pequeña como
deseemos.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 6
El universo de la alta dimensión
Definimos las señales normalizadas
s =
1√
L
s, n =
1√
L
n, r =
1√
L
r, r = s+ n
Las s están dentro de una esfera de radio
√
e0:
‖s‖ = 1√
L
‖s‖ ≤
√
sT/L =
√
sT0 =
√
e0
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 6
El universo de la alta dimensión
Definimos las señales normalizadas
s =
1√
L
s, n =
1√
L
n, r =
1√
L
r, r = s+ n
Las s están dentro de una esfera de radio
√
e0:
‖s‖ = 1√
L
‖s‖ ≤
√
sT/L =
√
sT0 =
√
e0
Veamos que, para L grande,
‖s‖ ≈ √e0
‖n‖ ≈
√
N0
2
‖r‖ = ‖s+ n‖ ≈
√
e0 +
N0
2
Este fenómeno se conoce como sphere hardening
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 6
El universo de la alta dimensión
Distribución de las señales
El volumen de la esfera L-dimensional de radio R es
VolL(R) = cLR
L (L = 2K ⇒ cL = piKK! ), luego dado ∆ ∈ [0, R],
P [R−∆ ≤ ‖s‖ ≤ R] = cLR
L − cL(R −∆)L
cLRL
= 1−
(
R −∆
R
)L
Por pequeño que sea ∆, esta probabilidad tiende a uno
cuando L tiende a infinito, luego probabilidad se concentra cerca
de la frontera de la bola.
Por tanto nuestras señales s se concentran cerca de la esfera
de radio
√
e0.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 6
El universo de la alta dimensión
Distribución del ruido
Usamos X ∼ N(0, σ2)⇒ E[X4] = 3σ4.
E[‖n‖2] = N0
2
V [‖n‖2]] = 1
L2
L∑
i=1
V [n2i ] =
1
L2
L∑
i=1
3V [ni]
2 =
3
L
(
N0
2
)2
L→∞−→ 0
Por tanto los vectores de ruido se concentran en la esfera de
radio
√
N0/2.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 6
El universo de la alta dimensión
Distribución de la observación
Se demuestra que
E[‖r‖2] L→∞−→ e0 + N0
2
V [‖r‖2] L→∞−→ 0
(detalles al final del documento)
Por tanto las observaciones se concentran en la esfera de
radio
√
e0 +N0/2.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 7
Visualización en el plano
Experimento: Generamos señales y vectores de ruido en RL
y las visualizamos en el plano respetando normas y ángulos
de cada terna (s,n, r = s+ n).
e0 = 1,
N0
2 = 0,25, L = 40
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 7
Visualización en el plano
L = 40
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 7
Visualización en el plano
L = 40
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 7
Visualización en el plano
L = 10000
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 8
Esferas y capacidad del canal
Si R = C lasM bolas de radio
√
N0/2 caben exactamente
dentro de la bola de radio
√
e0 +N0/2:
log2M/T
L/(2T )
=
R
W
= 2R0 = log2
(
1 +
e0
N0/2
)
⇔ 22 log2M/L = 2R/W = e0 +N0/2
N0/2
⇔M =
(
e0 +N0/2
N0/2
)L/2
=
VolL
(√
e0 +N0/2
)
VolL
(√
N0/2
)
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 9
Diagrama para L grande
P¯E es la probabilidad de que haya alguna otra señal del código
en la región lenticular.
h
O
√
e0
√
N0/2
√
e0 +N0/2
B
A
A: señal transmitida, B: señal recibida
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 9
Diagrama para L grande
h
O
√
e0
√
N0/2
√
e0 +N0/2
B
A
Calculamos h igualando dos expresiones del área del triángulo
OAB:
1
2
h
√
e0 +N0/2 =
1
2
√
N0/2
√
e0 ⇒ h =
√
e0N0/2
e0 +N0/2
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 10
Cálculo de PE media
P¯E es la probabilidad de que haya alguna otra señal del código
en la región lenticular de la figura anterior.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 10
Cálculo de PE media
P¯E es la probabilidad de que haya alguna otra señal del código
en la región lenticular de la figura anterior.
El volumen de esta región será menor que el de la bola de
radio h:
P¯E ≤M Vol. esfera radio h
Vol. esfera radio
√
e0
= M
cLh
L
cL(
√
e0)L
= M
(e0N0/2)
L/2
e
L/2
0 (e0 +N0/2)
L/2
= M
(
1 + 2
e0
N0
)
−L/2
= 2RT
(
1 + 2
e0
N0
)
−L/2
= 2RT0L
(
1 + 2
e0
N0
)
−L/2
= 2L(R0−
1
2
log
2
(1+2e0/N0))
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 10
Cálculo de PE media
P¯E es la probabilidad de que haya alguna otra señal del código
en la región lenticular de la figura anterior.
El volumen de esta región será menor que el de la bola de
radio h:
P¯E ≤M Vol. esfera radio h
Vol. esfera radio
√
e0
= M
cLh
L
cL(
√
e0)L
= M
(e0N0/2)
L/2
e
L/2
0 (e0 +N0/2)
L/2
= M
(
1 + 2
e0
N0
)
−L/2
= 2RT
(
1 + 2
e0
N0
)
−L/2
= 2RT0L
(
1 + 2
e0
N0
)
−L/2
= 2L(R0−
1
2
log
2
(1+2e0/N0))
que tiende a cero cuando L→∞, con lo que tenemos el
resultado deseado.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 11
Demostración del resultado negativo
Hemos visto que si R > C lasM bolas de radio
√
N0/2 no
caben dentro de la bola de radio
√
e0 +N0/2.
Esta observación es la base de la argumentación de que la
probabilidad de error en señal tiende a uno cuando L tiende a
infinito.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 12
Bibliografía
■ El teorema es un caso particular del teorema general,
basado en los conceptos de entropía e información mutua,
introducido por Shannon en
C. E. Shannon, “A mathematical theory of communication”,
Bell System Technical Journal, vol. 27,
pp. 379-423, 623-656, julio, octubre 1948.
En los apuntes de la asignatura, apéndice B.2, se
proporcionan los resultados principales.
■ La versión geométrica intuitiva es también de Shannon:
C. E. Shannon, “Communication in the presence of noise”,
Proceedings of the IRE, vol. 37, no. 1, pp. 10-21, enero 1949.
■ Una demostración rigurosa basada en esta idea se
encuentra en
J. M. Wozencraft, I. M. Jacobs, "Principles of Communication
Engineering”, John Wiley, 1965.
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 13
Anexo: cálculos adicionales
La norma α de los puntos de la bola tiene fdp
fα(α) =
d
dα
P [‖s‖ ≤ α] = d
dα
cLα
L
cLRL
= LR−LαL−1
y de ahí calculamos fácilmente
E[αn] =
∫ R
0
αnfα(α)dα =
L
L+ n
Rn
Tomando R =
√
e0,
E[‖s‖2] = L
L+ 2
e0
V [‖s‖2] = E[‖s‖4]− E[‖s‖2]2 = 4L
(L+ 4)(L+ 2)2
e20
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 13
Anexo: cálculos adicionales
Distribución de la observación
‖r‖2 = ‖s‖2 + ‖n‖2 + 2
L−1∑
i=0
s¯in¯i
E[‖r‖2] = E[‖s‖2] + E[‖n‖2] + 2
L−1∑
i=0
E[s¯i]︸ ︷︷ ︸
= 0
E[n¯i]︸ ︷︷ ︸
= 0
=
L
L+ 2
e0 +
N0
2
L→∞−→ e0 + N0
2
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 13
Anexo: cálculos adicionales
E[‖r‖2| s] = ‖s‖2 + E[‖n‖2] = ‖s‖2 + N0
2
V [‖r‖2| s] = V
[
‖n‖2 + 2
L−1∑
i=0
s¯in¯i
]
≤ 2V [‖n‖2]]+ 2V
[
2
L−1∑
i=0
s¯in¯i
]
= 2
3
L
(
N0
2
)2
+ 4‖s‖2 1
L
N0
2
● title1
Capacidad de canal
● Introducción
●T. de la capacidad del canal
gaussiano
●Preparativos
●Demostración del resultado
positivo
●El universo de la alta
dimensión
●Visualización en el plano
●Esferas y capacidad del canal
●Diagrama paraL grande
●Cálculo dePE media
●Demostración del resultado
negativo
●Bibliografía
●Cálculos adicionales sobre
distribuciones
Transmisión Digital 13
Anexo: cálculos adicionales
Usamos V [X ] = E[V [X |Y ]] + V [E[X |Y ]]:
V [‖r‖2] = E [V [‖r‖2| s]]+ V [E[‖r‖2| s]]
≤ 6
L
(
N0
2
)2
+
4
L
N0
2
e0 +
4L
(L+ 4)(L+ 2)2
e20
L→∞−→ 0


Transmisión digital: capacidad del canal gaussiano

Abstract

Similar works

Full text

Available Versions

Archivo Digital UPM

Servicio de Coordinación de Bibliotecas de la Universidad Politécnica de Madrid