Teorema de Shannon y Capacidad de Canal

La pregunta ms importante asociada con un canal de comunicacin es la tasa mxima a la que se puede transferir informacin. La informacin solo puede transferirse por una seal si la seal se le permite cambiar. Las seales anlogas que se transmiten por los canales fsicos no pueden cambiar rpida o arbitrariamente. La tasa por la cual una seal puede cambiar se determina por el ancho de banda. De hecho se rige por la misma Ley de Nyquist-Shannon como en el caso de muestreo; una seal de ancho de banda B puede cambiar a una tasa mxima de 2B. Si cada cambio se usa para representar un smbolo, la tasa de informacin mxima es 2B. El teorema de Nyquist-Shannon no hace observacin acerca de la magnitud del cambio. Si los cambios de magnitudes distintas se asocian cada uno con un smbolo separado, la tasa de informacin puede aumentarse. As, si en cada instante la seal cambia, se pueden tomar uno de los M smbolos equiprobables que pueden transmitirse, por lo que la tasa de informacin R queda: ( )

Esta ecuacin establece que cuando M tiende a infinito, as lo har la tasa de informacin. Existe entonces un lmite para el nmero de niveles? El lmite se establece por la presencia de ruido. Si continuamos subdividiendo la magnitud de los cambios en sus intervalos decrecientes, se llega a un punto donde no se puede distinguir los niveles separadamente debido a la presencia de ruido. El ruido por consiguiente ofrece un lmite en la tasa mxima a la que se puede transmitir la informacin. Obviamente, lo que realmente importa es la relacin seal-aruido (SNR). Hay un mximo terico para la tasa en que la informacin pase sin errores sobre el canal. Este mximo se denomina la capacidad del canal C. La Ley de Hartley-Shannon establece que la capacidad de canal C se da por la mxima cantidad de informacin de un evento Yn dado que ha sido transmitido como un evento Xm: { { }} { { } { }} { { }}

Como se demostr con la entropa, el valor mximo se encuentra cuando se transmiten M smbolos equiprobables. Luego: { { }}

El teorema no establece sobre cmo se cumple la capacidad del canal. De hecho, los canales solo se acercan a este lmite. La tarea de proporcionar una alta eficacia del canal es la meta de las tcnicas de decodificacin, como se ver ms adelante. La falla para encontrar un desempeo perfecto se mide por la Tasa de Error de Bits (BER). Tpicamente las BERs son del orden de 106. Para un canal dado existe una tcnica que permita la transmisin libre de errores a travs del canal a una velocidad R, siempre y cuando R C, la capacidad del canal. La identidad se cumple solo cuando la SNR es infinita. Como vimos anteriormente, la parte sorprendente de esta teora es la existencia de la capacidad del canal. Esto ofrece transmisin libre de errores, pero no define que cdigo es el que se requiere. En efecto, lo que se puede deducir de la prueba del teorema es que debe ser lo suficientemente largo. Nadie ha encontrado aun un cdigo que permita el uso de un canal por su capacidad. Sin embargo, Shannon ha vencido el reto, en el sentido de probar que el cdigo existe. La ley de HartleyShannon nos dice que la mxima tasa de informacin de un canal de ancho de banda cero es cero. As, las seales con ancho de banda cero no contienen informacin. Para permitir al canal llevar informacin debemos introducir capacidad para un cambio a peridico. La consecuencia de un cambio a peridico es introducir una expansin de frecuencias en la seal. Una consideracin terica detallada nos lleva a la ley de Nyquist-Shannon en donde una seal de ancho de banda B puede cambiar en una forma a peridica a una tasa mxima de 2B. Consideremos el caso de una seal cuadrada, el cual lo podemos aplicar para el resto de seales peridicas. Si una seal de onda cuadrada se reemplaza con una secuencia a peridica de 1s y 0s, el espectro cambia substancialmente. Los componentes armnicos discretos se reemplazan por un rango continuo de frecuencias cuya forma es la funcin de muestreo sinc(). All hay varios rasgos para notar: El ancho de banda de la seal solo se puede aproximar a un valor finito. La mayora de la energa est contenida en una regin limitada llamada el lbulo principal. Sin embargo, algo de energa queda en todas las frecuencias. Si existen dos cambios en el periodo T, el ancho del lbulo principal es 4/T La ley de Nyquist-Shannon establece que si una seal tiene un ancho de banda 4/T , entonces el

nmero mximo de cambios que pueden tener lugar es 8/T por segundo, o 8 cambios en el periodo T. Si cada cambio se toma para representar 1 bit, est claro que esta seal no lleva tanta informacin como lo permite el ancho de banda. El espectro tiene frecuencias positivas y negativas. estas son simtricas sobre el origen.

El ancho de banda de un canal de comunicacin est limitado por la construccin fsica del canal. La ley de Nyquist-Shannon pone un lmite en el nmero mximo de cambios a peridicos por unidad de tiempo que la seal puede realizar. Es la tarea del modulador para hacer uso mejor del ancho de banda disponible. Sin embargo, el modulador es reprimido por su diseo fsico y construccin, y puede o no puede acercarse al lmite de Nyquist en su funcionamiento. Para un ancho de banda dado, esta ley de Hartley-Shannon establece que si la SNR tiende a infinito, as lo har la capacidad. Est claro que los mtodos que se han descrito ahora no cumplen est ley. Esta incapacidad para satisfacer la ecuacin de Hartley-Shannon es explicada a menudo lejos de determinar que es una relacin terica, y que se debe tratar para el entorno prctico. Esta no es una explicacin buena ni correcta. La ley es vlida para sistemas cuyos entradas y salidas pueden tomar algn valor. Como esto no es cierto para los sistemas reales, la ecuacin no se satisface, pero no hay razn porque debe ser (derivando una relacin alternativa para los canales binarios). La caracterstica notable de la ley de Hartley-Shannon no es que los canales que se utilicen no la obedezcan, sino que un mensaje puede transmitirse libre de errores. Si se consideran los anteriores resultados se puede ver que, para una SNR finita, se tiene siempre una probabilidad de error finita. Es esta la existencia de una capacidad del canal, no su forma funcional, lo que hace la ecuacin una relacin importante. Es importante entender la diferencia entre la mxima tasa de bits y capacidad del canal. La tasa de datos mxima est determinada por el diseo del sistema, y se asocia con una tasa de error dada. La capacidad del canal es la tasa mxima que el canal puede transmitir datos libre de error. Claramente, la capacidad del canal no puede exceder la mxima tasa de datos. Sin embargo, no se ha dicho lo concerniente como puede realizarse una transmisin libre de errores. Primer teorema de Shannon Es evidente que la longitud media del cdigo tendr un lmite inferior mayor que cero, ya que los datos no se pueden comprimir infinitamente. Tendremos por tanto que Lmin. Pero cul es ese lmite por debajo de cual ya no se puede comprimir la informacin? El Primer Teorema de Shannon nos da la respuesta a esta pregunta, y se puede enunciar as: Dada una fuente digital sin memoria con entropa H(S), la longitud media del cdigo para cualquier cdigo sin prdidas esta acotado inferiormente por H(S). Un cdigo ser tanto mejor cuanto ms se aproxime su longitud media a la entropa de la fuente. Para medir esto podemos calcular la eficiencia de un cdigo que se define como: Donde es la eficiencia de la codificacin. De esta manera sabemos si la codificacin ha sido eficiente o por el contrario sigue habiendo redundancia y podramos haber diseado mejor nuestro codificador. Supongamos que tenemos una fuente de informacin sin memoria que entrega smbolos del alfabeto S = {A, B, C, D} con una probabilidad de aparicin: P(A) = 0.5 P (B) = 0.25 P(C) = 0.125 P (D) = 0.125 La informacin contenida en cada smbolo, medida en bits por smbolo, ser: I(A) = 1 I(B) = 2 I(C) = 3 I(D) = 3 Como ya comentamos anteriormente, tienen mayor informacin los smbolos menos probables. Si adems tenemos que asociar ms bits del alfabeto binario Sb a los smbolos menos probables y menos a los ms probables por razones de eficiencia, por qu no asociar a cada smbolo un nmero de bits igual a la informacin por smbolo que contienen? Si hacemos esto, la eficiencia del cdigo es mxima, es decir, la longitud media del cdigo coincidir con la entropa de la fuente:

Este resultado es el deseable para todos los casos, pero hay factores que impiden que esto se logre fcilmente, como en este caso. Por ejemplo, en el caso de que la informacin contenida en cada smbolo sea un nmero no entero. Quiz en este caso debiramos utilizar agrupaciones de smbolos. Un problema que se plantea al utilizar cdigos de longitud variable es cmo distinguir unos smbolos de otros. O mejor planteado el problema: cmo asignar los bits a los smbolos para que la secuencia se pueda decodificar unvocamente. Una condicin suficiente (pero no necesaria) para lograr esto es conseguir que ningn smbolo sea prefijo de otro smbolo. Vamos a ver esto con el ejemplo que hemos presentado antes. Las secuencias de bits que asociamos a los smbolos son: A=0 C = 110 B = 10 D = 111

Vemos que ningn smbolo empieza por la secuencia de A (0), ni por la secuencia de B (10), y por obviamente ni por la secuencia de C ni la de D. Esta condicin nos garantiza que la secuencia 0110010101100011101111000110010... puede ser decodificada unvocamente. Para un nmero reducido de smbolos, este proceso puede hacerse manualmente. Pero si el nmero de smbolos crece, es conveniente tener un algoritmo. El algoritmo debe constar de dos partes, un compresor que aplique la codificacin y un descompresor que decodifique la secuencia recuperando los datos originales. Segundo teorema de Shannon El segundo teorema, definido como el teorema Hartley-Shannon establece que, la capacidad de un canal gaussiano de banda limitada: { { }}

El teorema de Shannon-Hartley nos dice que es posible transmitir informacin libre de ruido siempre y cuando la tasa de informacin no exceda la Capacidad del Canal. As, si el nivel de S/N es menor, o sea la calidad de la seal es ms cercana al ruido, la capacidad del canal disminuir. Esta capacidad mxima es inalcanzable, ya que la frmula de Shannon supone unas condiciones que en la prctica no se dan. No tiene en cuenta el ruido impulsivo, ni la atenuacin ni la distorsin. Representa el lmite terico mximo alcanzable. Cuanto nivel de SNR requeriramos para transmitir sobre la capacidad del canal telefnico, digamos a 56,000 bps? De la formula de Shannon: C = B log2(SNR + 1) = B log2(10^(dB/10) + 1) Despejando los dB bps/B = log2(10^(dB/10) + 1) 2^(bps/B) = 10^(dB/10) + 1 10^(dB/10) = 2^(bps/B) - 1 dB/10 = 1og10 (2^(bps/B) - 1) dB = 10*1og10 (2^(bps/B) - 1) Sustituyendo B= 3,000 y bps = 56,000 dB = 10*1og10 (2^(56,000/3,000) - 1) dB = S/N= 56.2 dB Lo que significa que si queremos rebasar el lmite de Shannon debemos de aumentar el nivel de SNR.