Professional Documents
Culture Documents
la información
Steeve Zozor
6 de noviembre de 2018
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza
Información mutua – divergencias
Desigualdades – relaciones entre medidas
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza
Información mutua – divergencias
Desigualdades – relaciones entre medidas
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
2 Información mutua – divergencias
Entropı́a condicional, información mutua
Aplicaciones
¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Divergencias
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza
Información mutua – divergencias
Desigualdades – relaciones entre medidas
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
2 Información mutua – divergencias
Entropı́a condicional, información mutua
Aplicaciones
¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Divergencias
3 Desigualdades – relaciones entre medidas
Desigualdades triviales
Cadenas de Markov
Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
2 Información mutua – divergencias
Entropı́a condicional, información mutua
Aplicaciones
¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Divergencias
3 Desigualdades – relaciones entre medidas
Desigualdades triviales
Cadenas de Markov
Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Ejemplos preliminares
Queremos codificar cada cara de un dado, con un código binario (0 y 1), t.q:
una secuencia binaria debe ser descifrable (sin ambigüedad),
un buen código minimiza el número promedio de bits.
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Ejemplos preliminares
Queremos codificar cada cara de un dado, con un código binario (0 y 1), t.q:
una secuencia binaria debe ser descifrable (sin ambigüedad),
un buen código minimiza el número promedio de bits.
Sea una moneda y X número de sorteos antes de obtener una “ceca”. Juan tiró x.
Juego: adivinar x preguntandole lo menos posible (contesta sólo “si” o “no”).
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Ejemplos preliminares
Queremos codificar cada cara de un dado, con un código binario (0 y 1), t.q:
una secuencia binaria debe ser descifrable (sin ambigüedad),
un buen código minimiza el número promedio de bits.
Sea una moneda y X número de sorteos antes de obtener una “ceca”. Juan tiró x.
Juego: adivinar x preguntandole lo menos posible (contesta sólo “si” o “no”).
Un generador X ∈ {−1; +1}, α = Pr[X = 1], sirve para mandar sı́mbolos a través
de un canal. Como arreglar α para minimizar los errores de transmisión?
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Ejemplos preliminares
Queremos codificar cada cara de un dado, con un código binario (0 y 1), t.q:
una secuencia binaria debe ser descifrable (sin ambigüedad),
un buen código minimiza el número promedio de bits.
Sea una moneda y X número de sorteos antes de obtener una “ceca”. Juan tiró x.
Juego: adivinar x preguntandole lo menos posible (contesta sólo “si” o “no”).
Un generador X ∈ {−1; +1}, α = Pr[X = 1], sirve para mandar sı́mbolos a través
de un canal. Como arreglar α para minimizar los errores de transmisión?
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Axiomas
Invariante por permutación y continuo vs los pn ,
1
Caso uniforme pn = N
, H(p) crece vs N ,
Recursividad:
p1
H(p1 , p2 , p3 , . . . , pN ) = H(p1 + p2 , p3 , . . . , pN ) + (p1 + p2 )H , p2
p1 +p2 p1 +p2
.
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Axiomas equivalentes
Incerteza elemental – información de Hartley h(pn ), continua
P
el promedio es H(X) = n pn h(pn )
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Solución – definición
h(pk ql ) = h(pk ) + h(ql ) impone h(p) = α log(p)
def 1
kB T = log b
( logb , e.g. H en bits (log2 ) o en nats (ln)).
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Algunas propiedades
Basicas. . .
H es Schur-cóncava, i.e.,
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Algunas propiedades
Basicas. . .
H es Schur-cóncava, i.e.,
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1
ej. {p, 1 − p}
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Algunas propiedades
Basicas. . .
H es Schur-cóncava, i.e.,
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1
ej. {p, 1 − p}
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Algunas propiedades
Basicas. . .
H es Schur-cóncava, i.e.,
n≤N n≤N
X ↓ X ↓
p≺q ≡ pk ≤ qk ⇒ H(p) ≥ H(q)
k=1 k=1
ej. {p, 1 − p}
Concavidad
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
En promedio, 8
× 3 = 3 bits.
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1
Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1
Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
“0” muy probable código corto, “7” poco probable código largo
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1
Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
“0” muy probable código corto, “7” poco probable código largo
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
la secuencia es descifrable sin ambigüedad (“prefix-free code”),
6 bits. . . ,
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1
Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
“0” muy probable código corto, “7” poco probable código largo
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
la secuencia es descifrable sin ambigüedad (“prefix-free code”),
1 1
6 bits. . . , pero en promedio 2
×1 + 4
×2 + · · · = 2 bits
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1
Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
“0” muy probable código corto, “7” poco probable código largo
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
la secuencia es descifrable sin ambigüedad (“prefix-free code”),
1 1
6 bits. . . , pero en promedio 2
×1 + 4
×2 + · · · = 2 bits = H(X)
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
El problema de codificación. . .
Dado bien equilibrado
Sea un dado de 8 caras, bien equilibrado. Un código posible es:
Usando siempre 3 bits: (000, 001, 010, 011, 100, 101, 110, 111),
P1
× 3 = 3 bits. Nota: H(X) = − 81 log2 18 = 3 bits
P
En promedio, 8
Dado trucado
1 1 1 1
, , , , 1, 1, 1, 1
Supongamos ahora el dado trucado, con p = 2 4 8 16 64 64 64 64
:
Como antes se puede usar siempre 3 bits ⇒ 3 bits en promedio. Pero. . .
“0” muy probable código corto, “7” poco probable código largo
Con la elección (0, 10, 110, 1110, 111100, 111101, 111110, 111111)
la secuencia es descifrable sin ambigüedad (“prefix-free code”),
1 1
6 bits. . . , pero en promedio 2
×1 + 4
×2 + · · · = 2 bits = H(X)
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
1 2
Potencia entropica N (X) = 2πe
exp d
H(X)
2
(vol D) d 1
N (X) ≥ 0; unif. N (X) = 2π e
; gauss.: N (X) = |Σ| d
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Ejemplos famosos
φ h H(h,φ) (p)
P
Shannon −x ln x x − k pk ln pk
ln( k pα
k)
P
α ln x
Rényi x 1−α P 1−α α
k pk − 1
HCT xα x−1
1−α P 1−α
Unified xr xs −1 ( k prk )s −1
(1−r) s (1−r) s
1−κ
x1−κ −x1+κ k (pk −p1+κ )
P
Kaniadakis 2κ
x 2κ
k
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Propiedades basicas
Invariante bajo una permutación de los pk
Expansibilidad: H(h,φ) ([p1 · · · pN 0]) = H(h,φ) ([p1 · · · pN ])
Fusión: H(h,φ) ([p1 p2 · · · pN ]) ≥ H(h,φ) ([p1 + p2 · · · pN ])
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Propiedades basicas
Invariante bajo una permutación de los pk
Expansibilidad: H(h,φ) ([p1 · · · pN 0]) = H(h,φ) ([p1 · · · pN ])
Fusión: H(h,φ) ([p1 p2 · · · pN ]) ≥ H(h,φ) ([p1 + p2 · · · pN ])
Mayorización y cotas
Schur-concavidad: p ≺ q ⇒ H(h,φ) (p) ≥ H(h,φ) (q)
Reciproca si para toda las pares (h, φ)
1
Consecuencia: 0 ≤ H(h,φ) (p) ≤ h N φ N
con
1
Mı́nimo cuando pn = δk,n , Máximo cuando pn = N
y crece vs N
h cóncava ⇒ H(h,φ) (p) cóncava vs p
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
xλ +(1−x)λ −1
y x
f (x)+(1−x)λf = f (y)+(1−y)λf
21−λ −1
f (x) = , 1−x 1−y
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
xλ +(1−x)λ −1
y x
f (x)+(1−x)λf = f (y)+(1−y)λf
21−λ −1
f (x) = , 1−x 1−y
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Entropı́a máxima
f ((vol D)1−λ )
X ∈ D, vol D < +∞, Fλ,max = 1−λ
en el caso uniforme
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Entropı́a máxima
f ((vol D)1−λ )
X ∈ D, vol D < +∞, Fλ,max = 1−λ
en el caso uniforme
Efecto de lente
λ < 1: peso sobre las colas de la distribución
λ > 1: peso sobre el modo principal de la distribución
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Un poco de fı́sica. . .
El gas perfecto
N particulas (masa m), velocidades vi , en un volumen Λ, energı́a total E,
( N )
1
X
2
Velocidades en Ω = (v1 , . . . , vN ) mvi = E (hiperesfera)
i=1
2
Principio de la entropı́a máxima =⇒ repartición uniforme en la superficie Ω
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Un poco de fı́sica. . .
El gas perfecto
N particulas (masa m), velocidades vi , en un volumen Λ, energı́a total E,
( N )
1
X
2
Velocidades en Ω = (v1 , . . . , vN ) mvi = E (hiperesfera)
i=1
2
Principio de la entropı́a máxima =⇒ repartición uniforme en la superficie Ω
Subsistema
Λ0 ⊂ Λ con N0 < N particulas:
3 (N −N0 )−2
m t 2
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0
2E +
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Un poco de fı́sica. . .
El gas perfecto
N particulas (masa m), velocidades vi , en un volumen Λ, energı́a total E,
( N )
1
X
2
Velocidades en Ω = (v1 , . . . , vN ) mvi = E (hiperesfera)
i=1
2
Principio de la entropı́a máxima =⇒ repartición uniforme en la superficie Ω
Subsistema
Λ0 ⊂ Λ con N0 < N particulas:
3 (N −N0 )−2
m t 2
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0
2E +
Limite termodinámico
Λ → R3 , N
|Λ|
→ ρ, & E
|Λ|
→e
3mρ t
p(v1 , . . . , vN0 ) ∝ exp − v0 v0 (Boltzmann)
4e
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Un poco de fı́sica. . .
El gas perfecto
N particulas (masa m), velocidades vi , en un volumen Λ, energı́a total E,
( N )
1
X
2
Velocidades en Ω = (v1 , . . . , vN ) mvi = E (hiperesfera)
i=1
2
Principio de la entropı́a máxima =⇒ repartición uniforme en la superficie Ω
Subsistema
Λ0 ⊂ Λ con N0 < N particulas:
3 (N −N0 )−2
m t 2
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0
2E +
Limite termodinámico
Λ → R3 , N
|Λ|
→ ρ, & E
|Λ|
→e
3mρ t
p(v1 , . . . , vN0 ) ∝ exp − v0 v0 (Boltzmann) ⇒ Shannon
4e
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Un poco de fı́sica. . .
El gas perfecto
N particulas (masa m), velocidades vi , en un volumen Λ, energı́a total E,
( N )
1
X
2
Velocidades en Ω = (v1 , . . . , vN ) mvi = E (hiperesfera)
i=1
2
Principio de la entropı́a máxima =⇒ repartición uniforme en la superficie Ω
Subsistema
Λ0 ⊂ Λ con N0 < N particulas:
3 (N −N0 )−2
m t 2 3N − 3N0
p(v1 , . . . , vN0 ) ∝ 1 − v0 v0 ⇒ Fλ , λ = >1
2E + 3N − 3N0 − 2
Limite termodinámico
Λ → R3 , N
|Λ|
→ ρ, & E
|Λ|
→e
3mρ t
p(v1 , . . . , vN0 ) ∝ exp − v0 v0 (Boltzmann) ⇒ Shannon
4e
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Definición
(
φ cóncava y h creciente, ó
H (h,φ) (ρ) = h(Tr φ(ρ)) con
φ cónvexa y h decreciente
y φ(0) = 0, h(φ(1)) = 0. . .
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Definición
(
φ cóncava y h creciente, ó
H (h,φ) (ρ) = h(Tr φ(ρ)) con
φ cónvexa y h decreciente
y φ(0) = 0, h(φ(1)) = 0. . .
Ejemplos famosos
φ h H(h,φ) (p)
P
von Neuman −x ln x x − k pk ln pk
ln( k pα
k)
P
Rényi xα ln x
1−α
P 1−α α
k pk − 1
HCT xα x−1
1−α 1−α
xs −1 ( k prk )s −1
P
Unified xr (1−r) s (1−r) s
1−κ
x1−κ −x1+κ k (pk −p1+κ )
P
Kaniadakis 2κ
x 2κ
k
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Forma diagonal
X
ρ= λk |ek ihek |
k
donde
{|ek i} es la base ortonormal de HN diagonalizando ρ,
λ = [λ1 · · · λN ] ∈ [0 1]N ,
P
k λk = 1 las autovalores de ρ
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Forma diagonal
X
ρ= λk |ek ihek |
k
donde
{|ek i} es la base ortonormal de HN diagonalizando ρ,
λ = [λ1 · · · λN ] ∈ [0 1]N ,
P
k λk = 1 las autovalores de ρ
Cuántica vs clásica
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Propiedades
Schur-concavidad (y recip.)
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0
⇒
igualdad sii ρ0 = U ρ U † o ρ = U ρ0 U † con U isometrı́a (U † U = I)
Reciproca sii para cualquier par de funcionales entrópicos (h, φ).
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Propiedades
Schur-concavidad (y recip.)
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0
⇒
igualdad sii ρ0 = U ρ U † o ρ = U ρ0 U † con U isometrı́a (U † U = I)
Reciproca sii para cualquier par de funcionales entrópicos (h, φ).
Cotas
1
0 ≤ H (h,φ) (ρ) ≤ h N φ N
I
Mı́ni. cuando ρ = |ψihψ| estado puro, Máxi. cuando ρ = N
mezcla máxima
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Propiedades
Schur-concavidad (y recip.)
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0
⇒
igualdad sii ρ0 = U ρ U † o ρ = U ρ0 U † con U isometrı́a (U † U = I)
Reciproca sii para cualquier par de funcionales entrópicos (h, φ).
Cotas
1
0 ≤ H (h,φ) (ρ) ≤ h N φ N
I
Mı́ni. cuando ρ = |ψihψ| estado puro, Máxi. cuando ρ = N
mezcla máxima
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Propiedades
Schur-concavidad (y recip.)
ρ ≺ ρ0 H (h,φ) (ρ) ≥ H (h,φ) ρ0
⇒
igualdad sii ρ0 = U ρ U † o ρ = U ρ0 U † con U isometrı́a (U † U = I)
Reciproca sii para cualquier par de funcionales entrópicos (h, φ).
Cotas
1
0 ≤ H (h,φ) (ρ) ≤ h N φ N
I
Mı́ni. cuando ρ = |ψihψ| estado puro, Máxi. cuando ρ = N
mezcla máxima
Concavidad
Siempre que h es cóncava, H (h,φ) (·) es cóncava,
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
E(ρ) = k Ak ρA†k ,
P P † P †
k Ak Ak = I = k Ak Ak (completitud)
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
E(ρ) = k Ak ρA†k ,
P P † P †
k Ak Ak = I = k Ak Ak (completitud)
Consecuencia
{Ek } ∈ E POVM de rango uno, pE (ρ) = Tr(Ek ρ),
H (h,φ) (ρ) = min H(h,φ) pE (ρ)
E
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Estados puros
ρAB = |ψihψ| H (h,φ) ρA = H (h,φ) ρB
⇒
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Estados separables
Estado separable:
X ED ED X
ρAB = ωm ΨA ΨA
B
m ⊗ Ψm ΨB ωm ≥ 0, ωm = 1
m m
m m
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Estados separables
Estado separable:
X ED ED X
ρAB = ωm ΨA ΨA
B
m ⊗ Ψm ΨB ωm ≥ 0, ωm = 1
m m
m m
Desigualdad de separabilidad
Si ρAB es separable, entonces
n o
H (h,φ) ρAB ≥ max H (h,φ) ρA , H (h,φ) ρB
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Detección
1−ω α 1+3ω α
− f 21−α
f 3 4
+ 4
Criterio: > 0 ⇒ entrelazamiento
α−1
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Detección
1−ω α 1+3ω α
− f 21−α
f 3 4
+ 4
Criterio: > 0 ⇒ entrelazamiento
α−1
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Alfabeto: A = {0, 1}
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
isometria lineal U : HS 7→ FA
Decodificación sin ambigüedad:
c(j1 ) . . . c(jm ) → única sj1 . . . sjm
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
isometria lineal U : HS 7→ FA
Elección: U = di=1 |c(i)ihei |
P
Decodificación sin ambigüedad:
⊗l
c(j1 ) . . . c(jm ) → única sj1 . . . sjm c(i) código clásico, |c(i)i ∈ HA i
{|ei i}di=1 base ortonormal de HS
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
isometria lineal U : HS 7→ FA
Elección: U = di=1 |c(i)ihei |
P
Decodificación sin ambigüedad:
⊗l
c(j1 ) . . . c(jm ) → única sj1 . . . sjm c(i) código clásico, |c(i)i ∈ HA i
{|ei i}di=1 base ortonormal de HS
Estado codificado: C(ρ) = U ρ U †
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
ln 6∈ N ⇒ ln = − log2 pn
no da un código
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
ln 6∈ N ⇒ ln = − log2 pn
no da un código
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
ln 6∈ N ⇒ ln = − log2 pn
no da un código
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
ln 6∈ N ⇒ ln = − log2 pn
no da un código
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
P opt
U opt = i c (i) hρi |
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
opt minD ~l D ρ
~†
código de Huffman c (n), ópt.,
Birkhoff: ~l D ρ
~ † = k αk~l Pk ρ
~ t ≥ ~l Pk0 ρ
~†
P
no expresión analı́tica de los ln
P opt
U opt = c (i) hρi |
i
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
opt minD ~l D ρ
~†
código de Huffman c (n), ópt.,
Birkhoff: ~l D ρ
~ † = k αk~l Pk ρ
~ t ≥ ~l Pk0 ρ
~†
P
no expresión analı́tica de los ln opt
Optim. wrt |c(i)i c (i) wrt ρi
P
`0 (C(ρ)) = Tr(C(ρ)Λ) = i ρi l i
opt P opt
U = c (i) hρi |
i
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
opt minD ~l D ρ
~†
código de Huffman c (n), ópt.,
Birkhoff: ~l D ρ
~ † = k αk~l Pk ρ
~ t ≥ ~l Pk0 ρ
~†
P
no expresión analı́tica de los ln opt
Optim. wrt |c(i)i c (i) wrt ρi
P
`0 (C(ρ)) = Tr(C(ρ)Λ) = i ρi l i
opt P opt
U = c (i) hρi |
i
opt minD ~l D ρ
~†
código de Huffman c (n), ópt.,
Birkhoff: ~l D ρ
~ † = k αk~l Pk ρ
~ t ≥ ~l Pk0 ρ
~†
P
no expresión analı́tica de los ln opt
Optim. wrt |c(i)i c (i) wrt ρi
P
`0 (C(ρ)) = Tr(C(ρ)Λ) = i ρi l i
opt P opt
U = c (i) hρi |
i
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
Humblet: copt
t (n), óptimo
Humblet: copt
t (n), óptimo
S. Zozor
Elementos introductorios a la teorı́a de la información
Axiomas, entropı́a de Shannon, propiedades
Entropı́a – medida de incerteza Entropı́a diferencial
Información mutua – divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
1 i1+t
σ −t β −t Tr ρ 1+t
h
Ahora ρ U † 2tΛ U = ρ(U † 2−Λ U )−t = ρ1+t
t
1 i1+t
σ −t β −t Tr ρ 1+t
h
Ahora ρ U † 2tΛ U = ρ(U † 2−Λ U )−t = ρ1+t
t
1 i1+t
σ −t β −t Tr ρ 1+t
h
Ahora ρ U † 2tΛ U = ρ(U † 2−Λ U )−t = ρ1+t
t
Casos limites
1 i1+t
σ −t β −t Tr ρ 1+t
h
Ahora ρ U † 2tΛ U = ρ(U † 2−Λ U )−t = ρ1+t
t
Casos limites
t → 0 ⇒ S1 (ρ) ≡ S(ρ) = − Tr(ρ log2 ρ) von Neumann
1 i1+t
σ −t β −t Tr ρ 1+t
h
Ahora ρ U † 2tΛ U = ρ(U † 2−Λ U )−t = ρ1+t
t
Casos limites
t → 0 ⇒ S1 (ρ) ≡ S(ρ) = − Tr(ρ log2 ρ) von Neumann
t → ∞ ⇒ S0 (ρ) ≡ − log2 Rk(ρ)
Based on the problem of quantum data compression in a lossless way, we present here a
Compresión cuántica: Exp. & largo promedio interpretation for the family of quantum Rényi entropies. In order to do this, we appeal t
quantum encoding scheme that satisfies a quantum version of the Kraft-McMillan inequa
the standard situation, where one is intended to minimize the usual average length of th
codewords, we recover the known results, namely that the von Neumann entropy of the
Largo promedio the average length of the optimal codes. Otherwise, we show that by invoking an expon
length, related to an exponential penalization over large codewords, the quantum Rény
as the natural quantities relating the optimal encoding schemes with the source descript
analogous role to that of von Neumann entropy.
One of the main concerns in classical and quantum information theory is the problem of enco
by using fewest resources as possible. This task is known as data compression and it can be c
0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless way, depending on whether the original data can be recovered with o
respectively.
Here, we are interested in lossless quantum data compression. In order to state our proposa
how this task works in the classical domain. The mathematical foundations of classical data co
found in the seminal paper of Shannon1 (see e.g.2 for an introduction to the topic), although we
as follows. Let S = {pi , si} be a classical source where each symbol si has associated a probability
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , k − 1} in an
particular, a k-ary classical code c of S is said uniquely decodable if this assignment of codewor
any possible concatenation. A celebrated result states that any uniquely decodable code necess
Kraft-McMillan inequality3,4: ∑ i k−i ≤ 1 where i is the length of the codeword c(si ) (measure
Conversely, given a set of codewords lengths {i }, there exists a uniquely decodable code with th
lossless data compression consists in finding a uniquely decodable code taking into account the s
tion of the source. Formally, this is carried out by minimizing the average codeword length L =
Combinación convexa de S 1 (ρ) (largo de Campbell) & S(ρ) (largo promedio)
www.nature.com/scientificreports
the Kraft-McMillan inequality. In the end, one obtains a variable-length code where shorte
t+1 assigned to symbols with a high probability of occurrence, whereas larger codewords are assigne
low probability (see2, chap. 5). Moreover, one has that (in the limit of the large number of i
identically-distributed sources) the average length of the optimal code is arbitrarily close to the
of the source, H (p) = −∑ i pi logkpi .
As noticed by Campbell, the previous solution has the disadvantage that it can happen th
length turns out to be very large for symbols with a sufficiently low probability of occurrence5. I
OPEN Lossless quantum data 1
CONICET-Universidad de Buenos Aires, Instituto de Investigación en Ciencias de la Computac
compression with exponential Aires, Argentina. 2Instituto de Física La Plata, UNLP, CONICET, Facultad de Ciencias Exactas, Cas
penalization: an operational 1900 La Plata, La Plata, Argentina. 3Univ. Grenoble Alpes, CNRS, Grenoble INP Institute of Eng
Lab, 38000, Grenoble, France. Correspondence and requests for materials should be addressed
Received: 2 May 2017
Accepted: 21 September 2017 interpretation of the quantum gbosyk@fisica.unlp.edu.ar)
Rényi entropy
Published: xx xx xxxx
Guido Bellomo1, Gustavo M. Bosyk2, Federico Holik2 & Steeve Zozor3 Scientific Reports | 7: 14765 | DOI:10.1038/s41598-017-13350-y
Based on the problem of quantum data compression in a lossless way, we present here an operational
interpretation for the family of quantum Rényi entropies. In order to do this, we appeal to a very general
S. Zozor
Elementos
quantum introductorios
encoding scheme that satisfies a quantum version of the Kraft-McMillan ainequality.
la Then, teorı́a
in de la información
Accepted:
Entropı́a – medida de 21incerteza
September 2017
Received: 2 May 2017
interpretation of the quantum
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Información mutuaPublished:
Rényi entropy
xx xx xxxx
– divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas
Guido Bellomo1
, Gustavo M.generalizadas y 2 propiedades
Bosyk2, Federico Holik & Steeve Zozor3
Based on the problem of quantum data compression in a lossless way, we present here a
Compresión cuántica: Exp. & largo promedio interpretation for the family of quantum Rényi entropies. In order to do this, we appeal t
quantum encoding scheme that satisfies a quantum version of the Kraft-McMillan inequa
the standard situation, where one is intended to minimize the usual average length of th
codewords, we recover the known results, namely that the von Neumann entropy of the
Largo promedio the average length of the optimal codes. Otherwise, we show that by invoking an expon
length, related to an exponential penalization over large codewords, the quantum Rény
Sα relating the optimal encoding schemes with the source descript
as the natural quantities
analogous role to that of von Neumann entropy.
One of the main concerns in classical and quantum information theory is the problem of enco
by using fewest resources as possible. This task is known as data compression and it can be c
0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless way, depending on whether the original data can be recovered with o
respectively.
Here, we are interested in lossless quantum data compression. In order to state our proposa
how this task works in the classical domain. The mathematical foundations of classical data co
found in the seminal paper
• of Shannon (see e.g. for an introduction to the topic), although we
1 2
as follows. Let S = {pi , si} be a classical source where each symbol si has associated a probability
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , kα− 1} in an
particular, a k-ary classical code c of S is said uniquely decodable
1 = 1+t 1 assignment of codewor
if this
any possible concatenation. A celebrated result states that any uniquely decodable code necess
Kraft-McMillan inequality3,4: ∑ i k−i ≤ 1 where i is the length of the codeword c(si ) (measure
Conversely, given a set of codewords lengths {i }, there exists a uniquely decodable code with th
lossless data compression consists in finding a uniquely decodable code taking into account the s
tion of the source. Formally, this is carried out by minimizing the average codeword length L =
Combinación convexa de S 1 (ρ) (largo de Campbell) & S(ρ) (largo promedio)
www.nature.com/scientificreports
the Kraft-McMillan inequality. In the end, one obtains a variable-length code where shorte
t+1 assigned to symbols with a high probability of occurrence, whereas larger codewords are assigne
low probability (see2, chap. 5). Moreover, one has that (in the limit of the large number of i
identically-distributed sources) the average length of the optimal code is arbitrarily close to the
of the source, H (p) = −∑ i pi logkpi .
As noticed by Campbell, the previous solution has the disadvantage that it can happen th
length turns out to be very large for symbols with a sufficiently low probability of occurrence5. I
OPEN Lossless quantum data 1
CONICET-Universidad de Buenos Aires, Instituto de Investigación en Ciencias de la Computac
compression with exponential Aires, Argentina. 2Instituto de Física La Plata, UNLP, CONICET, Facultad de Ciencias Exactas, Cas
penalization: an operational 1900 La Plata, La Plata, Argentina. 3Univ. Grenoble Alpes, CNRS, Grenoble INP Institute of Eng
Lab, 38000, Grenoble, France. Correspondence and requests for materials should be addressed
Received: 2 May 2017
Accepted: 21 September 2017 interpretation of the quantum gbosyk@fisica.unlp.edu.ar)
Rényi entropy
Published: xx xx xxxx
Guido Bellomo1, Gustavo M. Bosyk2, Federico Holik2 & Steeve Zozor3 Scientific Reports | 7: 14765 | DOI:10.1038/s41598-017-13350-y
Based on the problem of quantum data compression in a lossless way, we present here an operational
interpretation for the family of quantum Rényi entropies. In order to do this, we appeal to a very general
S. Zozor
Elementos
quantum introductorios
encoding scheme that satisfies a quantum version of the Kraft-McMillan ainequality.
la Then, teorı́a
in de la información
Accepted:
Entropı́a – medida de 21incerteza
September 2017
Received: 2 May 2017
interpretation of the quantum
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Información mutuaPublished:
Rényi entropy
xx xx xxxx
– divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas
Guido Bellomo1
, Gustavo M.generalizadas y 2 propiedades
Bosyk2, Federico Holik & Steeve Zozor3
Based on the problem of quantum data compression in a lossless way, we present here a
Compresión cuántica: Exp. & largo promedio interpretation for the family of quantum Rényi entropies. In order to do this, we appeal t
quantum encoding scheme that satisfies a quantum version of the Kraft-McMillan inequa
the standard situation, where one is intended to minimize the usual average length of th
codewords, we recover the known results, namely that the von Neumann entropy of the
Largo promedio the average length of the optimal codes. Otherwise, we show that by invoking an expon
length, related to an exponential penalization over large codewords, the quantum Rény
Sα relating the optimal encoding schemes with the source descript
as the natural quantities
analogous role to that of von Neumann entropy.
One of the main concerns in classical and quantum information theory is the problem of enco
by using fewest resources as possible. This task is known as data compression and it can be c
0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless way, depending on whether the original data can be recovered with o
respectively.
• in lossless quantum data compression. In order to state our proposa
Here, we are interested
how this task works in•the classical domain. The mathematical foundations of classical data co
found in the seminal paper
• of Shannon (see e.g. for an introduction to the topic), although we
1 2
as follows. Let S = {pi , si} be a classical source where each symbol si has associated a probability
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , kα− 1} in an
1
particular, a k-ary classical code c of S is said uniquely decodable 1if this assignment of codewor
any possible concatenation. A1+t celebrated result states that any uniquely decodable code necess
Kraft-McMillan inequality3,4: ∑ i k−i ≤ 1 where i is the length of the codeword c(si ) (measure
Conversely, given a set of codewords lengths {i }, there exists a uniquely decodable code with th
lossless data compression consists in finding a uniquely decodable code taking into account the s
tion of the source. Formally, this is carried out by minimizing the average codeword length L =
Combinación convexa de S 1 (ρ) (largo de Campbell) & S(ρ) (largo promedio)
www.nature.com/scientificreports
the Kraft-McMillan inequality. In the end, one obtains a variable-length code where shorte
t+1 assigned to symbols with a high probability of occurrence, whereas larger codewords are assigne
low probability (see2, chap. 5). Moreover, one has that (in the limit of the large number of i
identically-distributed sources) the average length of the optimal code is arbitrarily close to the
of the source, H (p) = −∑ i pi logkpi .
As noticed by Campbell, the previous solution has the disadvantage that it can happen th
length turns out to be very large for symbols with a sufficiently low probability of occurrence5. I
OPEN Lossless quantum data 1
CONICET-Universidad de Buenos Aires, Instituto de Investigación en Ciencias de la Computac
compression with exponential Aires, Argentina. 2Instituto de Física La Plata, UNLP, CONICET, Facultad de Ciencias Exactas, Cas
penalization: an operational 1900 La Plata, La Plata, Argentina. 3Univ. Grenoble Alpes, CNRS, Grenoble INP Institute of Eng
Lab, 38000, Grenoble, France. Correspondence and requests for materials should be addressed
Received: 2 May 2017
Accepted: 21 September 2017 interpretation of the quantum gbosyk@fisica.unlp.edu.ar)
Rényi entropy
Published: xx xx xxxx
Guido Bellomo1, Gustavo M. Bosyk2, Federico Holik2 & Steeve Zozor3 Scientific Reports | 7: 14765 | DOI:10.1038/s41598-017-13350-y
Based on the problem of quantum data compression in a lossless way, we present here an operational
interpretation for the family of quantum Rényi entropies. In order to do this, we appeal to a very general
S. Zozor
Elementos
quantum introductorios
encoding scheme that satisfies a quantum version of the Kraft-McMillan ainequality.
la Then, teorı́a
in de la información
Accepted:
Entropı́a – medida de 21incerteza
September 2017
Received: 2 May 2017
interpretation of the quantum
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Información mutuaPublished:
Rényi entropy
xx xx xxxx
– divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas
Guido Bellomo1
, Gustavo M.generalizadas y 2 propiedades
Bosyk2, Federico Holik & Steeve Zozor3
Based on the problem of quantum data compression in a lossless way, we present here a
Compresión cuántica: Exp. & largo promedio interpretation for the family of quantum Rényi entropies. In order to do this, we appeal t
quantum encoding scheme that satisfies a quantum version of the Kraft-McMillan inequa
the standard situation, where one is intended to minimize the usual average length of th
codewords, we recover the known results, namely that the von Neumann entropy of the
Largo promedio the average length of the optimal codes. Otherwise, we show that by invoking an expon
length, related to an exponential penalization over large codewords, the quantum Rény
Sα relating the optimal encoding schemes with the source descript
as the natural quantities
analogous role to that of von Neumann entropy.
One of the main concerns in classical and quantum information theory is the problem of enco
by using fewest resources as possible. This task is known as data compression and it can be c
0≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless•way, depending on whether the original data can be recovered with o
respectively. •
Here, we are interested in lossless quantum data compression. In order to state our proposa
how this task works in the classical domain. The mathematical foundations of classical data co
found in the seminal paper
• of Shannon (see e.g. for an introduction to the topic), although we
1 2
as follows. Let S = {pi , si} be a classical source where each symbol si has associated a probability
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , kα− 1} in an
1
particular, a k-ary classical code c of S is said uniquely decodable1if this assignment of codewor
any possible concatenation. 1+t A celebrated result states that any uniquely decodable code necess
Kraft-McMillan inequality3,4: ∑ i k−i ≤ 1 where i is the length of the codeword c(si ) (measure
Conversely, given a set of codewords lengths {i }, there exists a uniquely decodable code with th
lossless data compression consists in finding a uniquely decodable code taking into account the s
tion of the source. Formally, this is carried out by minimizing the average codeword length L =
Combinación convexa de S 1 (ρ) (largo de Campbell) & S(ρ) (largo promedio)
www.nature.com/scientificreports
the Kraft-McMillan inequality. In the end, one obtains a variable-length code where shorte
t+1 assigned to symbols with a high probability of occurrence, whereas larger codewords are assigne
low probability (see2, chap. 5). Moreover, one has that (in the limit of the large number of i
identically-distributed sources) the average length of the optimal code is arbitrarily close to the
of the source, H (p) = −∑ i pi logkpi .
As noticed by Campbell, the previous solution has the disadvantage that it can happen th
length turns out to be very large for symbols with a sufficiently low probability of occurrence5. I
OPEN Lossless quantum data 1
CONICET-Universidad de Buenos Aires, Instituto de Investigación en Ciencias de la Computac
compression with exponential Aires, Argentina. 2Instituto de Física La Plata, UNLP, CONICET, Facultad de Ciencias Exactas, Cas
penalization: an operational 1900 La Plata, La Plata, Argentina. 3Univ. Grenoble Alpes, CNRS, Grenoble INP Institute of Eng
Lab, 38000, Grenoble, France. Correspondence and requests for materials should be addressed
Received: 2 May 2017
Accepted: 21 September 2017 interpretation of the quantum gbosyk@fisica.unlp.edu.ar)
Rényi entropy
Published: xx xx xxxx
Guido Bellomo1, Gustavo M. Bosyk2, Federico Holik2 & Steeve Zozor3 Scientific Reports | 7: 14765 | DOI:10.1038/s41598-017-13350-y
Based on the problem of quantum data compression in a lossless way, we present here an operational
interpretation for the family of quantum Rényi entropies. In order to do this, we appeal to a very general
S. Zozor
Elementos
quantum introductorios
encoding scheme that satisfies a quantum version of the Kraft-McMillan ainequality.
la Then, teorı́a
in de la información
Accepted:
Entropı́a – medida de 21incerteza
September 2017
Received: 2 May 2017
interpretation of the quantum
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Información mutuaPublished:
Rényi entropy
xx xx xxxx
– divergencias Entropı́as de Salicrú y casos particulares
Desigualdades – relaciones entre medidas Unas ilustraciones. . .
Entropı́as cuánticas
Guido Bellomo1
, Gustavo M.generalizadas y 2 propiedades
Bosyk2, Federico Holik & Steeve Zozor3
Based on the problem of quantum data compression in a lossless way, we present here a
Compresión cuántica: Exp. & largo promedio interpretation for the family of quantum Rényi entropies. In order to do this, we appeal t
quantum encoding scheme that satisfies a quantum version of the Kraft-McMillan inequa
the standard situation, where one is intended to minimize the usual average length of th
codewords, we recover the known results, namely that the von Neumann entropy of the
Largo promedio the average length of the optimal codes. Otherwise, we show that by invoking an expon
length, related to an exponential penalization over large codewords, the quantum Rény
Sα relating the optimal encoding schemes with the source descript
as the natural quantities
analogous role to that of von Neumann entropy.
•
One of the main concerns in classical and quantum information theory is the problem of enco
by using fewest resources as possible. This task is known as data compression and it can be c
0 ≤ `0 (Ctsh (ρ))− 1
1+t
S(ρ) + t
S 1 (ρ)
1+t 1+t
<1in a lossy or a lossless way, depending on whether the original data can be recovered with o
respectively.
Here, we are interested in lossless quantum data compression. In order to state our proposa
how this task works in the classical domain. The mathematical foundations of classical data co
found in the seminal paper
• of Shannon (see e.g. for an introduction to the topic), although we
1 2
as follows. Let S = {pi , si} be a classical source where each symbol si has associated a probability
The idea is to assign to each symbol a codeword c(si ) of some alphabet A = {0, … , kα− 1} in an
1
particular, a k-ary classical
1+t
→ code 0 c of S is said uniquely decodable1if this assignment of codewor
any possible concatenation. A celebrated result states that any uniquely decodable code necess
Kraft-McMillan inequality3,4: ∑ i k−i ≤ 1 where i is the length of the codeword c(si ) (measure
Conversely, given a set of codewords lengths {i }, there exists a uniquely decodable code with th
lossless data compression consists in finding a uniquely decodable code taking into account the s
tion of the source. Formally, this is carried out by minimizing the average codeword length L =
Combinación convexa de S 1 (ρ) (largo de Campbell) & S(ρ) (largo promedio)
www.nature.com/scientificreports
the Kraft-McMillan inequality. In the end, one obtains a variable-length code where shorte
t+1 assigned to symbols with a high probability of occurrence, whereas larger codewords are assigne
low probability (see2, chap. 5). Moreover, one has that (in the limit of the large number of i
identically-distributed sources) the average length of the optimal code is arbitrarily close to the
of the source, H (p) = −∑ i pi logkpi .
As noticed by Campbell, the previous solution has the disadvantage that it can happen th
length turns out to be very large for symbols with a sufficiently low probability of occurrence5. I
OPEN Lossless quantum data 1
CONICET-Universidad de Buenos Aires, Instituto de Investigación en Ciencias de la Computac
compression with exponential Aires, Argentina. 2Instituto de Física La Plata, UNLP, CONICET, Facultad de Ciencias Exactas, Cas
penalization: an operational 1900 La Plata, La Plata, Argentina. 3Univ. Grenoble Alpes, CNRS, Grenoble INP Institute of Eng
Lab, 38000, Grenoble, France. Correspondence and requests for materials should be addressed
Received: 2 May 2017
Accepted: 21 September 2017 interpretation of the quantum gbosyk@fisica.unlp.edu.ar)
Rényi entropy
Published: xx xx xxxx
Guido Bellomo1, Gustavo M. Bosyk2, Federico Holik2 & Steeve Zozor3 Scientific Reports | 7: 14765 | DOI:10.1038/s41598-017-13350-y
Based on the problem of quantum data compression in a lossless way, we present here an operational
interpretation for the family of quantum Rényi entropies. In order to do this, we appeal to a very general
S. Zozor
Elementos
quantum introductorios
encoding scheme that satisfies a quantum version of the Kraft-McMillan ainequality.
la Then, teorı́a
in de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
2 Información mutua – divergencias
Entropı́a condicional, información mutua
Aplicaciones
¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Divergencias
3 Desigualdades – relaciones entre medidas
Desigualdades triviales
Cadenas de Markov
Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Entropı́a condicional
Información en común?
Sean X e Y con entropı́a/incerteza resp. H(X) y H(Y )
¿Cuánta información comparten X e Y ?
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Entropı́a condicional
Información en común?
Sean X e Y con entropı́a/incerteza resp. H(X) y H(Y )
¿Cuánta información comparten X e Y ?
Entropı́a condicional
¿Conociendo Y , qué incerteza queda sobre X?
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Entropı́a condicional
Información en común?
Sean X e Y con entropı́a/incerteza resp. H(X) y H(Y )
¿Cuánta información comparten X e Y ?
Entropı́a condicional
¿Conociendo Y , qué incerteza queda sobre X?
X,Y
pk,l
h i
X|Y =l X|Y =l X|Y =l
Probabilidad condicional pk = pY
, pX|Y =l = p1 · · · pN
l
X X
H(X|Y ) = pY =l H pX|Y =l = − pX=k,Y =l log pX=k|Y =y
l k,l
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Entropı́a condicional
Información en común?
Sean X e Y con entropı́a/incerteza resp. H(X) y H(Y )
¿Cuánta información comparten X e Y ?
Entropı́a condicional
¿Conociendo Y , qué incerteza queda sobre X?
X,Y
pk,l
h i
X|Y =l X|Y =l X|Y =l
Probabilidad condicional pk = pY
, pX|Y =l = p1 · · · pN
l
X X
H(X|Y ) = pY =l H pX|Y =l = − pX=k,Y =l log pX=k|Y =y
l k,l
H(X|Y )
H(Y )
H(X, Y ) = H(X|Y ) + H(Y )
H(X)
diagrama de Venn
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Información mutua
Jugando con el diagrama de Venn. . .
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A
H(Y )
H(X)
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Información mutua
Jugando con el diagrama de Venn. . .
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A
H(Y )
@
I
@
H(X) H(X) − H(X|Y ) H(X) − H(X|Y )
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Información mutua
Jugando con el diagrama de Venn. . .
H(Y |X)
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A = H(Y |X) + H(X)
H(Y )
@
I
@
H(X) H(X) − H(X|Y ) H(X) − H(X|Y ) = H(Y ) − H(Y |X)
=
H(Y ) − H(Y |X)
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Información mutua
Jugando con el diagrama de Venn. . .
H(Y |X)
H(X|Y )
H(X, Y ) = H(X|Y ) + H(Y )
A
U
A = H(Y |X) + H(X)
H(Y )
@
I
@
H(X) H(X) − H(X|Y ) H(X) − H(X|Y ) = H(Y ) − H(Y |X)
=
H(Y ) − H(Y |X)
Información mutua
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Para jugar. . .
Ejemplos
Ejemplo 1 Ejemplo 2 Ejemplo 3
X X X
1 2 1 2 1 2
Y Y Y
1 1 1 3 1 1 3
0 4 16 16
0 4
2 3 2 9 3 2 1 1
4
0 16 16 8 8
Entropı́as e información
Evalúa en estos ejemplos
las entropı́as H(X), H(Y ) y H(X, Y ),
las entropı́as condicionales H(X|Y ) y H(Y |X),
la información mutua I(X; Y ).
Comenta los resultados.
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
El canal gaussiano
Transmisión de una señal
G
Observación Y = X + G con
G gaussiana de matriz de covarianza R,
X ∼ pX independiente del ruido G,
potencia total de la señal acotada, E[X t X] ≤ PX ,
sin pérdida de generalidad, E[X] = E[G] = 0.
Transmisión óptima
¿Cuál es la información mutua I(X; Y ) máxima?
C = max I(X; Y ) es la capacidad del canal
pX
en un canal binario 1
1−q
1
q
Capacidad y α óptimo
Dado el canal (dados p y q), determina α? = argmaxα I(X; Y ).
¿Cual es la capacidad del canal C = maxα I(X; Y )?
¿Cuánto vale α? en el contexto simétrico p = q (canal binario simétrico)?
¿Cuál es la capacidad del canal es este contexto simétrico?
Una representación de tal canal puede ser la siguiente,
G
σY
X −σY Y
0
En el contexto clásico. . .
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto clásico. . .
J
Información mutua: J(h,φ) (X; Y ) = H(h,φ) (X) − H(h,φ) (X|Y )
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto clásico. . .
J
Información mutua: J(h,φ) (X; Y ) = H(h,φ) (X) − H(h,φ) (X|Y )
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto clásico. . .
J
Información mutua: J(h,φ) (X; Y ) = H(h,φ) (X) − H(h,φ) (X|Y )
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto cuántico. . .
B B
A|Πj
ΠB medida proyectiva local: ρA|Π = pB
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j = Tr I ⊗ Πj ρ , pB
j
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto cuántico. . .
B B
A|Πj
ΠB medida proyectiva local: ρA|Π = pB
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j = Tr I ⊗ Πj ρ , pB
j
Entropı́a relativa a B: H J J B
(h,φ) (A|B) = min{ΠB } H (h,φ) A|Π
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto cuántico. . .
B B
A|Πj
ΠB medida proyectiva local: ρA|Π = pB
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j = Tr I ⊗ Πj ρ , pB
j
Entropı́a relativa a B: H J J B
(h,φ) (A|B) = min{ΠB } H (h,φ) A|Π
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
En el contexto cuántico. . .
B B
A|Πj
ΠB medida proyectiva local: ρA|Π = pB
P
j j ρ
B I⊗ΠB
j ρ
AB
I⊗ΠB
con pB B AB
ρA|Πj =
j
j = Tr I ⊗ Πj ρ , pB
j
Entropı́a relativa a B: H J J B
(h,φ) (A|B) = min{ΠB } H (h,φ) A|Π
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Divergencia de Kullback-Leibler
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Divergencia de Kullback-Leibler
Propiedades
No simétrica: q sirve de “referencı́a” (entropı́a relativa a q)
DKL ≥ 0 (tanto discreto como continuo)
DKL = 0 ⇔ p = q (a.e.),
Información mutua: I(X; Y ) = DKL (pX,Y kpX pY ) (simétrica):
I(X; Y ) ≥ 0 con igualdad si y solo si X e Y son independientes.
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
Casos particulares
φ(l) = l log l : Kullback-Leibler
φ(l) = (l − 1) log l : Jeffrey (KL sı́metrizada)
φ(l) = 2l log l − l+1 log l+1
2 2
: Jensen-Shannon (clasificación, fı́sica)
φ(l) = |π0 − π1 l| : Kolmogorov (Pe,min detección)
φ(l) = lλ y h = 1
λ−1
log : Rényi
lα −1
φ(l) = α−1
: (Tsallis) Hellinger (clasificación, estimación)
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a condicional, información mutua
Entropı́a – medida de incerteza Aplicaciones
Información mutua – divergencias ¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Desigualdades – relaciones entre medidas Divergencias
θ θ
J , “alta incerteza” J , “baja incerteza”
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Programa
1 Entropı́a – medida de incerteza
Axiomas, entropı́a de Shannon, propiedades
Entropı́a diferencial
Entropı́as de Salicrú y casos particulares
Unas ilustraciones. . .
Entropı́as cuánticas generalizadas y propiedades
2 Información mutua – divergencias
Entropı́a condicional, información mutua
Aplicaciones
¿Que pasa con la entropı́a de Salicrú (clásico, cuántico)?
Divergencias
3 Desigualdades – relaciones entre medidas
Desigualdades triviales
Cadenas de Markov
Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Desigualdades triviales
Shannon y vinculos simples
X ∈ D (tanto discreta como continua) con vol D < ∞,
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Desigualdades triviales
Shannon y vinculos simples
X ∈ D (tanto discreta como continua) con vol D < ∞,
Reglas de la cadena
Entropı́a (Shannon)
X
H(Xn , . . . , X1 ) = H(Xi |Xi−1 , . . . , X1 )
i
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Reglas de la cadena
Entropı́a (Shannon)
X
H(Xn , . . . , X1 ) = H(Xi |Xi−1 , . . . , X1 )
i
Información mutua
X
I(Xn , . . . , X1 ; Y ) = I(Xi ; Y |Xi−1 , . . . , X1 )
i
Divergencia de Kullback-Leibler
X
DKL (p(xn , . . .)kq(xn , . . .)) = DKL (p(xi |xi−1 , . . .)kq(xi |xi−1 , . . .))
i
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Condicionando. . .
A partir de las reglas de cadena. . .
Condicionar reduce la entropı́a:
H(X|Y ) ≤ H(X) con igualdad sii X e Y son independientes
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Condicionando. . .
A partir de las reglas de cadena. . .
Condicionar reduce la entropı́a:
H(X|Y ) ≤ H(X) con igualdad sii X e Y son independientes
Algunas consecuencias. . .
Señal estacionaria:
H(X1 , . . . , Xn )
H(X) = lim ≤ H(X1 )
n→∞ n
con igualdad si y sólo si los Xi son independientes
¡Desigualdad de Hadamard!
Y
∀ R hermı́tica, |R| ≤ Ri,i
i
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Algunas consecuencias
Varias desigualdades matriciales se deducen de la EPI.
1 1 1
Ej. Minkovsky: ∀ R1 , R2 hermı́ticas:|R1 + R2 | d ≥ |R1 | d + |R2 | d
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Prueba
Jθ0 (X) = E[Sθ0 (X)Sθ0 (X)t ] con la función score Sθ0 = ∇θ0 log pθ0
t
Se muestra que E Sθ0 (X) θb0 − θ0 =I
t
Cauchy-Schwartz: E ut Sθ0 (X) θb0 − θ0 v ≤ ut Jθ0 (X)u v t Rθ0 v
∂ √ 1 √
H(X + εG) = J(X + εG)
∂ε 2
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
∂ √ 1 √
H(X + εG) = J(X + εG)
∂ε 2
Consecuencias
Desigualdad isoperimétrica entrópica
J(X)N (X) ≥ d
d2
“Cramér-Rao” sobre la suma de las varianzas Tr(RX ) ≥ Tr(J(X))
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
∂ √ 1 √
H(X + εG) = J(X + εG)
∂ε 2
Consecuencias
Desigualdad isoperimétrica entrópica
J(X)N (X) ≥ d
d2
“Cramér-Rao” sobre la suma de las varianzas Tr(RX ) ≥ Tr(J(X))
Versión à la Verdú
s G
∂ 1
I(X; Y ) = E (X − E [ X | Y ])2
Verdú’05: X Y
∂s 2
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Unas referencias. . .
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Unas referencias. . .
S. Kullback & R. Leibler, On information and sufficiency, The Annals of
Mathematical Statistics, 22: 79-86, 1951
I. Csiszàr, Information-Type Measures of Difference of Probability
Distributions and Indirect Observations, Studia Scientiarum
Mathematicarum Hungarica, 2: 299-318, 1967
D. K. Fadeev (A. Feinstein Ed.), Fundations in Information Theory; On the
concept of entropy of a finite probabilistic scheme (English traduction),
McGraw-Hill, 1958
E. T. Jaynes, Information Theory and Statistical Mechanics, Physical
Review, 106: 620-630, 1957
P. Jizba & T. Arimitsu, The world according to Rényi: thermodynamics of
multifractal systems, Annals of Physics, 312: 17-59, 2004
T. M. Cover & J. A. Thomas, Elements of Information Theory, John Wiley
& Sons, 2006
B. R. Frieden, Science from Fisher Information: A Unification, Cambridge
University Press, 2004
S. Zozor
Elementos introductorios a la teorı́a de la información
Entropı́a – medida de incerteza Desigualdades triviales
Información mutua – divergencias Cadenas de Markov
Desigualdades – relaciones entre medidas Desigualdad y relaciones no triviales
Unas referencias. . .
S. Zozor
Elementos introductorios a la teorı́a de la información