BC-0504

Natureza da Informao
Apresentao e uma pequena viagem pela
Histria da Teoria da Informao

Prof. Joo Henrique Kleinschmidt

Material elaborado pelos professores de NI

Apresentao do Professor
Prof. Joo Henrique Kleinschmidt
Centro de Engenharia, Modelagem e Cincias Sociais
Aplicadas (CECS)

- E-mail: joao.kleinschmidt@ufabc.edu.br
- Web
http://professor.ufabc.edu.br/~joao.kleinschmidt

Objetivos da Disciplina
Objetivo:
o

Apresentar os fundamentos sobre a origem e a

natureza da informao, e sobre como ela
representada.

Competncias:
o Que o aluno seja capaz de compreender os conceitos
fundamentais a respeito da origem e da natureza da
Informao, e
o

Que seja capaz tambm de entender os principais

conceitos envolvidas nos processos de representao e
quantificao da Informao.

Ementa da Disciplina
Dado, informao e codificao. Teoria da Informao.
Entropia. Sistemas de Numerao. Redundncia e
cdigos de deteco de erros. lgebra Booleana.
Representao analgica e digital. Converso A/D e D/A.
Redundncia e compresso da informao. Informao no
DNA. Codificao e armazenamento da informao no
crebro. Noes de semitica.

Composio do Conceito Final

Avaliao:
1a Prova: 45%
2a. Prova : 45%
Atividades : 10%
(listas de exerccios, atividades em sala, etc)

Prova Substitutiva: para quem perder P1 ou P2 (falta deve ser

justificada)
Recuperao: para o aluno que ficar com D ou F

Materiais das aulas:

http://professor.ufabc.edu.br/~joao.kleinschmidt

Clculo do Conceito Final

Relao Nota Conceito

8,5-10 = A
7-8,5 = B
6-7 = C
5-6 = D
<5 = F

Datas importantes:

Data
26/10

Prova 1

07/12

Prova 2

14/12

Prova substitutiva

16/12

Prova de recuperao

Bibliografia
o Decoding the Universe. Charles Seife. Penguin Books. (2006)
(livro de divulgao cientfica)
o Sistemas Digitais: fundamentos e aplicaes. Thomas L.
Floyd. 9 ed. Porto Alegre: Bookman. (2007)

o Information and its Role in Nature (The Frontiers

Collection). Juan G. Roederer. Springer. (2005)
o An Introduction to Information theory. Symbols, signals and
Noise. John R. Pierce. Dover. (1980)
o Sistemas de Comunicao Anlogicos e Digitais. Simon
Haykin. 4. edio. Bookman. (2004)
o Elements of Information Theory. Thomas M. Cover, Joy A.
Thomas. 2nd edition. John Wiley & Sons. (2006)

Eixo da Informao
Os avanos da cincia e da tecnologia esto
multiplicando as nossas capacidades de coletar,
tratar, gerar e utilizar informaes, levando-as a
patamares nunca antes alcanados, trazendo assim
novas oportunidades, novas questes sociais e mais
avanos na cincia e tecnologia, em um ciclo virtuoso.
O Eixo da Informao tem como objetivo apresentar
os fundamentos desses processos, enfocando-os sob
diversas perspectivas
Natureza da Informao
Processamento da Informao
Comunicao da Informao

Eixo da Informao
Fundamentos e processos:
Natureza da Informao: o que Informao e
como se pode represent-la e medi-la
Transformao da Informao: manipulao e
tratamento da Informao, tanto sob o aspecto
humano como por computadores (processamento)
Comunicao da Informao: transmisso e
distribuio da Informao e o seu impacto

Natureza da
Informao

Transformao
da Informao

Comunicao
da Informao

Abstrata

Concreta

(conceitual)
Terica

(suporte)
Tecnologia

Social
(utilizao)
Humana

O Bit
Entropia
Analog. X Digital
Capac. Shannon
T. Informao

Smbolos e Sinais
Rudo

T. Computao

Proc. Sinais

Criptografia
Complexidade

Programao
Minerao Dados
Traduo

Aprendizado
Crebro
Conhecimento
Razo/Emoo
Redes Sociais

Sist. Comunicaes
Redes e Trfego
Eletrnica
Fotnica
Novas Tecnologias

Linguagem Humana
Internet
Soc. Informao
Econ. Informao
Regulao/tica

Org. Computadores
Compresso Dados

T. Comunicaes
Capacidade canal
Canal gaussiano
Informao
gentica
Codificao

Proc. Estocsticos
Ordem e Desordem

Caos

Transformadas

Sentidos/percepo
Cognio e Ao
Inteligncia
Conscincia
Memria

Amostras

Dado, Informao e Conhecimento

Dado
Dado: elemento puro, quantificvel sobre um
determinado evento
Por si s no oferece embasamento para
entendimento da situao
Percepo inicial do observador sobre objeto
Identificado por caractersticas visuais/simblicas

Ex.: parafuso 63 pesa 60 gramas

Dados
Um conjunto de fatos a respeito do mundo;
So geralmente quantificados;
So facilmente capturados e arquivados em
dispositivos computacionais;
No permitem julgamentos ou significados;
No constituem base para a ao

Dados
Tipos
Alfanumricos
Cdigo de produto, preo individual, quantidade, etc.

Imagens
Fotos dos funcionrios

udio
Registro de promoes anunciadas

Vdeo
Registro de anncios em televiso

Dados
Fatos bsicos
Ex.: compra em supermercado
Cdigo

Descrio

Preo Individual

Quantidade

12314

Achocolatado

R$ 3,50

86456

Leite

R$ 1,50

45675

Manteiga

R$ 2,00

54387

Suco

R$ 3,00

57871

Queijo

R$ 5,00

89452

Cerveja

R$ 1,50

Informao
Informao: dado analisado e contextualizado
Envolve a interpretao de um conjunto de dados
Resultado dos dados tratados, comparados,
relacionados, servindo para tomada de deciso
Prov respostas a questes quem", o que", onde",
quando"

Ex.: parafuso 25 o mais pesado do grupo

Dados + processamento = informao

Informao
Um conjunto de dados conjugados que
possuem relevncia e propsito;
Pode ser transformada pela anlise humana e
julgamento
Semitica (qualidade da informao)
Anlise da informao para produo de
conhecimento

Constitui base para a ao.

Informao
Dados organizados para ter valor adicional
Cdigo

Descrio

Preo Individual

Quantidade

12314

Achocolatado

R$ 3,50

R$ 7,00

86456

Leite

R$ 1,50

R$ 12,00

45675

Manteiga

R$ 2,00

R$ 2,00

54387

Suco

R$ 3,00

R$ 12,00

57871

Queijo

R$ 5,00

R$ 5,00

89452

Cerveja

R$ 1,50

R$ 9,00

22

R$ 47,00

Total
Quantidade de laticnios vendidos

Preo Total

Informao
Pode auxiliar a aumentar lucros
Cdigo

Descrio

Preo Individual

Quantidade

12314

Achocolatado

R$ 3,50

R$ 7,00

86456

Leite

R$ 1,50

R$ 12,00

45675

Manteiga

R$ 2,00

R$ 2,00

54387

Suco

R$ 3,00

R$ 12,00

57871

Queijo

R$ 5,00

R$ 5,00

89452

Cerveja

R$ 1,50

R$ 9,00

22

R$ 47,00

Total
Quantidade de bebidas vendidas

Preo Total

Conhecimento
Conhecimento: habilidade de criar um
modelo que descreva o objeto e indique
aes a implementar, decises a tomar
Compreenso, anlise e sntese so realizadas a
partir do nvel do conhecimento
Necessrias para a tomada de decises inteligentes
Responde questes do tipo como?

Ex.: definio do mais pesado, regras de

comparao e o procedimento (modelo)

Informao + processamento = conhecimento

(processamento = experincia, treinamento, etc.)

Conhecimento
Um conjunto organizado e estruturado de
informaes a respeito do mundo;
Requer interveno humana e inteligente
Semitica: atribuio de significado s
informaes;

Proporciona comparaes;
Permite dedues;
Proporciona implicaes

Conhecimento
Ex. supermercado:
Compras de itens X e Y ocorrem com frequncia
Leite e achocolatado

Logo, torn-los prximos

Hierarquia

A pirmide pode representar tanto a hierarquia de sequncia entre

os trs componentes e tambm o volume

Dados x informao x conhecimento

Informao

Dimenso
Humana:

Percepo e Aquisio
- captura de dados
- abstrao da realidade
- viso parcial da realidade

Anlise e Tratamento
- processamento dos dados
- abstrao do significado

Relevncia
Importncia

DADO:
Representao,
Smbolos

REALIDADE:
Emite sinais

Dimenso
Tecnolgica:

Utilidade
Possui valor

Sensores
Instrumentos

INFORMAO:
Abstrao

Processamento
Computao

Conhecimento
Generalizao
- anlise dos dados
- abstrao do processo
- experimentao
Dimenso Humana:

REALIDADE:
Emite sinais

Utilidade
Gerar Valor

CONHECIMENTO:
Teoria, hipteses,
Manipulao real
ou simblica

INFORMAO:
Abstrao

I.A., padres,
aprendizagem
DimensoTecnolgica:

Processo
experimental

Dados x informao x conhecimento

Dados so os nmeros (brutos) uma diviso por reas pode gerar

informaes (grupos com mais/menos dados de uma certa cor)
A obteno de regras que descrevam quando um dado vermelho e
quando verde, do tipo se-ento, por exemplo, representa conhecimento

O que informao?
Etimologia em latim
informatio,onis: delinear, conceber idia

Existem diferentes vises

Biologia
Lingustica
Fsica
Cincia da Computao
Engenharia
Qual a relao entre informao e comunicao?
Comunicao: intercmbio de informao entre sujeitos ou

objetos

Teoria da Informao
Informao inversamente proporcional a
probabilidade de ocorrncia de um fato
Quanto maior a probabilidade desse fato, menos
informao ele trar
Exemplos:
A primeira vez que ouvimos um disco ele nos traz um novo
conhecimento musical. Depois de ouvir vrias vezes o mesmo disco,
podemos prever os prximos acordes. Portanto esse disco no nos
traz mais informao.
Na palavra c_mo, todos podem prever que a letra faltando o.
Portanto, desnecessrio escrever essa letra naquela posio.

Objetivo: quantificar a informao (o significado, ou

qualidade, dessa informao irrelevante a princpio)

Histria da Teoria da Informao

Claude E. Shannon (1916-2001), considerado o pai da Teoria da Informao,

e seu livro publicado em 1949, Teoria Matemtica da Comunicao

Shannon
Em 1948, Shannon publica seu artigo A Mathematical
Theory of Communication, publicado na forma de livro
no ano seguinte
Antes dele, trabalhos isolados caminhavam passo a
passo em direo a uma teoria geral de comunicao
Hoje em dia, Teoria da Comunicao (ou Teoria da
Informao) uma rea imensa de pesquisa, e muitos
livros e simpsios internacionais sobre este assunto so
publicados e realizados

Teoria da Informao
Teoria da Informao uma teoria muito geral e que
envolve muita matemtica

A unidade fundamental, o bit, uma medida universal da

quantidade de informao

Na UFABC existe uma disciplina especfica sobre Teoria

da Informao

Teoria da Informao
Teoria da Informao nos permite:
Dizer quantos bits de informao podem ser enviados por
segundo atravs de certos canais de comunicao denominados
perfeitos ou imperfeitos
Medir a taxa na qual uma fonte pode gerar informao
Dizer como representar, ou codificar, mensagens de uma
determinada fonte eficientemente para transmitir atravs de
algum tipo de canal
Como podemos evitar erros nesta transmisso

Os pilares da teoria da informao

Os estudos da criptografia desenvolvidos na 2

Guerra Mundial
Os estudos da termodinmica
As tecnologias de transmisso de informao
(comeando pelo cdigo Morse e pela
telefonia)

Criptografia na II Guerra

Est faltando gua em AF

AF is short of water
Estas palavras
reverteram o
curso da guerra
do pacfico.
Criptografia e
cdigo japons
(J-25) decifrado
pelos
americanos

A ilha Midway est sem gua

Vamos atacar AF!
AF??? O que AF?

Almirante Yamamoto

Comandante Rochester

A ilha Midway est sem gua

A ilha Midway est
sem gua!

AF est sem gua!

AHA!!! Te peguei!

Comandante Rochester

Almirante Yamamoto

Fim da Guerra
Os americanos
aguardaram a
chegada dos
japoneses.
Quatro porta
avies japoneses
foram afundados.
Comeou o fim da
II Guerra Mundial

II Guerra na Europa U-boats

Enigma
O alemo Arthur
Scherbius inventou a
mquina para cifrar
mensagens Enigma
3x10114 configuraes
diferentes.
Fora bruta: cada tomo
do universo tentando um
trilho de combinaes
por segundo desde o
inicio do universo

Turing e seus colegas de Bletchley

quebraram o cdigo do Enigma
Todas as letras eram trocadas
de cada vez
Enigma nunca deixava
nenhuma letra sem trocar (ex:
o correspondente letra F
nunca era F
Frases comuns (ex: o clima
est bom hoje)
Permitiu a destruio dos Uboats e o fim da guerra.

Mquina terica de Turing

Fita sem fim
A mquina lia,
escrevia, e
apagava.
A mquina de
Turing possua
computabilidade
universal

A Criptografia aliada fez terminar a II

Guerra e comeou a era da informao
Turing contribuiu
para a II Guerra
Mundial acabar

Criptografia
Um mtodo muito simples para criptografar
uma mensagem consiste em substituir cada
letra pela que est n posies na frente
Cifra de Csar

Tentar decifrar a mensagem seguinte:

Q xgpvq jqlg guvcxc owkvq hqtg
O vento hoje estava muito forte
n = -2

Redundncia

-s v-n-s d- c--nc-- e d- t-cn-l-g-- -stm-lt-pl-c-ndo -s n-ss-s c-p-c-d-d-s dc-l-t-r, tr-t-r, g-r-r - -t-l-z-r
-nf-rm--es.

Nosso crebro aproveita a redundncia para

conseguir entender textos como o seguinte:
De aorcdo com uma peqsiusa de uma
uinrvesriddae ignlsea, no ipomtra em qaul
odrem as Lteras de uma plravaa etso, a ncia
csioa iprotmatne que a piremria e tmlia
Lteras etejasm no lgaur crteo. O rseto pdoe ser
uma bguana ttaol, que vco anida pdoe ler
sem pobrlmea. Itso poqrue ns no lmeos
cdaa Ltera isladoa, mas a plravaa cmoo um
tdoo. Sohw de bloa.

Ou como este texto...

35T3 P3QU3N0 T3XTO 53RV3 4P3N45 P4R4 M05TR4R COMO
NO554 C4B34
CONS3GU3 F4Z3R CO1545 1MPR3551ON4ANT35! R3P4R3
N155O! NO COM3O 35T4V4
M310 COMPL1C4DO, M45 N3ST4 L1NH4 SU4 M3NT3 V41
D3C1FR4NDO O CD1GO
QU453 4UTOM4T1C4M3NT3, S3M PR3C1S4R P3N54R
MU1TO, C3RTO? POD3 F1C4R
B3M ORGULHO5O D155O! SU4 C4P4C1D4D3 M3R3C3!
P4R4BN5!

Mtodos de compresso de
informao
Existem diversos mtodos de compresso de
informao.
O que resta depois de comprimir um texto
um ncleo que no pode ser mais
comprimido.
Esse ncleo a informao

Uma primeira forma de quantificar

a informao
Informao aquilo que sobra numa
mensagem depois de eliminar a redundncia.

Entropia e termodinmica

Boltzmann o pai da termodinmica e

da teoria da informao
Inscrio no tmulo
de Boltzmann
As bases da teoria
da informao esto
nos estudos da
termodinmica.

Revoluo Industrial
1769 Watt
inventou
mquina de
vapor.
Pesquisa para
aumentar
eficincia das
mquinas.

Mquina trmica de Carnot

Mquinas trmicas e fontes de calor

Fonte fria

Fonte fria
Q2

Mquina
trmica

Q2

Trabalho

Q1
Fonte quente

Trabalho

Fonte de
calor

Q1
Fonte quente

Refrigerao

Rudolf Claussius
impossvel deter a
tendncia ao
equilbrio
termodinmico do
universo (1860)
Em outras palavras
A entropia sempre
tende a aumentar

Impossvel parar a tendncia ao

equilbrio termodinmico
Fonte fria
Q2

Q2

Mquina
trmica

Trabalho

Q1

Fonte de
calor

Q2

Mquina
trmica

Q1

Trabalho

Q1
Fonte quente

2 lei da termodinmica
Entropia mede o equilbrio termodinmico
Maior equilbrio termodinmico equivale a
maior entropia.
A 2 lei da termodinmica estabelece que "A
quantidade de entropia de qualquer sistema
isolado termodinamicamente tende a
incrementar-se com o tempo, at alcanar um
valor mximo"

Entropia do universo cresce

Metfora da sinuca.

S3=kLog(6)

S4=kLog(4)

S2=kLog(4)

S1=kLog(1)

1/16

S5=kLog(1)

4/16

6/16

4/16

1/16

E
E
E
E
E
E
E
E
D
D
D
D
D
D
D
D

E
E
E
E
D
D
D
D
E
E
E
E
D
D
D
D

E
E
D
D
E
E
D
D
E
E
D
D
E
E
D
D

E
D
E
D
E
D
E
D
E
D
E
D
E
D
E
D

16 combinaes
6 com duas bolas na direita
e duas na esquerda

Entropia de Boltzmann
S = k log w
Quantidade de informao necessria para
especificar exatamente o estado de um
sistema.

1024 bolas de sinuca

1/10290

S=k log(W)
Inscrio na lpide de
Boltzmann
Os tomos de um gs
encontram-se uniformemente
distribudos
A probabilidade de encontrar
todos os tomos num s dos
dois lados praticamente zero.
A entropia do universo sempre
cresce

Tecnologias de transmisso de
informao

Origem da moderna Teoria da

Informao
Embora haja analogia matemtica da entropia
da Informao com a entropia da
Termodinmica e da Mecnica Estatstica, a
origem real da Teoria Moderna da Informao
tem suas razes nas origens da comunicao
eltrica

Origens com o telgrafo

1838: Samuel B. Morse trabalhando com Alfred Vail, o
cdigo Morse como conhecemos hoje foi idealizado
Neste cdigo, letras do alfabeto so representadas por espaos,
pontos e traos

Para transmisso em um circuito eltrico, espaos eram

representados por ausncia de corrente, pontos por corrente de
curta durao e traos por correntes de longa durao

Vrias combinaes de pontos e traos eram associadas a cada

letra
Ex.: letra E (que mais ocorre em textos em Ingls) era
associada a um nico ponto

Cdigo Morse

Cdigo Morse e Teoria da

Informao
Questo importante:
Uma outra associao entre os pontos, traos e espaos e as
letras do alfabeto nos permitiria enviar textos em Ingls mais
rpido pelo telgrafo?

Resposta:
Usando nossa moderna Teoria de Informao, encontramos que
teramos, no mximo, um ganho de cerca de 15% sobre a
velocidade de transmisso
Isto mostra que Morse, intuitivamente, sabia o que estava
fazendo, e atacou um assunto que est no centro da Teoria da
Informao

Limitaes do telgrafo
Resumo das limitaes
Limitao associada a velocidade de emisso do sinal
Interferncias (rudos)
Dificuldade em distinguir entre muitos valores possveis de
correntes
Limitao na intensidade de correntes a serem utilizadas (para
no destrur o isolamento dos cabos)

Uma anlise matemtica mais precisa deste problema

se tornou necessria

Contribuies a teoria
da Informao
No sculo XIX, vrias pessoas contriburam
matematicamente para a teoria da Informao:

Lorde Kelvin (William Thomson)

Alexander Graham Bell (inventor do telefone em 1875)
Henri Poincar
Oliver Heaviside
Michael Pupin
G. A. Campbell (ATTC)

Mas sem dvida alguma, a grande contribuio foi de

Joseph Fourier

A contribuio de Fourier
Fourier baseou seus trabalhos na funo seno:

Demonstrou que toda funo (incluindo os sinais eltricos) poderiam ser decompostas numa soma de funes
senos com diferentes amplitudes, fases e frequncias

Contribuies de Kolmogoroff
e Wiener
Na dcada de 40, ambos independentemente,
um na Rssia e outro nos EUA, resolveram o
problema de como, a partir de um sinal
desconhecido com rudo, estimar qual o melhor
sinal correto sem a presena do rudo

E chegamos a Shannon
Portanto, quando Shannon publica seu trabalho
em 1947, muito j se havia feito anteriormente
De certa maneira, ele resumiu e trouxe mais
conhecimento a todos estes problemas j
estudados anteriormente

Contribuio de Shannon
Mas podemos dizer que a grande contribuio da sua
teoria foi responder as perguntas:
Como podemos codificar (em termos de sinais eltricos) uma
mensagem a partir de uma fonte para poder transmit-la o mais
rpido possvel atravs de um canal que introduz rudos com
certas caractersticas?
O quo rpido podemos transmitir um tipo de mensagem atravs
de um determinado canal sem erros?

Tudo isto que vimos faz parte do que chamamos de Teoria

da Informao e veremos alguns tpicos introdutrios
dessa teoria ao longo deste curso