MULTIMEDIA MULTIMEDIA

Lecturer: Nguyen Duy Nhat Vien July, 2006.

TI LI U THAM KH O
CMPT 365 Course Contents, Spring 2000, Website: http://www.cs.sfu.ca/CourseCentral/365/li/index.html Principles of Digital Audio, Ken C.Pohmanm Fourth Edition McGraw-Hill. Digital Video processing, A. Murat Tekalp, University of Rochester, Prentice Hall PTR. Multimedia processing, Andrew Calway, COMS72200. Fundamentals of Digital Image Processing., Anil.K.Jan, Prentice Hall, 1996. MPEG Home Page, http://www.cselt.it/mpeg/ Emerging Wireless Multimedia Services and Technologies, JohnWileySons, Aug 2005 Multimedia Content and the Semantic Web Standards Methods and Tools, John Wiley Sons, Jun 2005 Introduction To Digital Audio Signal Processing, Davide Rocchesso, 2003
Page 2

N I DUNG
T NG QUAN K THU T AUDIO K THU T VIDEO

Page 3

T NG QUAN

T NG QUAN
T NG QUAN V MULTIMEDIA KHI NI M CHUNG V AUDIO V VIDEO H TH NG AUDIO-VIDEO M T S V N V TN HI U

Page 5

T NG QUAN V MULTIMEDIA
L ch s pht tri n c a h th ng a mi tr ng
Bo, t p ch - mi tr ng: vn b n, ho v hnh nh. Cp ng: mi tr ng truy n t i tn hi u i n. 1895, Guglemo Marconi pht minh ra my radio Pontechio , mi tr ng chuy n t i tn hi u audio qu ng b hi n nay. Truy n hnh, mi tr ng truy n thng c a th k 20, truy n hnh nh v m thanh n m i ni. Cc h th ng my tnh tch h p nhi u d ng mi tr ng s khc nhau, kh nng bi u di n, tng tc v i cc d ng thng tin, ti m nng l n ph c v nhu c u trao i thng tin ch t l ng cao. Cc h th ng a mi tr ng tr nn phong ph, k t h p cc cng ngh khc nhau v i kh nng di ng, lin l c t xa d i nhi u hnh th c. Page 6

T NG QUAN V MULTIMEDIA
ho

Vn b n th ng (tuy n tnh)

m thanh Siu vn b n
Video

Siu vn b n

Siu mi tr ng Hnh 1-1 Hypertext, Hypermedia

Page 7

T NG QUAN V MULTIMEDIA
Siu mi tr ng v a mi tr ng (hypermedia multimedia)
Hypertext: Siu vn b n l m t ti li u khng tuy n tnh, b ng cch kch vo m t i m nng no trn vn b n, n c th chuy n n m t ti li u hay m t vn b n khc, r i c th quay v , thu n ti n cho ng i c trong vi c duy t vn b n ho c mu n t ng quan m t vn b n t ph n m c l c. (Ted Nelson ,1965) Hypermedia: Bao g m nhi u mi tr ng truy n thng khc nhau nh th , hnh nh, m thanh, ho t hnh v nh ng. (Ted Nelson). Multimedia: thng tin my tnh c th c m t b ng audio, video hay ho t hnh ngoi nh ng mi tr ng truy n th ng. Page 8

T NG QUAN V MULTIMEDIA
V d m t s

ng d ng multimedia:

H th ng xy d ng v so n th o video s . T p ch i n t . Tr chi. Thng m i i n t . Truy n hnh tng tc iTV. Truy n hnh h i ngh . Truy n hnh theo yu c u. Th c t o.

...
Page 9

T NG QUAN V MULTIMEDIA
Cc d ng mi tr ng v tn hi u:
d ng mi tr ng lin t c audio video animation

r ir c

images thu nh n

text t ng h p

graphic g c tn hi u

Hnh 1-2 D ng mi tr ng
Page 10

T NG QUAN V MULTIMEDIA

Hnh 1-3 Thu nh n v t ng h p

Page 11

T NG QUAN V MULTIMEDIA
m thanh (audio)
m thanh: L dao ng sng m gy ra p l c lm d ch chuy n cc h t v t ch t trong mi tr ng n h i lm tai ng i c m nh n c cc dao ng ny. Tai ng i c th nghe c trong kho ng t n s t 20Hz n 20kHz. m thanh t nhin: L s k t h p ph c gi a cc sng m c t n s v d ng sng khc nhau. D i ng c a tai: Gi i h n b i ng ng nghe th y (0dB) n ng ng au (120dB) c a ng i. Ng ng nghe t i thi u: M c th p nh t c a bin m tai ng i c th c m nh n c m thanh tu thu c vo t ng ng i, m c p l c v t n s c a m thanh.
Page 12

T NG QUAN V MULTIMEDIA
Hi u ng che khu t m thanh: Hi n t ng m thanh m t i ng ng nghe c a m t m tng ln trong khi c m t c a m t m khc (kh nghe hn). c s d ng trong k thu t nn. H ng m thanh: Tai v no c th gip ta xc nh h ng m thanh, i u ny c th ng d ng t o cc hi u ng m thanh nh stereo, surround. Vang v tr : Vang l hi n t ng kp di m thanh sau khi ngu n m t t. Tr l th i gian m thanh ph n x n ch so v i m thanh tr c ti p. N u >50ms th tr g i l ti ng v ng. Bin c a m thanh c sau 1 l n ph n x th b suy gi m. m nh c: L m thanh c chu k nh ng t n s m tai ng i c m nh n m t cch d ch u, m i, c k t h p m t cch ph h p. m nh c g m cao , m s c v nh p i u.
Page 13

T NG QUAN V MULTIMEDIA
Video
Tn hi u video: L s ti t o nh t nhin v i nh ng kho ng cch v khng gian, th i gian ho c c hai. nh t nhin: c t o nn t cc ngu n sng m t tr i hay nh sng nhn t o ph n x ln cc v t th m ta c th nhn th y c. nh: L m t ma tr n cc i m nh mang thng tin v chi v mu s c. S lu nh: Kh nng lu hnh c a m t trong m t giy. M t c th lu c 24 hnh trong m t giy. Ch n s hnh trong m t giy c a nh ng ph h p
Page 14

T NG QUAN V MULTIMEDIA
chi: L bin c a thnh ph n trong nh (pixel).
V d tn hi u chi Y c t ng h p b i cc tn hi u RGB theo cng th c:

EY=0,299ER+0,587EG+0,114EB
Thng tin mu c xc nh:

(1-2)

EB-EY=0,587EG+0,889EB+0,229ER ER-EY=0,587EG+0,114EB+0,701ER (1-3) tng ph n: T s c a chi thnh ph n sng nh t so v i chi c a thnh ph n t i nh t.

Page 15

T NG QUAN V MULTIMEDIA
H th ng audio tng t
Ti n khu ch i Khu ch i Ngu n m

X l

Lu tr

Hnh 1-4 H th ng audio tng t

Page 16

Xu t

H TH NG AUDIO-VIDEO
H th ng video tng t
Chuy n i nh- tn hi u X l tn hi u

C nh t nhin nh ti t o

ng knh T o xung ng b Chuy n i tn hi u - nh X l tn hi u Lu tr ho c truy n d n

M t ng i

Tch xung ng b

Hnh 1-5 H th ng Video tng t

Page 17

H TH NG AUDIO-VIDEO
H th ng audio-video s :
Ngu n tn hi u (Analog) Chuy n i Analog - Digital

X l, Lu tr , Truy n d n (Digital) Xu t m, hi n th (Analog)

Chuy n i Digital - Analog

Hnh 1-6 H th ng audio-video s

Page 18

H TH NG AUDIO-VIDEO
Cc thnh ph n c a h th ng:
B ph n thu: Micro v Camera thu v chuy n tn hi u (m thanh ho c nh) sang tn hi u i n tng t . i v i cc h th ng s ph i th c hi n vi c chuy n i tng t sang s . Lu tr : Thi t b lu tr l bng t ho c a t . C th l cc thi t b ring bi t s d ng v i muc ch thu n ti n v yu c u m t ch t l ng no . X l tn hi u: i u ch nh c tuy n t n s , mu s c, t o hi u ng.. Truy n d n: Truy n tn hi u t v tr ny sang v tr khc v i m t kho ng cch khng gian no qua m t mi tr ng truy n d n no .
Page 19

H TH NG AUDIO-VIDEO
Phn lo i cc h th ng Audio-Video:
L p h th ng A-V gia nh Bn chuyn nghi p C u h i th o Phn ph i video S n xu t studio S n xu t chng trnh ngoi tr i S n xu t h u k My tnh c nhn Gi Ch t l ng D s d ng Linh ho t Kh nng m r ng Y u t quan tr ng nh t Gi, d s d ng

Ch t l ng, gi Nn video Kh nng lu tr Ch t l ng, linh h at C ng, d s d ng Ch t l ng, linh h at Ton b Page 20

H TH NG AUDIO-VIDEO
H th ng Audio Video dn d ng:
Xy d ng ho c t o l i m t s chng trnh nh t nh Ghi, lu tr nh ng s ki n c nhn. H u h t cc chng trnh c thu v t o ra t i ch . H th ng p ng nhu c u gi thnh th p, d s d ng ph bi n r ng ri. S d ng phng php s n xu t h u k v i ch t l ng gi i h n nh t nh. a h v tng thch v i m i tiu chu n. M i quan tm c a cc nh s n xu t.
Page 21

H TH NG AUDIO-VIDEO
H th ng Audio-Video dn d ng

VCR, VCD, DVD

Camera

Interface card

PAL, NTSC

Hnh 1-7 H th ng Audio Video dn d ng

Page 22

H TH NG AUDIO-VIDEO
H th ng Audio Video bn chuyn d ng

Interface card Camera VCR, VCD, DVD VCR, VCD, DVD Bng, a PAL, NTSC Bng, a T i khch hng
Page 23

Hnh 1-8 H th ng Audio Video bn chuyn d ng

H TH NG AUDIO-VIDEO
H th ng phn ph i:
T p h p chng trnh thnh m t dng d li u pht qu ng b, truy n hnh cp hay v tinh. Kh nng chuy n t i n ng i xem thng qua my pht, m ng hay m t phng th c no . My ch ph i p ng kh nng lu tr i v i tn hi u nh m t o ng truy n thng su t gi a cc chng trnh. Yu c u t ng cao, gi m chi ph nhn cng. Truy n hnh tng tc yu c u kh nng x l v ch t l ng ng truy n kh cao, ng th i h th ng ph i c kh nng pht cc chng trnh khc nhau trong cng th i i m.
Page 24

H TH NG AUDIO-VIDEO
H th ng Audio Video studio s n xuCam1 t chng Camera1 trnh Cam2
Camera2 Camera3 Camera4
Cam3 Cam4 VCR1 VCR2 VCR3 EFF LINE

EFF2

EFF1

VCR1 VCR2 VCR3

LINE VCR1 VCR2 VCR3

B t o k x o

u ra video

Page Hnh 1-9 H th ng Audio Video studio s n xu t chng trnh 25

H TH NG AUDIO-VIDEO
H th ng s n xu t chng trnh ngoi tr i:
c s d ng thu cc b n tin hay m t chng trnh no m khng c n nhi u ng i th c hi n, th ng s d ng cc thi t b c m tay. Cc chng trnh truy n tr c ti p th h th ng c th l cc h th ng c nh nhng v i quy m nh v ch t l ng th p hn. Yu c u tnh c ng cao. Camera c n i v i my ghi ring m khg s d ng ma tr n chuy n m ch. My ghi m a ng c s d ng thu n ti n trong h u k m thanh nhng ph i yu c u ng b v i hnh.
Page 26

H TH NG AUDIO-VIDEO
H th ng s n xu t h u k
B t o tiu B t o h a Camera copy
TITL1 GRPH1 Cam1 VCR1 VCR2 VCR3 EFFA EFFB EFFB1 EFFB2 VCR1 VCR2 VCR3 EFFA1 EFFA2

K x o A

K x o B

B I U KHI N D NG

Hnh 1-10 H th ng Audio Video s n xu t h u k

Page 27

H TH NG AUDIO-VIDEO
H th ng c u h i th o
Monitor Camera Micro Audio My chi u Camera B x l v i u khi n s Micro Audio My chi u B x l v i u khi n s V tr A V tr B Monitor

Hnh 1-11 H th ng c u h i th o

Page 28

H TH NG AUDIO-VIDEO

H th ng audio video trong PC

PC dng trnh di n, lu tr , x l m thanh, hnh nh. i u khi n b ng ph n m m chuyn d ng k t h p v i cc card h a, x l k x o. a d ng v tiu chu n d n n kh tng thch. C th yu c u nhi u d ng card thch ng khc nhau v c th s d ng hn m t mn hnh hi n th . D li u c th yu c u nn v gi i nn v ph m vi ng d ng kh r ng.

Page 29

M TS

V N V TN HI U

Tn hi u v hm
Tn hi u tng t l hm theo th i gian. Bin m thanh c bi u di n b ng m c m thanh t i th i i m cho. Tn hi u c bi u di n b ng hm f(t).

Tn hi u c chu k
S l p l i trong m t kho ng th i gian ng n nh t khng i c a tn hi u g i l chu k T. T n s l ngh ch o c a chu k: u=1/T.
Bin f(t0) Th i gian t
Page 30

t0

Hnh 1-7 Bi u di n bin -th i gian

M TS

V N V TN HI U

Phn tch Fourier

Trong th c t , r t t khi ta c c m t tn hi u n t n, m thng th ng l cc tn hi u ph c t p, k t h p b i nhi u t n s v cc hi c a n. Vi c phn tch Fourier cho k t qu l t ng c a cc hm sin v cosin c a cc t n s khc nhau.

Phn tch Fourier m t chi u:

F (u ) =

f (t )e

j 2 ut

dt

F(u)=FR(u)+jFI(u)

f (t ) =

F (u )e j 2 ut du

F (u ) = FR2 (u ) + FI2 (u )
(u ) = arctan(
FI (u ) ) FR (u )
Page 31

F (u ) = FR (u ) + jFI (u ) = F (u ) e j (u )

M TS
Ph t n s

V N V TN HI U

S phn b c a |F(u)| g i l ph t n c a tn hi u. Tn hi u bi n thin ch m th ph t n t p trung t n s th p v ng c l i. T hnh thnh tn hi u t n s th p v t n s cao.

Bin ph |Fu|

T n s (u)
Page 32

M TS

V N V TN HI U

Tn hi u Audio v Video
Tn hi u m thanh th ng l tn hi u m t chi u. Tn hi u nh l tn hi u hai chi u. Tn hi u Video l tn hi u 3 chi u. V i cc chi u khc nhau, ta s c s bi n khc nhau tng ng.

Chuy n i Fourier 2 chi u

F (u , v ) =

f ( x, y ) e

j 2 ( ux + vy )

dxdy

e j 2 (ux+vy) = e j 2uxe j 2vy

j 2 ( ux + vy )

f ( x, y ) =

F (u, v)e

dudv
Page 33

M TS
M us c

V N V TN HI U

Vi c k t h p cc mu khc nhau t o nn m t mu m i. Thng th ng, ch n cc mu c b n k t h p, v d RGB

Red Yellow Magenta White Green Blue

Hnh 1-8 L thuy t 3 mu RGB

Page 34

M TS

V N V TN HI U

Khng gian c m quan mu 3 chi u:

Con ng i c m quan mu s c cc kha c nh sau:
brightness: sng nh th no. hue: mu no. saturation: s tinh khi t

S c m quan ny i v i m i ng i l m i khc bi t, do , khng th so c gi a ng i ny v i ng i kia.

Hnh 1-9 C m quan 3 chi u
Page 35

NN D
i l ng o thng tin

LI U

L ng thng tin trong tn hi u c th khng b ng l ng d li u c a n m quan h m t thi t v i xc su t xu t hi n c a n.

T -thng tin (l ng tin)

Thng tin c mang b i m t bi n c A c xc su t xu t hi n P[A] l: IA 1

I A = log 2

P [ A]

= log 2 P [ A ]

Thng tin khng (l ng tin =0):

M t tr i m c ng ng.

L ng tin t
My i n tho i di ng trong tng lai u c kh nng multimedia

P[A] 0 1
Page 36

L ng tin nhi u:

Tr ng KBK N c x p h ng nh t trn th gi i v TVT

NN D
Entropy

LI U

L ng tin trung bnh c a ngu n tin, m t cch g n ng, l s bit trung bnh c a thng tin yu c u bi u di n cc k hi u c a ngu n tin. V i ngu n N k hi u Xi th entropy c nh ngha nh sau:

H ( S ) = P [ X i ] log 2 P [ X i ]
i =1

H(S)0; i v i m ho nh phn, H(S) th hi n m ho v i s bt/k hi u t i thi u. V d : Trong m t nh phn b u thang xm (256 m c): pi=1/256, s bit m ho cho m c xm l log2256=8bits. Entropy c a nh ny l H(S)=pilog2(1/pi)=8bits/k hi u. V y, trong tr ng h p phn b u ny, m ho di c nh s t c s bit t i thi u. Trong tr ng h p t ng quan th m ha di c nh s khng hi u qu .
Page 37

NN D
c i m:

LI U

M ho di c nh FLC (Fixed-Length Code)

S d ng s bit c nh bi u di n m i k hi u c a ngu n. n gi n trong qu trnh m ho/gi i m.

V d
M ASCII (American Standard Code for Information Interchange) s d ng 8 bits m ho cc k t .
Truy n chu i: DTVT: 68 84 86 84: 01101000 10000100 10000110 10000100

Nh c i m:
Khng hi u qu

Page 38

NN D
c i m

LI U

M ho di thay i VLC (Variable-Length Code)

S d ng s bit khc nhau bi u di n cc k t khc nhau. Cc k t c xc su t xu t hi n cao c phn b b i t m ng n v ng c l i. Hi u qu trong vi c bi u di n hn, nn t t hn.

V d :
M Morse. Shannon-Fano. Huffman. M ho lo t di (RLC).
Page 39

NN D
Thu t ton Shannon-Fano
V d m t thu t ton:
K hi u S l xu t hi n A 15 B 7

LI U

C 6

D 5

E 6

M ho theo thu t ton Shannon-Fano: S p x p cc k t theo th t gi m d n c a t n su t xu t hi n. Tnh xc su t. quy lm hai ph n, m i ph n c t ng xc su t g n b ng nhau. M ho ph n trn b ng bit 0 (ho c bit 1), ph n d i b ng bit 1 (ho c bit 0). - V s cy. - Tnh Entropy, s bits m ho trung bnh v s bit m ho thng th ng. - Nh n xt.
Page 40

NN D
K hi u A B C E D m 15 7 6 6 5
H ( S ) = pi log 2
i= A

LI U
M 0 0 1 1 1 0 1 0 1 1 0 1 G c 1 1 0 B C E D
Page 41

Pi 15/39 7/39 6/39 6/39 5/39

Log2(1/pi) 1.38 2.48 2.7 2.7 2.96

T ng bits 30 14 12 18 15

Entropy c Ea ngu n:
H ( s) = 2.19.

1 15 7 6 6 5 = .1.38 + .2.48 + 2.7 + 2.7 + 2.96 39 39 39 39 pi 39

0
2.28bits

S bits s d ng trung bnh:

S bt m ho thng th ng: log25=3bits Nh n xt: S bits s d ng trung bnh g n H(S) th b m cng hi u qu .

30 + 14 + 12 + 18 + 15 R= 39

1 0 1

0 A

NN D
M ho Huffman
Nguyn t c:

LI U

D a vo m hnh th ng k c a d li u g c, k t c xc su t cng cao th m ho v i t m cng ng n.

Thu t ton:
- Tnh t n su t xu t hi n trong d li u g c, s p x p theo th t gi m d n. - Xt t d i ln trn, b t u t hai k t c xc su t b nh t, quy inh m i nhnh l 0 (ho c 1) h p l i v i nhau thnh nt c xc su t b ng t ng hai xc su t h p thnh. - L p l i cho n h t.

Page 42

NN D
Xt v d trn
Xc su t 15/39 7/39 6/39 6/39 5/39 0 1 0 1 1 11/39 0 13/39 0 24/39 1 K hi u A B C E D

LI U
M 1 000 001 010 011 T ng bit 15 21 18 18 15

S bt trung bnh: 87/39=2.23 (<2.28) Hi u qu hn Shannon Fano.

Page 43

NN D
Nguyn l

LI U

M ho lo t di RLC (Run-Length Coding)

M ho lo t k hi u b ng chi u di v k hi u c a lo t .

c i m
M ho khng t n hao M ho lin k t . Hi u qu v i m t s ngu n tn hi u, nh t l sau php chuy n i. C n 2 bits m ho C n 4 bits m ho V d 0 0 0 0 0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 0 0 15: (11,13)3 (9,13)15 m: (11,3) (9,15) Run-length Lo t 0 di Bit th side s bit c n m ho

Page 44

NN D

M ho Lempel-Zip-Welch:
Nn t i n c Jacob Lampel v Abraham Ziv xu t nm 1977, pht tri n thnh h LZ, LZ77, LZ78. Nm 1984, Terry Welch c i ti n thnh LZW. Nguyn t c: D a vo vi c xy d ng m t t i n lu cc chu i k t c t n su t cao v thay th b ng m t t m m i. LZW t ch c t i n t t hn nn nng cao t l nn. V d : Xt t i n c l n b ng 4096 gi tr t m, v y di l n nh t c a t m l 12 bits (212=4096). Xt chu i vo ABCBCABCABCD.

LI U
0 255 256 257 258 4095 0 255 256 | Clear Code 257 | End of Information Chu i m i Chu i m i

256: M xo CC kh c ph c tnh tr ng m u l p l n hn 4096, n u m u l p l n hn 4096 th g i CC xy d ng t i n cho ph n ti p theo. EoI: Bo hi u h t m t ph n nn.

Page 45

NN D
Thu t ton: - w = NIL; - trong khi c c k t th k trong chu i - n u wk t n t i trong t i n th w = wk - cn khng th thm wk vo trong t i n, m ho ng ra cho w; w = k; - k=k+1; Chu i ra: 65 66 67 259 258 67 262 68 u vo 12ktx8bits=96 bits. u ra : 5ktx8+3ktx9=67bits. T l nn: 96/67=1.43
W Nil A B C B BC A B C A AB

LI U
K A B C B C A B C A B C D 262 68 Page 46 264 ABCD 258 67 262 263 ABC CA 259 261 BCA 65 66 67 258 259 260 AB BC CB Output Index Symbol

ABC

NN D
Lu
Start w=nil count=0 k=str[count] Y Output(w) End

LI U

k=nil? N wk in dict? Y w=wk N index++ Symbol=dict[index]= wk. Output(w). w=k

count++

Page 47