Introduction :

Le calibrage gomtrique d'une camra consiste dterminer la relation mathmatique existant

entre les coordonnes des points 3D de la scne observe et les coordonnes 2D de leur proection
dans l'image !points"image#$ %ette tape de calibrage constitue le point initial pour plusieurs
applications de la vision arti&icielle' comme par exemple la reconnaissance et la localisation d'obets'
le contr(le dimensionnel de pices' la reconstruction de l'environnement pour la navigation d'un
robot mobile' etc$ %alibrer une camra' c'est choisir un modle de camra a priori et dterminer
ensuite les paramtres de ce modle$ )ous allons dcrire les principaux modles de camra utiliss
ainsi que les principales mthodes proposes pour dterminer les paramtres du modle choisi$ *our
obtenir des in&ormations tridimensionnelles' il est ncessaire d'associer deux camras pour
constituer un capteur de vision stroscopique$ Le calibrage d'un tel capteur est un problme
spci&ique qui est dcrit galement$


%alibrer une camra consiste trouver sa &onction de trans&ert
Le modle de camra :

Il +,a plusieurs modles de camra - le modle stnop et les di&&rents modles permettant de
prendre en compte les distorsions$ %ommen.ons par le modle stnop$

Le modle stnop ! pinhole en anglais# modlise une camra par une proection perspective$ %e
modle trans&orme un point 3D de l'espace en un point"image et peut se dcomposer en trois
trans&ormations lmentaires successives :
/$ la trans&ormation entre le repre du monde et celui de la camra
2$ la trans&ormation entre le repre camra et le repre !plan rtinien#
3$ la trans&ormation entre le repre capteur et le repre image$




















0tilisation des coordonnes homognes :
Les coordonnes homognes en 2D :

%oordonnes euclidiennes : coordonnes homognes :
m = |
x
y
] m = |
x
y
1
]

Les coordonnes homognes en 3D :
%oordonnes euclidiennes : coordonnes homognes :

H = |
x
y
z
] H

= |
x
y
z
1
]



/$ 1rans&ormation entre le repre du monde et le repre camra :
%ette trans&ormation rigide peut se dcomposer en une rotation 234 et une translation 2t4$ Les
paramtres de cette trans&ormation sont appels paramtres extrinsques de la camra$








5vec :







1 est une matrice de 6 x 6$
2$ 1rans&ormation entre le repre camra et le repre capteur !plan rtinien# :
%'est une proection perspective !matrice 376' note 2*4# qui trans&orme un point 3D !8
c
' 9
c
' :
c
# en un
point"image !8' 9# !en unit mtrique#$








;< & dsigne la &ocale de l,obecti& utilis :



;n peut crire :

X =
X
c
Z
c
=

c
Z
c


3$ 1rans&ormation entre le repre capteur et le repre image :
%,est l'opration de conversion des coordonnes images !8'9# !en unit mtrique# en coordonnes
images discrtes !u'v# !en pixels#$







avec :
- C
x
et C
y
(en pixels) dsignent les coordonnes de l'intersection de l'axe optique avec le
plan image (thoriquement au centre de l'image)
- K
x
et K
y
dsignent le nombre de pixels par unit de longueur suivant les directions X
et Y du capteur respectivement (K
x
= K
y
) (dans le cas de pixels carrs)
- traduit la non orthogonalit ventuelle des lignes et colonnes de l'image. En
pratique, est trs proche de /2. Ce paramtre est dsign par (skew factor) en
anglais.
On considre souvent que le (skew factor) est ngligeable = /2 et l'quation se simplifie
alors de la faon suivante :





Calibrage de la camra :
%alibrer une camra' c'est essentiellement pour dterminer ses paramtres intrinsques qui'
comme leur nom l'indique' sont intrinsques la camra et ne changent pas si l'on dplace la
camra$ Des mthodes spci&iques !dites de localisation# ont t dveloppes pour dterminer la
position d'une camra par rapport un repre de travail lorsqu'on conna=t d ses paramtres
intrinsques$
Pourquoi le calibrage ?
pour la reconstruction mtrique 3D d,images
localisation des obets et de la camra
trouver la relation entre les coordonnes 3D !monde rel# et les coordonnes 2D
!l,image de la camra#$





Il consiste dterminer les paramtres de la trans&ormation entre les coordonnes du
monde et les coordonnes image !et vice"versa#$
*aramtres de calibrage :
Le modle de la camra dcrit la trans&ormation du s+stme de coordonnes de la scne vers celui
de l'image :




Deux t+pes de paramtres prendre en compte :
*aramtres intrinsques !ou internes# :
- proprits optiques et gomtriques internes de la camra
- %aractristiques de la camra elle"m>me
- )e changent par si on dplace la camra
*aramtres extrinsques !ou externes# :
- relation r&rentiel environnement et r&rentiel camra
- position et orientation de la camra par rapport la scne
?+stmes de coordonnes :
1rois s+stmes de coordonnes distincts :
L,environnement !ou le monde ou la scne# : ?+stme de r&rence connu$ 1out !camra' obet'
etc$$$# est d&ini par rapport ce s+stme de coordonnes$
La camra : ?+stme dans lequel s,e&&ectue la proection des points 3D vers 2D$
L'image : ?+stme tablissant la r&rence aux pixels$








0n point peut >tre exprim avec plusieurs s+stmes de coordonnes :
Les coordonnes du monde 3D :
8
@
A !8
@
' 9
@
' :
@
#
1
Les coordonnes de la camra 3D :
8c A !8c' 9c' :c#1
Les coordonnes image 2D :
x A !x' +#1
La matrice de projection :
La matrice de proection est une matrice 3 x 6 qui dcrit la relation entre 8
@
et x
x A *8@
_
x
y
1
_ = _
P
11
P
12
P
13
P
21
P
22
P
23
P
31
P
32
P
33
P
14
P
24
P
34
_ _
X
w
Y
w
Z
w
1
_
Paramtres intrinsques et extrinsques :
La matrice de proection peut >tre dcompos en deux parties - paramtres intrinsques et
extrinsques comme :
x A *8@ A 5 23Bt4 8@
_
x
y
1
_ = _
u
x
s x
0
u u
y
y
0
u u 1
_ _
i
11
i
12
i
13
i
21
i
22
i
23
i
31
i
32
i
33

t
1
t
2
t
3
_ _
X
w
Y
w
Z
w
1
_
5vec :
5 : 3 x 3 - matrice de calibration !paramtres intrinsques#
3 : 3 x 3 - matrice de rotation et t : 3 x / - vecteur de translation
Paramtres extrinsques :
%ette matrice dcrit la trans&ormation entre 8
@
et 8
c
comme :
8
c
A 23Bt4 8
@

_
X
c
Y
c
Z
c
1
_ = _
i
11
i
12
i
13
i
21
i
22
i
23
i
31
i
32
i
33

t
14
t
24
t
34
_ _
X
w
Y
w
Z
w
1
_
Paramtres intrinsques :
Dcrit la proection du point 3D 8
c
dans le plan image comme :
x A 5 23Bt48
@
A 5 8
c
_
x
y
1
_ = _
u
x
s x
0
u u
y
y
0
u u 1
_ _
X
c
Y
c
Z
c
1
_
5vec :
u
x
et u
y
?ont les distances &ocales en unit pixel
x
0
et y
0
?ont le centre de l,image en unit pixel
s est le sCe@ &acteur$
Les tapes de projection dun point 3D en un point image 2D :
/$ Du point 3D dans les coordonnes du monde un point 3D dans les coordonnes
camra :
%hanger le s+stme de coordonnes du monde au s+stme de coordonnes de la camra
c
8
@
A 2
c
3
@
B
c
1
@
4
@
8
@
_
X
c
Y
c
Z
c
1
_ = _
i
11
i
12
i
13
i
21
i
22
i
23
i
31
i
32
i
33

t
14
t
24
t
34
_ _
X
w
Y
w
Z
w
1
_
2$ Du point 3D de la camra un point 2D dans la camra :

c
8
u
A 2
c
3
@
B
c
1
@
4
@
8
@
_
X
u
Y
u
1
_ = _
f u u
u f u
u u 1

u
u
u
_ _
X
w
Y
w
Z
w
1
_

X
u
=
f
Z
w
X
w
Y
u
=
f
Z
w
Y
w

5vec : & est la distance &ocale dans le s+stme mtrique$
3$ Du point 2D de la camra au point image 2D :
Du point 2D dans le s+stme mtrique un point 2D exprim par des pixels$
_
X
d
Y
d
1
_ = _
-k
u
u u
0
u -k
v
v
0
u u 1
_ _
X
u
Y
u
1
_
X
d
= -k
u
X
u
+ u
0
Y
d
= -k
v
Y
u
+ v
0

5vec :
Les paramtres !C
u
' C
v
# &ait la trans&ormation entre les mesures mtriques et les mesures
pixels$
!u
D
' v
D
# est la proection du point &ocal dans le plan$

! la "ision stroscopique :
La Eision ?troscopique vise reconstruire la structure 3D d,une scne$ 5&in de raliser
cette reconstruction il est ncessaire de connaitre les coordonnes 3D de tous les points d,une
scne$ La scne est reprsente par un couple d,images stroscopique$ %es images sont deux
reprsentations de la scne prises sous des angles di&&rents$ %haque point de la scne est proet
dans les images de la paire stroscopique des positions di&&rentes$ Fn vision stroscopique pour
disposer des coordonnes 3D d,un point il &aut disposer des coordonnes de ses deux proections'
respectivement dans les images gauches et droites$ L,obtention des coordonnes de ces deux
proections d,un m>me point 3D est ralise grGce une phase d,appariement qui vise trouver'
pour un point donn dans une image' son point correspondant dans l,autre image$ %es deux points
sont les proections respectives du m>me point 3D dans les images droite et gauche$ Les algorithmes
d,appariement utilisent diverses techniques qui sont soit locales et bases sur la comparaison de
&en>tre' dites H area"based methods I' soit globales$ Dans ce cas elles reposent sur la minimisation
d,une &onction de coJt globale$ %es dernires permettent d,obtenir des appariements denses et de
bonne qualit mais ont un coup de calcul lev et ne sont donc pas adaptes une application en
temps rel$ 5 l,inverse les mthodes locales sont relativement rapides et permettent d,obtenir une
bonne &iabilit dans l,appariement$ *ar ailleurs il &aut remarquer qu,il existe un certain nombre de
points de l,image qui n,ont pas de correspondants$ %eci est dJ au phnomne d,occultation : un
point peut >tre situ hors du champ de vision d,une des deux camras ou >tre masqu par un obet
dans une image et non dans l,autre$

Le principe de la vision stroscopique est rsum dans le schma s+noptique de la &igure
suivante$ Il est noter qu,en amont des tapes de la &igure il est ncessaire de raliser la calibration
du s+stme stroscopique de &a.on disposer des paramtres intrinsques et extrinsques du
s+stme$ %es paramtres seront essentiels dans les phases de recti&ication et de calcul des positions
3D des points$



























#econstruction 3D $ partir de deux images

%&stme stroscopique existants

Il existe un certain nombre de s+stmes utilisant la vision stroscopique sont actuellement
commercialiss$ ;n peut par exemple citer les socits 19:8 ou *oint Kre+ qui commercialisent
toutes deux des modules de vision 3D stroscopique comprenant un module de vision !2 camras
&ixes et pr"calibres# ainsi qu,une inter&ace avec un *%$ %es modules sont pilots grGce des 5*I
propritaires$ Il existe par ailleurs un certain nombre d,applications utilisant ces modules$ %es
applications ralisent des &onctions telles que la dtection et le suivi de personnes' l,valuation de
distance ou la navigation virtuelle dans l,environnement 3D$

Calibrage stroscopique :
'odle gomtrique du capteur stroscopique :
Le modle gomtrique du capteur stro peut >tre reprsent de la &a.on suivante :
'odle gomtrique du capteur stroscopique

D,aprs ce schma on considre le couple de camra stroscopique et on peut introduire la notion
de gomtrie pipolaire$ Fn e&&et' on peut dmontrer que pour chaque point de l,image gauche
!respectivement droite# si ce point possde un correspondant dans l,image de droite !respectivement
gauche# celui"ci ce trouve sur une droite appele droite pipolaire$ 1outes les droites pipolaires sont
concourantes en un point appel pip(le$ Il existe donc un pip(le droit et un pip(le gauche$ KrGce
la calibration stroscopique on pourra disposer de tous les paramtres ncessaires au calcul des
quations des droites pipolaires$ %es quations pourront >tre dtermines partir de la matrice
&ondamentale que l,on pourra elle"m>me calculer ou estimer$ La matrice &ondamentale dcrit la
gomtrie du capteur stroscopique' gomtrie que l,on appelle gomtrie pipolaire$

Calibration :
Le but de la calibration stro est de dterminer la matrice de passage du repre image gauche au
repre image droite$ La matrice de passage du repre camra gauche au repre camra droite est la
matrice stro 5s$
As = _
i
11
i
21
i
31
u

i
12
i
22
i
13
i
23
b
x
b
y
i
32
i
33
b
z
u u 1
_

!bx'b+'bL# correspond au vecteur de translation 2MM,4' et la matrice !r/'r2'r3# la matrice de rotation
entre le repre camra de gauche et le repre camra de droite$






Principe de recti(ication pipolaire :
La recti&ication pipolaire se base sur une modi&ication de la gomtrie pipolaire prsente
au paragraphe prcdent$ Le but recherch est la paralllisation des lignes pipolaires de &a.on
simpli&ier la recherche de correspondants entre deux images$ Fn e&&et' aprs recti&ication chaque
point d,une image trouve son correspondant sur la m>me ligne que lui dans l,image correspondante
Il est nettement plus simple de mettre en Nuvre cette recherche ligne par ligne plut(t que d,utiliser
les quations de ligne pipolaire$ La recti&ication devient donc un pralable l,appariement de deux
images$
#ecti(ication pipolaire

;n constate bien que les droites pipolaires sont parallles aprs recti&ication : la recherche de
correspondants peut se &aire ligne par ligne$ ;n peut par ailleurs noter que les pip(les sont reets
l,in&ini$
Les algorit)mes dappariement :

Les algorithmes d,appariement sont au cNur du processus de vision 3D$ Ils consistent simplement en
une association des points correspondant entre deux images$ %es points reprsentent les proections
gauches et droites d,un m>me point 3D$ Le rsultat de cette phase est une image de disparit
relative entre les images gauche et droite$ La disparit correspond la distance sur la ligne entre les
coordonnes en abscisse de chacune des proections' elle est inversement proportionnelle la
distance relle$ %ette tape correspond' en vision humaine l,association par le cerveau des images
per.ues par l,Nil gauche et l,Nil droit$ Les algorithmes existants sont nombreux et varient selon
divers paramtres : mesure de similitude entre les pixels utilise' di&&rentes contraintes
implmentes' trans&ormations et &iltrages pralables appliqus$

'esures de similitude :

La mesure de similitude constitue le cNur de l,algorithme d,appariement$ %e sont ces mesures qui
vont permettre de dterminer les paires de points$ %e sont des mesures algbriques qui permettent
de calculer la ressemblance entre deux pixels$ Fn pratique cette mesure de ressemblance est ralise
sur une &en>tre et non pas sur un seul et unique pixel$
;n parle donc de &en>tre de corrlation$ *our >tre apparis' deux points devront >tre similaires et
avoir un voisinage similaire$

Les contraintes pour lappariement :

5&in de raliser un appariement global correct on doit appliquer un certain nombre de contraintes
l,algorithme de &a.on pouvoir slectionner le vrai correspondant d,un point et non pas un autre
point lui tant semblable$ ;n va exposer ici les contraintes les plus courantes$ %ertaines de ces
contraintes vont par ailleurs permettre de diminuer le coJt de l,algorithme en diminuant l,espace de
recherche de correspondants$
Contrainte pipolaire :
La contrainte pipolaire est une contrainte &orte due la gomtrie des camras$ %ette gomtrie
est considre comme connue aprs la calibration$ L,expression brute de la contrainte est la
suivante: tout point de l,image de gauche trouve son correspondant sur une ligne de l,image de
droite appele ligne pipolaire et rciproquement$ 5prs la phase de recti&ication pipolaire les
lignes pipolaires sont parallles : un point trouve son correspondant dans l,autre image sur la ligne
de m>me ordonne$
La contrainte pipolaire est la seule contrainte &orte dont l,on dispose$ Flle dpend de la gomtrie
du s+stme et permet de rduire le problme de l,appariement la recherche sur une ligne$ La
recti&ication permet de simpli&ier grandement cette recherche d,un point de vue algorithmique$
Il est noter qu,il existe d,autres contraintes que la contrainte pipolaire comme la contrainte
d,unicit' la contrainte d,ordre' la contrainte de continuit Oetc$

Principe de la reconstruction 3D des points dune scne :

P partir d,une carte de disparit on peut calculer et rcuprer l,ensemble des coordonnes 3D des
points de la scne$ %e calcul est une primitive la reconstruction 3D d,une scne et est ralis grGce
la triangulation$
%&stme stroscopique et triangulation

;n note d la disparit$ 5 partir des distances connues sur le schma de la &igure on veut dterminer
les coordonnes 3D du point ? !8' 9' :#$ *our cela on va tout d,abord exprimer les valeurs de Q, et
de Q$
tan0 =
-x
]
, tan0
i
=
x
|
]
!/#
De la m>me &a.on on a :

tan[
n
2
-0 =
z
t
1
, tan(

2
-0
i
) =
z
t
2

;n rappelle que :
tan[
n
2
-0 =
1
tan0
D,o< :
1
tan0
=
z
t
1
,
1
tan0
|
=
z
t
2

5lors : tan0 + tan0
i
=
t
1
+ t
2
z
=
1
z

De !/# vient : tan0 + tan0
i
=
x
|
- x
]
=
d
]
on a donc :

1
z
=
d
]
et Z =
]-1
d
!2#
;n a donc dtermin l,expression de la coordonne : de ?$ Il reste dterminer 8 et 9$ ;n utilise un
raisonnement similaire celui ralis ci"dessus et on dmontre que :

X =
z-x
]
ct Y =
z-
]
!3#
5lors par le calcule des coordonnes !8' 9' :# de chaque point d,une scne grGce la carte de
disparit et on stocCe les rsultats dans un &ichier texte : on pourra ultrieurement raliser une
reconstruction dense de la scne tridimensionnelle grGce ces coordonnes$