You are on page 1of 22

1

III Curso de Especializacin en


Automtica
17-22 Junio de 2002
Santa Pola (Alicante)
scar Reinoso Garca
APLI CACI ONES DE LA
VI SI N ARTI FI CI AL
VI SUAL SERVOI NG
III Curso de Especializacin en Automtica 2
Visual Servoing
Grupo de
Tecnologa Industrial
ndice
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
2
III Curso de Especializacin en Automtica 3
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
Referencias:(Hill & Park 79) (Sanderson & Weiss 80) (Corke 93)
(Corke 96)
Esquema mirar y mover esttico (look and move systems)
Extraccin de informacin de la imagen(Sist. Visin) y el
control del robot son dos tareas secuenciales.
El robot ejecuta la tarea suponiendo que el entorno
no se ha modificado (a ciegas)
Primeras aplicaciones recogidas en el trabajo de
Corke(93) Visual control of Robot Manipulators
Robot
Controlador
de
articulaciones
Determinacin
Posicin
Extraccin
Caractersticas
Amplificadores
de Potencia
Cmara
f
x
c

+
-
d
c
x
IMAGEN
Robot
Controlador
de
articulaciones
Determinacin
Posicin
Extraccin
Caractersticas
Amplificadores
de Potencia
Cmara
f
x
c

+
-
d
c
x
IMAGEN
III Curso de Especializacin en Automtica 4
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
Mirar y mover dinmico (Dynamic look and move systems)
El robot puede encontrarse an en movimiento mientras la
siguiente imagen est siendo capturada.
Bucle interno de control de los servomotores (frecuencia elevada)
Actualizacin de los datos del sist. de visin (frec. menor)
Bifrecuenciales
La mayora de las implementaciones en el campo del control
visual.

Robot
Controlador
de
articulaciones

Controlador
Determinacin
Posicin
Extraccin
Caractersticas
Amplificadores
de Potencia
Cmara
f
x
c

+
-
d
c
x
Cinemtica
Inversa
3
III Curso de Especializacin en Automtica 5
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
Servo control visual directo (Direct visual servo
systems)
Desaparicin del lazo de control interno del robot
Procesamiento de la imagen a una frecuencia muy
elevada

Robot

Controlador
Extraccin
Caractersticas
Amplificadores
de Potencia
Cmara
f
+
-
d
f
III Curso de Especializacin en Automtica 6
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
Configuracin cmara-robot
Robot
Cmara
Robot
Cmara
Robot Robot
Cmara
Cmara
Robot
Cmara
Nmero de cmaras
1 2 >2
VM1 VM2 VM3 VM4 VM5
Modelo del robot
Conocido a priori Estimado
Basado en posicin (PB) 2 D (IB) Aprendizaje (EL) Analticamente (EA) Basado en imagen (IB)
4
III Curso de Especializacin en Automtica 7
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
Segn el modo en que son utilizadas las caractersticas de inters
extradas de las imgenes. Sistemas de control visual basados en:
Posicin (3D) (Position-based visual servo systems)
(u,v) -> estimar la posicin/orientacin del objeto respecto del
sistema de coordenadas de la cmara, robot, mundo
Requiere informacin adicional: modelo geomtrico del objeto, ....
Espacio cartesiano, referencia posicin/orientacin deseada

Robot
Controlador
de
articulaciones

Controlador
Determinacin
Posicin
Extraccin
Caractersticas
Amplificadores
de Potencia
Cmara
f
x
c

+
-
d
c
x
Cinemtica
Inversa
III Curso de Especializacin en Automtica 8
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
Caractersticas de la imagen (2D) (Image-based visual servo
systems)
(u,v) se usan directamente para estimar el movimiento
deseado del robot
Referencia (u
d
,v
d
). No estimacin de pose del objeto
Diseo del cotrolador ms complejo

Robot
Controlador
de
articulaciones

Controlador
Extraccin
Caractersticas
Amplificadores
de Pote ncia
Cmara
f
+
-
d
f
5
III Curso de Especializacin en Automtica 9
Visual Servoing
Grupo de
Tecnologa Industrial
Clasificacin
2 D
Una combinacin de las dos aproximaciones anteriores (3D y
2D)
Eye-in-hand (originalmente) (Malis et al. 99)
Se calcula la rotacin de la cmara en cada iteracin (3D) y la
traslacin mediante coordenadas de la imagen extendidas
(profundidad Z)
III Curso de Especializacin en Automtica 10
Visual Servoing
Grupo de
Tecnologa Industrial
Visual Servoing
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
6
III Curso de Especializacin en Automtica 11
Visual Servoing
Grupo de
Tecnologa Industrial
Introduccin al control sensorial
S representa la medida actual del sensor.
(caractersticas visuales en el caso de un cmara)
O
c
Representa el sistema de coordenadas del sensor
(cmara)
O
o
Representa el sistema de coordenadas del objeto
O
w
Representa el sistema de coordenadas del mundo
Robot
Cmara
Objeto
S
O
w
O
C
O
o
O
C
z
x
y
V
C
O
C

,
_

,
_

c
z
c
y
c
x
c
Z
c
Y
c
X
c
c
V
c
T
&
&
&
III Curso de Especializacin en Automtica 12
Visual Servoing
Grupo de
Tecnologa Industrial
Introduccin al control sensorial
Interaccin
Relacin mediante la cual un cambio en la posicin y
orientacin del objeto respecto de la cmara induce un
cambio en las caractersticas observadas en la imagen
Robot
Cmara
Objeto
S
O
w
O
C
O
o
r
( ) t r S S ,
posicin/orientaci
n del efector final
t
S
dt
r d
r
S
S
dt
S d


&
t
S
T
r
S
S
C

&
t
S
T L S
C
T
S

+
&
Si el objeto esta fijo, no posee movimiento
0

t
S
C
T
S
T L S
&
T
S
L Matriz de interaccin
(Weiss 84) (Chaumet,...)
Jacobiano de la imagen
(Hutchinson, Corke, Hashimoto, Kelly,...)
7
III Curso de Especializacin en Automtica 13
Visual Servoing
Grupo de
Tecnologa Industrial
Introduccin al control sensorial
r en funcin de coordenadas articulares
( ) t t q r S S ), , (
t
S
dt
q d
q
r
r
S
S
dt
S d


&
( ) q J
T
S
L q&
Si el objeto esta
fijo, no posee
movimiento
0

t
S
q q J L S
T
S
&
&
) ( un cambio en las coordenadas articulares del
robot induce un cambio en las caractersticas
del objeto observadas en la imagen
III Curso de Especializacin en Automtica 14
Visual Servoing
Grupo de
Tecnologa Industrial
Introduccin al control sensorial
Control de robots en el espacio de la tarea (task function
approach) (Samson Robot Control: Task Function Approach)
La tarea a realizar por un sistema robtico vendr dada por una
funcin de salida y un objetivo de control
En general una funcin de salida que se utiliza para describir la tarea, ser
una funcin de error
En el espacio articular e(q,t)=q
d
(t)-q(t). Coor. Cartesianas r
d
(t)-r(q)
El objetivo del control ser la regulacin de la seal de salida e para que un
intervalo de tiempo sea cero.
Formulacin, condiciones de estabilidad, ....
visual servoing task (Chaumet et al. 1991 )
Eligiendo S convenientemente de forma que los m componentes de e
sean independientes -> permitiracontrolar m gdl
( ) d S t r S C t r e ) , ( ) , (
( ) ( ) ( ) s k e m q n dim dim dim 1 m 1 k k m
8
III Curso de Especializacin en Automtica 15
Visual Servoing
Grupo de
Tecnologa Industrial
Introduccin al control sensorial
Con esta formulacin el problema se reduce a un
problema de regulacin donde 0 ) , ( t r e
( ) d S t r S C t r e ) , ( ) , (
) , ( ) , ( t r S C t r e
&
&

t
S
T L S
C
T
S

+
&
0

t
S C
T
S
T L S
&
) , ( ) , ( t r e t r e &
( )
C
T
S
d
T L C S t r S C ) , (
( ) ( )
d
T
S
C
S t r S C L C T
+
) , (
0 >
T
S
L C
Convergencia exponencial
( )
+

T
S
L C
( )
d
T
S
C
S t r S L T
+
) , (
Ley de Control
III Curso de Especializacin en Automtica 16
Visual Servoing
Grupo de
Tecnologa Industrial
Visual Servoing
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
9
III Curso de Especializacin en Automtica 17
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
Introduccin Puntos 3D:
Robot
Cmara
Objeto
S
C
O
w
O
C
O
o
r
posicin/orientaci
n del efector final
S
W
S
O
P
O
C
P

Robot
Controlador
de
articulaciones
Controlador
Determinacin
Posicin
Extraccin
Caractersticas

Amplificadores
de Potencia
Cmara
f
x
c

+
-
d
c
x
Cinemtica
Inversa
C
S
C
P O x ( ) x
dt
dx
P V
C
C
S
S
&
( )
1
1
]
1

+
O O
C O
O
C S
c
S
S S
S
c
CO
S
P O
dt
P O d
R P V
III Curso de Especializacin en Automtica 18
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
( )
1
1
]
1

+
O O
C O
O
C S
c
S
S S
S
c
CO
S
P O
dt
P O d
R P V
O
C
O
C
O
O
O
C
P
V
C
O
C
O
O
O
O
P
P
( )
1
1
1
]
1

+ +
O O
C O
O
O
C S
c
S
S S
S
O
S
O C
CO
S
P O
dt
P O d
dt
O O d
R P V
( )
1
1
1
]
1

+ +
O O
C O
O
O
C S
c
S
S S
S
O
S
O C
CO
S
P O
dt
P O d
dt
O O d
R P V
0
( )
1
1
]
1


O O
O C
O
C S
c
S
S S
S
C O
CO
S
P O
dt
O O d
R P V
10
III Curso de Especializacin en Automtica 19
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
( )

,
_


1
1
]
1


O O
O C
O
O O
O C
O
C S
c
S
S S CO
S
C O
CO
S
c
S
S S
S
C O
CO
S
P O R
dt
O O d
R P O
dt
O O d
R P V
C
V
0 10 1
V R V
T

[ ] [ ]
[ ]
10
^
0 10
^
0 10
^
1
R V R
V R V
T
T


[ ]
1
1
1
]
1

0
0
0
1 1
1 1
1 1
^
1
X Y
X Z
Y Z
V V
V V
V V
V

1
]
1


1
]
1


O O
O C
O O
O C
S
c
S
S S CO
S
c
S
S S CO
P O R P O R
^
[ ] A V A V
^
1 1
[ ]
C C C
O C
O C
O C
O C
O C
S
c C
S
c
S
S S
S
c CO
S
S S
T
CO CO
S
c
S
S S
T
CO CO
P O P O
P O R R R
P O R R

1
]
1



1
]
1



1
]
1


^
^
^
^
P O
C C

III Curso de Especializacin en Automtica 20
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
x V x
C C
&
Robot
Cmara
Objeto
S
C
O
w
O
C
O
o
r
posicin/orientaci
n del efector final
S
W
S
O
P
O
C
P
C
S
C
P O x
( ) x
dt
dx
P V
C
C
S
S
&
( ) P O V P V
C C C
S
C
[ ]
C C
x V x +
^
&
[ ]

,
_

1
]
1


C
C
x
V
x I x
^
3 3
&
C
T
x
T L x &
[ ]
1
]
1


^
3 3
x I L
x
T
x
11
III Curso de Especializacin en Automtica 21
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
C
S
i
i
i
i
Z
Y
X
S

,
_

[ ] [ ]
c i x i
T p I S
^
3 3
&
[ ]
1
1
1
]
1


. .
. .
^
3 3 i x
S
p I L ( ) d
S
C
S S L T
+

( )
S S
T
S S
L L L L

+
1

Robot
Controlador
de
articulaciones
Controlador
Determinacin
Posicin
Extraccin
Caractersticas
Amplificadores
de Potencia
Cmara
f
x
c

+
-
d
c
x
Cinemtica
Inversa
III Curso de Especializacin en Automtica 22
Visual Servoing
Grupo de
Tecnologa Industrial
ndice
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
12
III Curso de Especializacin en Automtica 23
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
Pose(Posicin y orientacin)
Mantener una pose(posicin/orientacin) entre el
objeto y el extremo del robot. (
O
X
G
*
)
Otra formulacin
Funcin de error a minimizar
Robot
Cmara
Objeto
S
C
O
R
O
C
O
o
R
X
G
posicin/orientacin
del efector final
respecto del mundo S
R
S
O
P
O
X
G
S
G
*
G
O
G
O
X X e
* *
G
R
G
R
G
O
G
O
X X X X
*
G
R
G
R
X X e
1
1
]
1

*
*
G
R
G
R
G
R
G
R
t t
e

G
R
X
* *
G
O
O
C
C
R
G
R
X X X X Calibracin
cmara-robot
Cinemtica directa
Estimarlo el
sistema de visin
Dato. Pose deseada

'

*
*
*
G
R
G
R
G
R
t
X

III Curso de Especializacin en Automtica 24


Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
Calculo de
*
G
R
t
[ ]
T
z y x
x
x x
t t t T
t R
T
1
]
1

1 0
3 1
1 3 3 3 * *
G
O
O
C
C
R
G
R
p T T p

,
_

1
1
1
1
]
1

1
1
*
* G
O
z
y
x
G
O
t
t
t
t
p
1
1
]
1

1
1
]
1

1 0
1 0
C
R
C
R
C
R
O
C
O
C
O
C
t R
T
t R
T
1
1
]
1

+ +

1
1
]
1

1
1
]
1

1
1
]
1

1
1
]
1

1
1
]
1

1
1
]
1

1
1 1 0
1 1 0 1 0 1
*
*
* *
C
R
O
C
C
R
G
O
O
C
C
R
O
C
G
O
O
C
C
R
C
R
G
O
O
C
O
C
C
R
C
R
G
R
t t R t R R
t t R t R
t t R t R t
13
III Curso de Especializacin en Automtica 25
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
Siendo
Rotacin entre S
C
y S
R.
Estimada por calibracin
Estimarla a partir del sistema de visin (modelo del objeto)
Distancia entre el extremo de la pinza y el objeto -> Deseada
Distancia objeto-cmara hay que estimarla (modelo del objeto)
Distancia cmara-robot. Estimada por calibracin
C
R
O
C
C
R
G
O
O
C
C
R
G
R
t t R t R R t + +
* *
C
R
R
O
C
R
*
G
O
t
O
C
t
C
R
t
C
R
O
C
C
R
G
O
O
C
C
R
G
R
G
R
G
R
t t R t R R t t t +
* *
Cinemtica directa
III Curso de Especializacin en Automtica 26
Visual Servoing
Grupo de
Tecnologa Industrial
Basados en Posicin
Clculo de
Integrando
Ley de control
*
G
R

( )
C
R
O
C
C
R
G
O
O
C
C
R
C
R
O
C
G
O
O
C
C
R
C
R
G
C
C
R
G
R
R R R
R R R
+ +
+ + +
*
* * *
C
R
O
C
C
R
G
O
O
C
C
R
G
R
R R R + +
* *
C
R
O
C
C
R
G
O
O
C
C
R
G
R
G
R
G
R
R R R
* *
e K q &
14
III Curso de Especializacin en Automtica 27
Visual Servoing
Grupo de
Tecnologa Industrial
Visual Servoing
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
III Curso de Especializacin en Automtica 28
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Introduccin

Robot
Controlador
de
articulaciones
Controlador
Extraccin
Caractersticas
Amplificadores
dePotencia
Cmara
f
+
-
d
f
Imagen inicial
(u(t
0
),v(t
0
))
Imagen final
(u(t
F
),v(t
F
))
15
III Curso de Especializacin en Automtica 29
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Parmetros intrnsecos

Zi
Y
c
Xc
Z
c
O
c
Oi
(u
0
, v
0
)
P
u
P
Camer

co-ordinate
system

image
co-ordinate
system
(pixels)

f
P
d
retina

co-ordinate

system

Image
Retinal

Yr
X
r
Z
r
Focal point
3D point
Focal distance
Ideal
projection
Observed
projection
Image Centre or
Principal Point
K
Z
w
Y
O
w
World
co-ordinate
system

X
w
w
O
r
Xi Y
i
1
1
1
]
1

1 0 0
0
0
y y
x x
C k f
C k f
B
1
1
1
]
1

i
i
i
i
Z
Y
X
P
1
]
1

i
i
i
y
x
p
1
]
1

i
i
i
v
u
s
III Curso de Especializacin en Automtica 30
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Calculo de la matriz de interaccin (jacobiano de la
imagen)
1
]
1

+
1
]
1

1
]
1

1
]
1

0
0
0
0
v
u
y
x
F
F
v
u
i
i
v
u
i
i
1
]
1

+
1
]
1


1
]
1

0
0
v
u
y
x
A
v
u
i
i
i
i
1
]
1


1
]
1

i
i
i
i
y
x
A
v
u
&
&
&
&
T L
P
p
dt
dr
r
P
P
p
dt
dP
P
p
dt
S d
T
P
i
i i
i
i i
i
i i
i

1
1
1
1
]
1

1
]
1

i
i
i
i
i
i
Z
Y
Z
X
y
x
1
1
1
]
1

1
1
1
1
]
1

1
]
1

i
i
i
i
i
i
i
i
i
i
i
Z
Y
X
Z
y
Z
Z
x
Z
y
x
&
&
&
&
&
1
0
0
1
1
1
1
]
1




0 1 0 0
0 0 1 0
0 0 0 1
i i
i i
i i
X Y
X Z
Y Z
P O x V
dt
dP
c c c
i

Velocidad de un punto
respecto de un sistema
de referencia movil
16
III Curso de Especializacin en Automtica 31
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
1
1
1
1
1
1
1
1
]
1

1
1
1
]
1

1
1
1
1
]
1

1
]
1

z
y
x
z
y
x
i i
i i
i i
i
i
i
i
i
i
i
i
V
V
V
X Y
X Z
Y Z
Z
y
Z
Z
x
Z
y
x

0 1 0 0
0 0 1 0
0 0 0 1
1
0
0
1
&
&
T
X Y
X Z
Y Z
Z
y
Z
Z
x
Z
A
y
x
A
v
u
i i
i i
i i
i
i
i
i
i
i
i
i
i
i

1
1
1
]
1

1
1
1
1
]
1


1
]
1


1
]
1

0 1 0 0
0 0 1 0
0 0 0 1
1
0
0
1
&
&
&
&
( )
1
1
1
1
]
1


i i i i
i
i i i i
i
i
i
S
x y x y
Zi
y
Zi
y x y x
Zi
x
Zi
A A Z S L
i
2
2
1
1
0
1 0
1
, ,
III Curso de Especializacin en Automtica 32
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Clculo de la matriz de interaccin:
En cada iteracin se calcula Z
i
En cada iteracin se calcula Z
i
= Z
i
*
En el equilibrio Z
i
= Z
i
*
y S
i
= S
i
*
( ) A Z S L
i
i
T
Si
, ,
( ) A Z S L
i
i
T
Si
, ,
*

,
_

A Z S L
i
i
T
Si
, ,
*
*
( )
T
S
T
S i i
L L . . . .
Un conjunto de puntos
Rango de la matriz de interaccin es 2 slo 2 gdl mediante un punto caracterstico
( )
d
T
S
C
S t S L T
+
) (
Ley de Control
17
III Curso de Especializacin en Automtica 33
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen

Robot
Controlador
de
articulaciones

Controlador
Extraccin
Caractersticas
Amplificadores
de Pote ncia
Cmara
f
+
-
d
f
( )
d
T
S
C
S t S L T
+
) (
q J R T
C
W C
&
( )
C
C
W
T J R q
1
&
III Curso de Especializacin en Automtica 34
Visual Servoing
Grupo de
Tecnologa Industrial
ndice
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
18
III Curso de Especializacin en Automtica 35
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Segmentos 2D (Martinet 2001...)
2 puntos
1 segmento (centro, longitud y orientacin)
( )

'

,
_

,
_


2
2
2
1
1
1
2
1
,
v
u
S
v
u
S
S S S
T
Plano de la Imagen
L

,
_

1
1
v
u

,
_

2
2
v
u

,
_

G
G
v
u

( ) ( )
( )
1 2 1 2
2
1 2
2
1 2
2 1 2 1
, arctan
2 2
u u v v
v v u u L
v v
v
u u
u
G G

+
+

( )
T
G G
G
L V U S
III Curso de Especializacin en Automtica 36
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Clculo de la matriz de interaccin(jacobiano de la
imagen) para 2 puntos:
( )

'

,
_

,
_


2
2
2
1
1
1
2
1
,
v
u
S
v
u
S
S S S
T
1
1
1
]
1

i
i
i
i
Z
Y
X
P
1
]
1

i
i
i
y
x
p
1
]
1

i
i
i
v
u
s
1
1
1
1
]
1

1
]
1

i
i
i
i
i
i
Z
Y
Z
X
y
x
( )
T
S
T
S i i
L L . . . . Anteriormente Un conjunto de puntos
1
1
1
1
1
1
1
1
1
1
]
1

,
_

2 2 2
2
2
2 2
2
2
2 2 2
2 2
1 1 1
2
1
1
1
1
1
2
1 1 1
1
1
1
1
1
0
1 0
1
1
1
0
1 0
1
0
0
x y x y
Z
y
Z
y x y x
Z
x
Z
x y x y
Z
y
Z
y x y x
Z
x
Z
A
A
L
i
i
S
19
III Curso de Especializacin en Automtica 37
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Clculo de la matriz de interaccin(jacobiano de la imagen) para
segmento(centro,longitud,orientacin):
Plano de la Imagen
L

,
_

1
1
v
u

,
_

2
2
v
u

,
_

G
G
v
u

( ) ( )
( )
1 2 1 2
2
1 2
2
1 2
2 1 2 1
, arctan
2 2
u u v v
v v u u L
v v
v
u u
u
G G

+
+

( )
T
G G
G
L V U S
T L
S
S
dt
dr
r
S
S
S
dt
S d
S
S
L
V
U
dt
S d
T
S
G G G
G
G
G

,
_

&
&
&
&

,
_

S
S
L
S
V
S
U
S
S
G
G
G

III Curso de Especializacin en Automtica 38


Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen

,
_

S
S
L
S
V
S
U
S
S
G
G
G

,
_

2
2
1
1
v
u
v
u
S
( ) ( )
( )
1 2 1 2
2
1 2
2
1 2
2 1 2 1
, arctan
2 2
u u v v
v v u u L
v v
v
u u
u
G G

+
+

,
_

0
2
1
0
2
1
S
U
G

,
_

2
1
0
2
1
0
S
V
G
1 2 1 2
v v V u u U ( )
L
U
u u
L u
L

2 1
1
2
1
2
1
( )
L
V
v v
L v
L

2 1
1
2
1
2
1
L
U
u
L

2
L
U
v
L

,
_

L
V
L
U
L
V
L
U
S
L
( ) ( ) [ ]
1
]
1

,
_


U
V
S
U
V
U V
S S
U V
2
1
1
, arctan , arctan

,
_

2 2 2 2
L
U
L
V
L
U
L
V
S

20
III Curso de Especializacin en Automtica 39
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
1
1
1
1
1
1
1
1
1
1
]
1

,
_

,
_

,
_

2 2 2
2
2
2 2
2
2
2 2 2
2 2
1 1 1
2
1
1
1
1
1
2
1 1 1
1
1
1
2 2 2 2 1
1
0
1 0
1
1
1
0
1 0
1
0
0
2
1
0
2
1
0
0
2
1
0
2
1
x y x y
Z
y
Z
y x y x
Z
x
Z
x y x y
Z
y
Z
y x y x
Z
x
Z
A
A
L
U
L
V
L
U
L
V
L
V
L
U
L
V
L
U
S
S
L
S
V
S
U
S
S
i
i
G
G
G

T L
S
S
dt
dr
r
S
S
S
dt
S d
S
S
L
V
U
dt
S d
T
S
G G G
G
G
G

,
_

&
&
&
&
III Curso de Especializacin en Automtica 40
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Rango de 4 luego slo 4 gdl pueden ser
controlados mediante un segmento
Ejemplo:
Centrado
G S S
L o L
Plano de la Imagen
L*

,
_

1
1
v
u

,
_

2
2
v
u

,
_

G
G
v
u
Z
1
=Z
2
=Z*
1
1
1
1
1
1
1
1
1
1
]
1

,
_

2 2 2
2
2
2 2
2
2
2 2 2
2 2
1 1 1
2
1
1
1
1
1
2
1 1 1
1
1
1
*
1
1
0
1 0
1
1
1
0
1 0
1
0
0
0
*
x y x y
Z
y
Z
y x y x
Z
x
Z
x y x y
Z
y
Z
y x y x
Z
x
Z
L
L
S
i
i
T
S
G
G
21
III Curso de Especializacin en Automtica 41
Visual Servoing
Grupo de
Tecnologa Industrial
Basado en caractersticas de la imagen
Otras caractersticas
Lineas 2D
Elipses
Etc....
III Curso de Especializacin en Automtica 42
Visual Servoing
Grupo de
Tecnologa Industrial
ndice
Clasificacin de los distintos enfoques. visual servoing
Introduccin al control sensorial (cmara)
Sistemas de control visual basados en:
Posicin (3D)
Puntos 3D
Pose(posicin/orientacin)
Basado en caractersticas de la imagen
Puntos 2D
Segmentos 2D
Otras caractersticas
Implementacin
Simulaciones
Experimentacin
22
III Curso de Especializacin en Automtica 43
Visual Servoing
Grupo de
Tecnologa Industrial
Implementacin
Basado en caractersticas:
Simulaciones:
Simulink (Toolbox Prcticas de Robtica I SA-UMH)
Objeto fijo y mvil
2 gdl y 6 gdl
Mdelo del robot
Primeras simulaciones (hipottico)
Restantes simulaciones (PA-10)
Implementacin experimental
Sobre el manipulador industrial PA-10, en la
configuracin eye-in-hand
III Curso de Especializacin en Automtica 44
Visual Servoing
Grupo de
Tecnologa Industrial
Implementacin
Primeras simulaciones
q
1
q
2
l1
m1
V
r1
V
r2
l2
m2
X
Y
q2
q1
Objeto
Pinza
Cmara

You might also like