ACTIVE APPEARANCE MODEL

RECONHECIMENTO DE
EXPRESSES FACIAIS

JOAO PANCERI
Lab CISNE - UFES - Orientador: Evandro
2 MOTIVAO
Expresses faciais so manifestaes externas de emoes bsicas pr
programadas que ocorrem de modo universal em toda espcie humana e
em alguns mamferos. Um sistema capaz de identificar tais expresses
apresenta inmeras aplicaes no mundo atual.

POSSVEIS APLICAES:
Sade, incluindo monitoramento de
pacientes ou anlises psicolgicas;
Criao de avatares;
Educao a distncia assistida;
Anlise da resposta de consumidores
a um determinado contedo.
3

Lie To Me!
Paul Ekman
Psiclogo.
Pesquisador.
Consultor do FBI.
4
 1.
EXPRESSES
BASICAS
Em 1971 Ekman publicou seu famoso trabalho, investigando diferentes sinais no
verbais de comunicao (expresses faciais, gestos e postura corporal) em diversas
culturas espalhadas pelo mundo, buscando informaes acerca de
significados, funes, origens, categorizao e anatomia.

5
6 AS 6 EXPRESSES BSICAS
7 TEORIA FACS ( Facial Action Coding System )
8 TEORIA FACS ( Facial Action Coding System )
Feliz Nervoso Triste Medo

AU6 AU4 AU1 AU1

AU12 AU5 AU4 AU2
AU24 AU7 AU15 AU20
AU23 AU24
9

Harrison Ford
10

Harrison Ford
11

Harrison Ford
 2.
ESTADO DA ARTE

12
 ESTADO DA ARTE - HISTOGRAM OF ORIENTED
13 GRADIENTS - HOG
Carcagni and Distante, 2015
Aplica a tcnica HOG - Histogram of Oriented Gradients face, com o
propsito de se obter o sentido e magnitude das deformaes geradas na
face pelas expresses faciais e assim classific-las.
14 ESTADO DA ARTE - DEEP LEARNING
ZHOU and SHI, 2016
Sustenta a hiptese de que o mecanismo de reconhecimento de expresses
faciais em humanos e a tcnica Deep Learning apresenta similaridades.
15 ESTADO DA ARTE - ACTIVE APPEARANCE MODEL - AAM
Pedroso e Salles, 2012
A ferramenta de modelagem utilizada conhecida como AAM - Active Appearance
Model possui a capacidade de encontrar pontos especficos, a partir do ajuste
iterativo de uma mscara de pontos genrica pr posicionada na face.
 3.
ACTIVE APPEARANCE
MODEL - AAM
O AAM - Active Appearance Model um algoritmo capaz de modelar um objeto mesmo
com e pequenas deformaes na forma e textura em relao aos objetos similares
submetidos ao treinamento.

16
17 CONSTRUO DO MODELO

O AAM - Active Appearance Model construdo

atravs de um modelo da forma (Shape Model) e
um modelo da textura (Appearence Model) que
visa descrever da melhor forma um objeto. A
construo dos modelos requer um conjunto n de
marcaes (landmarks), [x1; y1; ... xn; yn] para
cada imagem de um conjunto de treinamento.
 CONSTRUO DO MODELO
18 (Shape Model - Landmarks)
 CONSTRUO DO MODELO
19 (Shape Model - Procrustes Analysis)

O algoritmo Procrustes
Analysis, que tem como
objetivo minimizar as
transformaes de
similaridade nas imagens de
treinamento. Aps isso
aplicamos o PCA na nuvem de
dados, bem como obtemos a
forma mdia.
 CONSTRUO DO MODELO
20 (Shape Model - Forma Mdia)
 CONSTRUO DO MODELO
21 (Shape Model - PCA)

Pesos
Forma
(Parmetros a
Forma Maiores
serem estimados)
Mdia Auto
Vetores
22 METODOLOGIA DE TREINAMENTO
Landmarks 1

Landmarks 2 PCA

Conjunto de Procrustes Modelo de

Landmarks Analysis Forma
Forma
Mdia

Landmarks 2000
 CONSTRUO DO MODELO
23 (Appearance Model -Triangulao de Delaunay e
Piecewise Affine Warps )
Aps a Triangulao de Delaunay entre as landmarks a construo do
modelo de textura necessita levar cada face de treinamento para a
forma mdia. A funo de mapeamento de pixel utilizada para realizar e
mapeamento foi Piecewise Affine Warps.
24 METODOLOGIA DE TREINAMENTO
Textura 1 Mapeamento de Pixels

Textura 2 Mapeamento de Pixels PCA

Conjunto de Modelo de
Texturas Textura
Textura
Mdia

Textura 2000 Mapeamento de Pixels

 CONSTRUO DO MODELO
25 (Texture Model - PCA)

Pesos
Textura
(Parmetros a
Textura Maiores
serem estimados)
Mdia Auto
Vetores
 CONSTRUO DO MODELO
26 (AAM)
27 AJUSTE AAM

Sendo assim, a partir de uma nova imagem I, o ajuste automtico do AAM

implica em estimar os parmetros p e c, de tal que a norma l2 do erro
entre o modelo da textura cannico e a imagem de entrada deformada
pela funo W(x; p) seja minimizado.

Imagem deformada
para o Modelo de Forma Modelo de Textura
28 OTIMIZAO DA SOLUO
29 AJUSTE AAM
 4.
TREINAMENTO AAM

30
31 BANCO DE DADOS - Cohn-Kanade - CK+
T. Kanade and Tian, 2000

Indivduos de vrias etnias, sexo e idades;

Resoluo de 640x480;
Pose frontal e iluminao padronizada;
10.558 imagens divididas em 123 diretrios (Indivduos);
Subdiretrios com sequncia de imagens que vo de uma face neutra a
uma face com unidades de ao (UA) ativadas;
Cada subdiretrio possui um arquivo de texto com a rotulao da
expresso facial correspondente;
Cada imagem possui um arquivo de texto com exata marcao das 68
landmarks.
32 BANCO DE DADOS - Cohn-Kanade - CK+
33 METODOLOGIA DE TREINAMENTO

Para o treinamento do modelo AAM,

dentre as mais de 10.000 imagens foram
selecionadas aleatoriamente 2.000
imagens, no fazendo parte do sorteio
nenhuma das 1050 imagens que foram
escolhidas para o processo de
classificao das expresses faciais, ou
seja, foram descartadas a primeira e ltima
imagem de cada subdiretrio. Para o
treinamento AAM foram aproveitadas as
marcaes presentes na base CK+.
34 BANCO DE DADOS - Cohn-Kanade - CK+
35 RESULTADO DO TREINAMENTO AAM - 1050 Faces
36 RESULTADO DO TREINAMENTO AAM - 1050 Faces
37 EXTRAO DE CARACTERISTICAS

Considerando a Base CK+ que

composta por sequncias de
imagens que partem de uma face
neutra a uma face com expresso,
temos uma evoluo temporal da
face. Objetivando a simplificao do
algoritmo, utiliza-se somente a
primeira e a ltima imagem de cada
subdiretrio.
38 EXTRAO DE CARACTERISTICAS

Desse modo, observamos que a

anlise da variao das reas de
forma temporal pode ser realizada
subtraindo as reas dos tringulos
correspondente entre a expresso
final (AU ativadas) e a inicial (neutra).
39 EXTRAO DE CARACTERISTICAS
Variao das rea

Tringulos
40 DISTRIBUIO DOS DADOS
41 CLASSIFICADORES

k-Nearest Neighbour (k-NN) - O nmero k = 5 de vizinhos minimiza o

erro do classificador e foi estabelecido atravs de validao cruzada
10-fold

Rede Neural Multicamada - Classificador no linear. A rede foi

treinada usando o algoritmo Levenberg-Marquardt com duas camada
ocultas de 50 e 20 neurnios.

rvore de Deciso - Usando o algoritmo clssico CART

42 RESULTADOS

Dados obtidos a partir do treinamento AAM

43 RESULTADOS

Comparao de Resultados
44 CONCLUSES
A etapa de ajuste AAM s novas faces, apresentou bons resultados, se
aproximando das pr marcaes do banco de dados utilizado.

A soluo proposta se mostrou satisfatria na classificao das expresses

faciais, uma vez que foi possvel reconhecer diferentes expresses.

A utilizao do pr posicionamento da mscara AAM na face, baseado na

distncia entre os olhos contribuiu para um ajuste mais fino.

importante destacar que nem todos trabalhos so capazes de tratar a rotao

da face como o AAM, com exceo de (Carcagni and Distante, 2015) que
sempre realiza um pr tratamento na face, rotacionado-a.

O classificador que apresentou os melhores resultados foi a Rede Neural

alcanando uma acurcia superior a 80%. Contudo, o k-NN, mesmo sendo um
classificador simples apresentou resultados muito prximos Rede Neural.
45 CONCLUSES

O AAM aplicado a faces tambm pode ser utilizado como

ferramenta em um sistema de reconhecimento facial, uma vez
que um indivduo deve ser reconhecido independente da sua
expresso e pose.
46 CONCLUSES

O AAM tambm pode ser usado para a modelagem de

qualquer objeto que apresente uma pequena deformao ou/e
rotao. Sendo possvel realizar tracking.
47 CONCLUSES
O AAM pode ser usado para estimar a pose um objeto o que
pode auxiliar em uma reconstruo 3D baseado em somente
uma imagem 2D, ou na substituio da face por um avatar
(Snapchat)
48 CONCLUSES

O AAM pode realizar um tracking dos lbios sendo capaz de

realizar a leitura labial.
49
Obrigado Pela Ateno.

Dvidas? Sugestes?
joao.panceri@ifes.edu.br
50 RESULTADOS - BASE JAFFE

A base de dados JAFFE possui 213 imagens

contendo 7 expresses faciais (6 bsicas + 1
neutral) realizadas com 10 mulheres asiticas.
51 RESULTADOS - BASE JAFFE
Panceri, 2017
Pedroso, 2012
52 RESULTADOS - BASE JAFFE

Para a base JAFFE e novamente

os melhores resultados obtidos foram utilizando
Rede Neural, tendo acurcia de 74,5%.
J o melhor resultado obtido por (Pedroso, 2012)
foi utilizando o classificador SVM-RBF 2-fold
com acurcia de 55,4%.
53 ABSTRAO DO CREBRO
54 RESULTADOS

Dados obtidos a partir das marcaes da base CK+

55 DISTRIBUIO DOS DADOS
Treinamento AAM Marcao CK+
56 ESTADO DA ARTE - LOCAL BINARY PATTERN - LBP
Amaral, Giraldi e Thomaz , 2015
Este artigo prope e implementa uma nova abordagem para aprimorar o
processo de extrao e classificao do LBP em anlise de imagens frontais
de faces.