Computação Evolucionária

Métricas de Desempenho
Prof.: João Antônio de Vasconcelos
Editado por: Arthur Araújo Maia Farah
Belo Horizonte, 09 de Junho de 2016
 Computação Evolucionária – Métricas de Desempenho

Introdução
• Métricas de desempenho são maneiras de comparar experimentalmente
diferentes métodos de otimização, envolvendo uma noção de acurácia.
• Para o caso da otimização multi-objetivo, medir a qualidade de um
algoritmo é mais complexo que no caso de otimização mono-objetivo.

2
Computação Evolucionária – Métricas de Desempenho

Introdução
• Qual a melhor solução???

3
Computação Evolucionária – Métricas de Desempenho

Introdução
• Qual a melhor solução???
Na figura da esquerda, o algoritmo A é melhor que o algoritmo B, mas na figura
da direita é difícil determinar qual algoritmo tem melhor desempenho. A
comparação dos algoritmos dependerá fortemente da métrica utilizada.

4
Computação Evolucionária – Métricas de Desempenho

Cobertura
• O indicador de Cobertura (C), é usado para medir a dominância de Pareto
entre dois conjuntos. Comparando-se C(PFa, PFb) obtém-se um valor entre 0
e 1 referente a quanto o conjunto PFb é dominado pelo conjunto PFa.

Exemplo: O conjunto PFa domina

50% do conjunto PFb e PFb domina
60% do conjunto PFa.

5
Computação Evolucionária – Métricas de Desempenho

Distância Geracional - GD
• Mede o quão próximo o conjunto das soluções não dominadas obtidas está
em relação a fronteira de Pareto real.
• O GD é uma medida de minimização. Se o GD é igual a 0, todas as soluções
não dominas obtidas pertencem a fronteira de Pareto.
• O GD permite observar a convergência do algoritmo para alguma região da
fronteira de Pareto.

|𝑄|
1
𝐺𝐷 = ෍ 𝑑𝑖𝟐
|𝑄|
𝑖=1

Q é o conjunto de soluções não

dominadas

6
Computação Evolucionária – Métricas de Desempenho
Distância Geracional Invertida - IGD
• Mede a menor distância entre cada ponto da fronteira de Pareto real em
relação ao conjunto de soluções não dominadas obtido.
• O IGD é uma medida de minimização. Este permite observar a
convergência das soluções não dominadas para a fronteira Pareto real,
prevendo também se este conjunto é diversificado.

|𝐻|
1
𝐼𝐺𝐷 = ෍ 𝑑𝑖𝟐
|𝐻|
𝑖=1

H – conjunto de soluções da
fronteira de Pareto

7
Computação Evolucionária – Métricas de Desempenho
Comparação – GD x IGD

8
Computação Evolucionária – Métricas de Desempenho

Comparação – GD x IGD
• Exemplo: Calcule o GD e o IGD para as soluções abaixo:

9
Computação Evolucionária – Métricas de Desempenho

Comparação – GD x IGD
• Exemplo: Calcule o GD e o IGD para as soluções abaixo:

𝟏
𝑮𝑫 = (𝟏, 𝟐𝟓 + 𝟎 + 𝟏)
𝟑

𝑮𝑫 = 𝟎, 𝟓

10
Computação Evolucionária – Métricas de Desempenho

Comparação – GD x IGD
• Exemplo: Calcule o GD e o IGD para as soluções abaixo:

𝟏
𝑰𝑮𝑫 = (𝟐 + 𝟏, 𝟐𝟓 + 𝟎 + 𝟏)
𝟒

𝑰𝑮𝑫 = 𝟎, 𝟔𝟖𝟕𝟐

11
Computação Evolucionária – Métricas de Desempenho

Hipervolume
• Avalia a distribuição do conjunto de soluções em relação ao espaço de
busca.
• Proposta por Zitzler e Thiele (1998).
• O hipervolume de um conjunto de soluções ‘A’ mede a área coberta ou
dominada pelo conjunto de pontos obtido por um algoritmo.

• Para calcular o hipervolume de um

conjunto de soluções é necessário
definir um ponto de referência. Em
problemas de maximização é
comum utilizar o ponto (0; 0), e um
ponto de referência (x; y) para
minimização.

12
Computação Evolucionária – Métricas de Desempenho

Espaçamento
• Esta métrica calcula o desvio padrão entre as distâncias de soluções
consecutivas. Formalmente:

|𝑄|
1
𝑆= ഥ − 𝒅 )2
෍(𝒅 𝒊
𝑄 −1
𝑖=1

𝒅𝒊 = 𝑚𝑖𝑛 𝑗 ( 𝑓1𝑖 𝒙 − 𝑓1𝑗 𝒙 + 𝑓2𝑖 𝒙 − 𝑓2𝑗 𝒙 )

• A variável di representa o mínimo do somatório do valor absoluto da

diferença dos valores das funções objetivo entre a solução i e a solução j
pertencentes ao conjunto Q de soluções.

• 𝑑ҧ é a média de todos as distâncias 𝑑𝑖 de Q.

13
14