artigo anterior

934
Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

Estudo do comportamento dos ndices de Exatido Global, Kappa e Tau, comumente usados para avaliar a classificao de imagens do sensoriamento remoto Geza Coutinho Figueiredo Carlos Antonio Oliveira Vieira Universidade Federal de Viosa UFV Departamento de Engenharia Civil Avenida P. H. Rolfs s/n - Campus UFV - 36570-000 - Viosa - MG, Brasil geizacf@hotmail.com carlos.vieira@ufv.br
Abstract: Evaluation of the accuracy plays an important role in the process data analysis of remote sensing products. The evaluation of the accuracy can be obtained through derived measures from a confusion matrix. This article describes some of theses measures, such as Overall Accuracy, Kappa and Tau indexes, which are commonly used to evaluate the classification of remote sensing images. A comparative study about the behavior of these indexes was accomplished and a preliminary discussion is presented. Results show that despite Kappa and Tau indexes are computed following different formulations and assumptions, the present consistently very similar values, which indicates that both measures could indiscriminately be used for remotely sensed accuracy assessment. Palavras-chave: classification images, thematic accuracy, index Kappa, index Tau, accuracy global, classificao de imagens, preciso temtica, ndice Kappa, ndice Tau, exatido global.

1. Introduo A exatido de um mapa indica proximidade de uma determinada medida ao seu valor real, logo, a confiabilidade de um mapa est vinculada a sua exatido. Neste contexto, necessrio realizar algum procedimento estatstico, no produto de uma classificao de imagens digitais, para determinar a acurcia ou exatido desta classificao (Bernardes, 2006). No processo de anlise dos dados do sensoriamento remoto, um passo fundamental a avaliao da preciso temtica. Os usurios necessitam saber quo confiveis so os dados provenientes dos mapas temticos, derivados da classificao de um produto do sensoriamento remoto, e atravs da matriz de confuso possvel derivar medidas e consequentemente verificar erros oriundos do processo de atribuio dos pixels a determinadas classes (Vieira, 2000). A avaliao da acurcia pode ser obtida por meio de coeficientes de concordncia derivados da matriz de confuso, sendo que estes podem ser expressos como concordncia total ou para classes individuais. Congalton (1991) relata que o uso do coeficiente Kappa (K) satisfatrio na avaliao da preciso de uma classificao temtica, pelo fato de levar em considerao toda a matriz de confuso no seu clculo, inclusive os elementos de fora da diagonal principal, os quais representam as discordncias na classificao, diferentemente da exatido global, por exemplo, que utiliza somente os elementos diagonais (concordncia real). Com relao ao coeficiente Kappa, Foody (1992) observou que o grau de concordncia por chance poderia estar sendo superestimado, pelo fato de incluir tambm a concordncia real, e por causa disso a magnitude de Kappa no refletiria a concordncia presente na classificao, apenas descontada a casualidade. Na tentativa de corrigir essa deficincia no clculo do ndice Kappa, Ma e Redmond (1995) propuseram um outro ndice para a medio da preciso da classificao, o ndice Tau (T). Apesar de esses ndices serem amplamente usados pela comunidade cientfica, no existem estudos que indiquem como esses ndices se comportam, quando da variao do nmero de classes informacionais e/ou do nmero de padres de validao - considerando que

5755

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

esses ndices levam em considerao ou o nmero total de classes ou o nmero total de padres de validao; ou mesmo se houver discrepncia entre os valores amostrados, para validao, entre as classes informacionais. Este trabalho tem como objetivo fazer uma descrio dos coeficientes de concordncia que so comumente usados para avaliar a classificao de imagens do sensoriamento remoto e tambm observar o comportamento dos mesmos variando o nmero de classes informacionais na classificao, variando o nmero total de pixels e tambm quando ocorre discrepncia entre o nmero de amostras entre as classes informacionais. Uma motivao para observar esses comportamentos, para estudar se as diferenas entre esses ndices de exatido so constantes ou no dentro dos nveis do desempenho da classificao, e o que isso implica na escolha de qual ndice utilizar. 2. Matriz de confuso (ou matriz de erro) O mtodo padro para avaliao da preciso temtica atualmente tem sido ndices derivados da matriz de confuso. A matriz de confuso fornece a base para descrever a preciso da classificao e caracterizar os erros, ajudando a refinar a classificao. De uma matriz de confuso podem ser derivadas vrias medidas de preciso da classificao, sendo a exatido global uma das mais conhecidas (Foody, 2002). A matriz de confuso formada por um arranjo quadrado de nmeros dispostos em linhas e colunas que expressam o nmero de unidades de amostras de uma categoria particular relativa inferida por um classificador (ou regra de deciso), comparado com a categoria atual verificada no campo (Congalton, 1991). Normalmente abaixo das colunas representa-se o conjunto de dados de referncia que comparado com os dados do produto da classificao que so representados ao longo das linhas. Os elementos da diagonal principal (em negrito) indicam o nvel de acerto, ou concordncia, entre os dois conjuntos de dados. A Tabela 1 mostra a representao de uma matriz de confuso.
Tabela 1 Representao matemtica de uma matriz de confuso.

Classificao 1 2 c Total nas colunas n+ i

1 x11 x21 x31 x+1

Dados de referncia 2 c x12 x1c x2c x22 x32 x3c x+2 x+c

Total nas linhas ni + x1+ x2+ Xc+ n

Fonte: Adaptada de Bernardes (2006).

3. Medidas e ndices derivados da matriz de confuso As medidas derivadas da matriz de confuso so: a exatido global, preciso de classe individual, preciso de produtor, preciso de usurio e ndice Kappa, entre outros. A exatido global calculada dividindo a soma da diagonal principal da matriz de erros xii, pelo nmero total de amostras coletadas n, ou seja: (1) n A distribuio da preciso ao longo das categorias individuais no apresentada na preciso global, entretanto a preciso de uma categoria individual obtida atravs da diviso do nmero total de amostras classificadas corretamente naquela categoria pelo nmero total de amostras daquela categoria. Congalton e Green (1999) descrevem os clculos associados com estas medidas. G=

x
i =1

ii

5756

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

A preciso de produtor e de usurio so maneiras de representar a preciso de uma categoria ou classe individualmente. A preciso de produtor refere-se s amostras que no foram classificadas corretamente como pertencendo quela categoria sendo omitidas de sua categoria correta. E a preciso de usurio indica a probabilidade que um pixel classificado na imagem de fato representa aquela categoria no campo. A anlise de Kappa uma tcnica multivariada discreta usada na avaliao da preciso temtica e utiliza todos os elementos da matriz de confuso no seu clculo. O coeficiente Kappa (K) uma medida da concordncia real (indicado pelos elementos diagonais da matriz de confuso) menos a concordncia por chance (indicado pelo produto total da linha e coluna, que no inclui entradas no reconhecidas), ou seja, uma medida do quanto classificao est de acordo com os dados de referncia. O coeficiente Kappa pode ser calculado atravs da seguinte equao: K = n xii xi + x +i
i =1 i =1 c c

n xi + x +i
2 i =1

(2)

Onde K uma estimativa do coeficiente Kappa; xii o valor na linha i e coluna i; xi + a soma da linha i e x+ i a soma da coluna i da matriz de confuso; n o nmero total de amostras e c o nmero total de classes. Embora o coeficiente Kappa seja muito utilizado na avaliao da exatido de mapeamento, no existe uma fundamentao terica para recomendar quais os nveis mnimos aceitveis deste coeficiente numa classificao. Entretanto, a Tabela 2 apresenta nveis de desempenho da classificao para o valor de Kappa obtido, normalmente aceitos pela comunidade cientfica.
Tabela 2 ndice Kappa e o correspondente desempenho da classificao.

ndice Kappa <0 0 < k 0,2 0,2 < k 0,4 0,4 < k 0,6 0,6 < k 0,8 0,8 < k 1,0

Desempenho Pssimo Ruim Razovel Bom Muito Bom Excelente

Fonte: Fonseca (2000).

Ao redor do valor de Kappa podem ser calculados intervalos de confiana usando a varincia da amostra (var) e o fato de que a distribuio estatstica do Kappa normalmente assinttica. Congalton e Green (1999) sugerem meios de testar a significao estatstica do Kappa para uma nica matriz de confuso, atravs da varincia, a fim de determinar se o nvel de acerto da classificao e os dados de referncia so significativamente maior que zero. O teste estatstico para testar a significao de uma nica matriz de confuso determinado pela equao a seguir: k Z= (3) var(k ) Onde Z unificado e normalmente distribudo e var a grande varincia da amostra do coeficiente Kappa, que pode ser calculado usando o mtodo de Delta como segue:

5757

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

var(k ) = Onde

2 1 1 (1 1 ) 2(1 1 )(21 2 3 ) (1 1 ) 4 4 22 + + n (1 2 )2 (1 2 )3 (1 2 )4 c c c 1 1 1 1 = xii , 2 = 2 xi + x + i , 3 = 2 xii ( xi + + x +i ) n i =1 n i =1 n i =1

2

(4)
e

1 c c xij ( x j + + x+ j ) . n 3 i =1 j =1 Se Z Z /2 a classificao significativamente melhor que uma distribuio aleatria, onde /2 o nvel de confiana nos dois lados da curva no teste Z e o nmero de graus de liberdade assumido ser infinito. Alm dos ndices de exatido global e Kappa, que so comumente usados, Ma e Redmond (1995) introduziram na comunidade do sensoriamento remoto o ndice Tau, que fornece uma medida quantitativa relativamente precisa e intuitiva sobre a acurcia da classificao. O coeficiente Tau (T) superficialmente similar ao Kappa e pode ser calculado como segue: P Pr T= 0 (5) 1 Pr Onde P0 seria a concordncia real e Pr a concordncia aleatria expressos da seguinte

4 =

1 c xi + x i . n n 2 i =1 i =1 Sendo Pi+ = (xi+ /n) a distribuio marginal dos dados de referncia, Pi = (xi /n) as probabilidades a priori para cada classe. Quando as probabilidades a priori para as classes forem iguais, ou seja, xi = n/c temos: 1 P0 c (6) T= 1 1 c Segundo Ma e Redmond (1995), devido a concordncia aleatria (Pr) ser independente dos elementos da matriz de erros e poder ser calculada antes da classificao, ela tratada 1 como uma constante. Sendo 2 ( Pr ) = 0 e 2 ( P0 ) = P0 (1 P0 ) , e aplicando a lei de n propagao de varincias, temos a varincia de Tau: P (1 P0 ) 2 (T ) = 0 (7) n(1 Pr ) 2 Para testar a significao estatstica do ndice Tau, procede-se da mesma forma descrita para o ndice Kappa. forma: P0 =
i =1

ii

e Pr = Pi + Pi =

4. Comparao entre os ndices de exatido Global, Kappa e Tau

Objetivando analisar o comportamento dos ndices de Exatido Global, Kappa e Tau, criaramse vrias matrizes de confuso hipotticas, variando primeiramente o nmero de classes informacionais para cada classificao (Figura 1 a 5); depois variando o total de amostras utilizados para gerar a matriz de confuso (Figura 6 a 10); e finalmente, variando o total de pixels e discrepando os valores amostrados, para validao, entre as classes informacionais (Figura 11 a 15) para verificar qual seria o comportamento dos trs ndices dentro dos cinco

5758

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

nveis de desempenho da classificao. Para cada caso foram geradas 5 matrizes de confuso, de onde foram derivados os ndices de exatido global (G), Kappa (K) e Tau (T), obtidos utilizando as equaes (1), (2) e (6), respectivamente. Os resultados so representados nos grficos, pelas diferenas absolutas entre os ndices: GK diferena entre o ndice de Exatido Global e o Kappa; GT - diferena entre o ndice de Exatido Global e o Tau; e KT - diferena entre o ndice de Kappa e o Tau; de onde extraiu-se a mdia e o desviopadro. Chamamos a ateno do leitor para a variao dos valores no eixo Y dos grficos.
Comportamento dos ndices variando as classes Faixa 0,8 a 1,0
0,070 0,060 0,050 Variao 0,040 0,030 0,020 0,010 0,000 2 3 4 5 7 9 11 13 15 GT KT
Variao

Comportamento dos ndices variando as classes Faixa 0,6 a 0,8

0,220 0,200 0,180 0,160 0,140 0,120 0,100 0,080 0,060 0,040 0,020 0,000 2 3 4 5 7 9 11 13 15

GK

GK GT KT

N de classes

N de classes

Figura1 Variando o nmero de classes informacionais num nvel de desempenho excelente.

Comportamento dos ndices variando as classes Faixa 0,4 a 0,6
0,300 0,270 0,240 0,210 0,180 0,150 0,120 0,090 0,060 0,030 0,000 2 3 4 5 7 9 11 13 15

Figura 2 Variando o nmero de classes informacionais num nvel de desempenho muito bom.
Comportamento dos ndices variando as classes Faixa 0,2 a 0,4
0,390 0,360 0,330 0,300 0,270 0,240 0,210 0,180 0,150 0,120 0,090 0,060 0,030 0,000 2 3 4 5 7 9 11 13 15

Variao

Variao

GK GT KT

GK GT KT

N de classes

N de classes

Figura 3 Variando o nmero de classes informacionais num nvel de desempenho bom.

Comportamento dos ndices variando as classes Faixa 0 a 0,2
0,480 0,450 0,420 0,390 0,360 0,330 0,300 0,270 0,240 0,210 0,180 0,150 0,120 0,090 0,060 0,030 0,000 2 3 4 5 7 9 11 13 15

Figura 4 Variando o nmero de classes informacionais num nvel de desempenho razovel.

V ria a o

GK GT KT

N de class es

Figura 5 Variando o nmero de classes informacionais num nvel de desempenho ruim.

5759

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

Comportamento dos ndices variando o total de pixels - Faixa 0,8 a 1,0

0,035 0,030 0,025

Comportamento dos ndices variando o total de pixels - Faixa 0,6 a 0,8

0,070 0,060 0,050 Variao
GK GT

Variao

0,020 0,015 0,010 0,005 0,000 750 1300 2000 2500 3700 4200 Total de pixels

0,040 0,030 0,020 0,010 0,000 750 1300 2000 2500 3700 4200

GK GT KT

KT

Total de pixels

Figura 6 Variando o total de amostras num nvel de desempenho excelente.

Comportamento dos ndices variando o total de pixels - Faixa 0,4 a 0,6
0,090 0,080 0,070 0,060 0,050 0,040 0,030 0,020 0,010 0,000 750 1300 2000 2500 Total de pixels 3700 4200

Figura 7 Variando o total de amostras num nvel de desempenho muito bom.

Comportamento dos ndices variando o total de pixels - Faixa 0,2 a 0,4
0,130 0,120 0,110 0,100 0,090 0,080 0,070 0,060 0,050 0,040 0,030 0,020 0,010 0,000 750 1300 2000 2500 3700 4200

Variao

GT KT

Variao

GK

GK GT KT

Total de pixels

Figura 8 Variando o total de amostras num nvel de desempenho bom.

Comportamento dos ndices variando o total de pixels - Faixa 0 a 0,2
0,150 0,140 0,130 0,120 0,110 0,100 0,090 0,080 0,070 0,060 0,050 0,040 0,030 0,020 0,010 0,000 750 1300 2000 2500 3700 4200

Figura 9 Variando o total de amostras num nvel de desempenho razovel.

Variao

GK GT KT

Total de pixels

Figura 10 Variando o total de amostras num nvel de desempenho ruim.

5760

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

Comportamento dos ndices variando o total de pixels e discrepando valores - Faixa 0,8 a 1,0
0,120 0,100 Variao V ariao 0,080 0,060 0,040 0,020 0,000 1300 2000 2500 3700 4200 GK GT KT

Comportamento dos ndices variando o total de pixels e discrepando valores - Faixa 0,6 a 0,8
0,140 0,120 0,100 0,080 0,060 0,040 0,020 0,000 1300 2000 2500 3700 4200 GK GT KT

Total de pixels

Total de pixels

Figura 11 Variando o total de pixels e discrepando os valores num nvel de desempenho excelente.
Comportamento dos ndices variando o total de pixels e discrepando valores - Faixa 0,4 a 0,6
0,180 0,160 0,140 0,120 0,100 0,080 0,060 0,040 0,020 0,000 1300 2000 2500 3700 4200

Figura 12 Variando o total de pixels e discrepando os valores num nvel de desempenho muito bom.
Comportamento dos ndices variando o total de pixels e discrepando valores - Faixa 0,2 a 0,4
0,180 0,160 0,140 0,120 0,100 0,080 0,060 0,040 0,020 0,000 1300 2000 2500 3700 4200

Variao

GT KT

Variao

GK

GK GT KT

Total de pixels

Total de pixels

Figura 13 Variando o total de pixels e discrepando os valores num nvel de desempenho bom.
Comportamento dos ndices variando o total de pixels e discrepando valores - Faixa 0 a 0,2
0,160 0,140 0,120 0,100 0,080 0,060 0,040 0,020 0,000 1300 2000 2500 3700 4200

Figura 14 Variando o total de pixels e discrepando os valores num nvel de desempenho razovel.

Variao

GK GT KT

Total de pixels

Figura 15 Variando o total de pixels e discrepando os valores num nvel de desempenho ruim.

Analisando as Figuras 1 a 5 pode-se notar que GK e GT diminuem a medida que aumenta o nmero de classes, mas o valor da variao aumenta a medida que cai o nvel de desempenho da classificao. A variao de KT foi muito pequena em todos os nveis. Das

5761

Anais XIII Simpsio Brasileiro de Sensoriamento Remoto, Florianpolis, Brasil, 21-26 abril 2007, INPE, p. 5755-5762.

Figuras 6 a 10 pode-se notar que GK maior que GT e o valor da variao tambm aumentou a medida que caiu o nvel de desempenho da classificao, sendo que a variao entre KT tambm foi baixa em todos os nveis. J nas Figura 11 a 15 nota-se que GK e GT foram mais discrepantes um em relao ao outro, sendo que GT tende a ser constante; e tambm o valor da variao aumentou a medida que caiu o nvel de desempenho da classificao. A diferena entre KT foi um pouco mais alta quando ocorreu discrepncia nos valores amostrados. 5. Consideraes finais
Diante desses resultados conclumos que as diferenas entre os trs ndices no so constantes ao longo dos nveis de desempenho da classificao. No geral, a diferena entre os ndices Kappa e Tau foi muito pequena. Embora a Exatido Global apresente um valor mais alto, os coeficientes de concordncia Kappa e Tau so mais consistentes por envolver no valor final todas as clulas da matriz de confuso. Foody (1992) mostra que, sem modificaes, o coeficiente Kappa superestima a proporo de concordncia por chance e subestima a preciso da classificao. A concordncia por chance superestimada pelo fato de incluir no seu clculo, alm da concordncia por chance, a concordncia real, ou seja, leva em considerao duas vezes o total de acertos. Porm, como os coeficientes de concordncia Kappa e Tau apresentam valores aproximados, ao se realizar uma avaliao da acurcia de mapas temticos ambos podem ser recomendados. Sugerimos aos pesquisadores interessados, realizar outro teste a fim de verificar se h possibilidades de atravs de um ndice obter o valor de outro. Por exemplo, no nosso estudo poderia se pensar na possibilidade de se estimar a diferena entre os ndices global e Tau atravs da diferena entre os ndices global e Kappa, pelo fato de apresentarem comportamento semelhante nos grficos.

Referncias
Bernardes, T. Caracterizao do ambiente agrcola do Complexo Serra Negra por meio de sensoriamento remoto e sistemas de informao geogrfica. Dissertao (Mestrado). Universidade Federal de Lavras, Minas Gerais, 2006, 119p. Disponvel em: <http://www.epamig.br/geosolos/MaterialSite/Teses/Tiago/Tiagodissertacao.pdf>. Acesso em: 13 out. 2006. Congalton, R. G. A review of assessing the accuracy of classifications of remotely sensed data. Remote Sensing of Environment, v. 49 n. 12, p. 1671-1678, 1991. Congalton, R. G., and Green, K. Assessing the accuracy of remotely sensed data: Principles and practices. New York: Lewis Publishers, 1999. 137p. Fonseca, L. M. G. Processamento digital de imagens. Instituto Nacional de Pesquisas Espaciais (INPE), 2000. 105p. Foody, G. M. On the compensation for chance agreement in image classification accuracy assessment. Photogrametric Engineering and Remote Sensing, v. 58, n. 10, p. 1459-1460, 1992. Foody, G. M. Status of land cover classification accuracy assessment. Remote Sensing of Environment, v. 80, p. 185 201, 2002. Ma, Z., Redmond, R. L. Tau coefficients for accuracy assessment of classification of remote sensing data. Photogrametric Engineering and Remote Sensing, v. 61, n. 4, p. 435-439, 1995. Vieira, C. A. O. Accuracy of remotaly sensing classification of agricultural crops: a comparative study. 2000. 327p. Thesis (Doctor of Philosophy). University of Nottingham, 2000, p. 128-175.

5762