Sistema automtico de reconhecimento da denominao de cdulas brasileiras usando o algoritmo fuzzy c-means clustering para o processamento de imagens.

Lorena Del Cisne Len Quionez Departamento de Comunicaes-UNICAMP Campinas-SP, Brasil loreleon@fee.unicamp.br Abstract- This article is the description of the full project, which was the development of a prototype for automatic recognition of the value of the Brazilian bills designed for people with visual impairments. This first project is a simple implementation of the system of image capture, image processing using fuzzy logic, and finally returns the value of its name through a speech synthesizer. The project is theoretically based on the use of fuzzy c-means algorithm for clustering the digital image processing in comparison with the Otsu's method. Resumo- Este artigo faz a descrio do projeto, que consistiu no desenvolvimento de um prottipo automtico de reconhecimento do valor das cdulas brasileiras projetado para pessoas com deficincia visual. Esse primeiro projeto faz uma implementao simples do sistema de captura da imagem, processamento de imagens atravs de lgica fuzzy, e finalmente retorna o valor de sua denominao atravs de um sintetizador de fala. O projeto esta baseado teoricamente no uso de algoritmo fuzzy c-means clustering para o processamento digital de imagens em comparao com o mtodo Otsus. Palavras chave- fuzzy c-means, processamento de imagens. I. INTRODUO O sistema ter um processo de captura da imagem como entrada, processamento dos dados e finalmente uma interface do usurio para dar a conhecer os resultados, que como interface de sada se pode utilizar um sintetizador de fala para fornecer os resultados finais. Algumas aplicaes deste tipo j terem sido propostas [1]. No entanto, gostaramos de explorar o processamento das imagens atravs de Fuzzy Logic, j que neste caso as imagens mostram imagens desfocadas, e o resultado de algumas aplicaes de processamento de imagem com Fuzzy Logic ter demonstrado que a aplicao de algoritmos fuzzy pode alcanar resultados mais precisos especialmente na melhoria de imagem e de linearizao [2]. Mas devido s incertezas inerentes associadas com imagens reais, mesmas que contem muitos cenrios introduzindo certo rudo de fundo, a identificao de um limiar nico se torna difcil, Isso tem levado ao desenvolvimento de um grande nmero de algoritmos em funes cujos mximos e mnimos correspondem a um limiar No trabalho seguinte foram obtidos resultados na comparao dos algoritmos fuzzy c-means e otsus para melhorar o limiar da imagem e proceder ao reconhecimento das cdulas e medir o impacto do mtodo de limiarizao na porcentagem de sucessos. Para o desenvolvimento do sistema utilizou-se tcnicas de processamento de imagens como o objetivo de melhorar a qualidade e facilitar a pesquisa da informao. No seguinte diagrama se mostram de jeito geral os processos utilizados no sistema.

Em geral, a populao com alguma deficincia visual tem uma serie de desafios no desenvolvimento de suas atividades dirias, um desses problemas o contagem no dinheiro, sendo este trivial para as pessoas comuns, mas tem obstculos e impedimentos para os deficientes visuais, os quais tm que se ajudar com terceiras pessoas para executar esse tipo de atividades. O objetivo deste projeto de fornecer maior independncia para as pessoas com deficincia visual, especialmente em funes que requerem a recepo de documentos ou qualquer tipo de cobro de oficina. Outro objetivo fornecer o desempeno da preciso de reconhecimento fazendo comparaes entre o mtodo Otsus e o algoritmo fuzzy c-means clustering.

Aquisio de Imagem RGB

RGB a Cinza

Img cinzas

limiarizao com Fuzzy c-means

Img Binaria

ponto de validao entre os dois modos com o alvo de minimizar a probabilidade de erro de classificao. A limiarizao uma tcnica importante para a segmentao de imagens, baseado na suposio de que os objetos podem ser distinguidos e extrados do fundo pelos seus nveis de cinza. A sada da operao de limiarizao una imagem binria cujo nvel de cinza 0 (preto) indica o primeiro plano e o nvel de cinza 255 (branco) indicar o fundo, e vice-versa [4]. C. O que clustering?

Extrao de borda (Sobel)

Reconhecimento (correlao) Saida de fala

Recortar

Imagen 1. Diagrama geral do processamento de imagens usando Lgica Fuzzy

II.

IMPLEMENTAO DO SISTEMA.

A. Converter uma imagem em tons de cinza O primeiro passo capturar a imagem a traves de uma web cam obtendo assim uma imagem RGB, a utilizao de uma web cam por a economia do projeto, depois esta convertida a escala de cinza que consiste em transformar a informao dos trs canais de cor (R, G, B) a um s canal de intensidade de cinza com o alvo de obter uma s imagem digital em uma matriz de valores de intensidade com a mesma informao de uma imagem digital [3]. B. Limiarizao da imagem. A operao de limiarizao refere-se definio de um valor ou de uma funo, que permita separar elementos de interesse na imagem do fundo. Frequentemente a imagem original convertida em imagem binria pelo processo de limiarizao, distribuindo-se o valor 0 aos pixels com tons de cinza menores que o limiar e 1 aos maiores. Este mtodo pode ser considerado como um dos mais simples para a segmentao de imagens. [ ] Denote que representado com os pixels em { } assumindo um valor discreto de cinza [ ] O problema da definido sobre de um universo limiarizao que identificando um umbral timo T e segmentando a cena entre duas regies significativas: Objetos (O) e fundo (B). Ou seja. { | } { | }

Clustering o agrupamento de dados, um mtodo pelo quais grandes conjuntos de dados se agrupam em grupos de conjuntos menores de dados semelhantes. Por exemplo, as bolas da mesma cor, agrupam-se em grupo conforme demonstrado abaixo (Imagem 2):

Imagem 2. Agrupamento de objetos

Na imagem seguinte (Imagem 3), vemos que clustering significa o agrupamento dos dados ou a diviso de um grande conjunto de dados em pequenos conjuntos de dados, com alguma similaridade.

Imagem 3. Exemplo de clustering D. Limiarizao fuzzy O conceito de diviso fuzzy pode pela limiarizao de imagens digitais mediante a visualizao dos objetos e as regies de fundo como conjuntos fuzzy, O e B, com cada um dos pixels que mostram uma pertinncia parcial em cada uma das regies de acordo com seu valor de cinza, ou seja. [ ], [ ] . Neste tipo de partio, as regies no so uma garantia para ser mutuamente excludentes,

As caractersticas geomtricas e estadsticas do histograma desempenham um rol muito importante na identificao do limiar. A limiarizao um mtodo prefervel de segmentao quando o objeto e o fundo so distinguveis usando-se valores de cinza. Em uma cena, as perturbaes dos valores de cinza ao redor dos valores mdios do objeto e do fundo fornecem um histograma bimodal e o limiar considerado como o

ou seja, no pode ter nenhuma fronteira ntida entre as regies [5]. Uma descrio de limiarizao fuzzy de uma imagem pode estar caracterizada por duas funes de pertinncia e de tal forma que o objeto reflete a natureza e distribuio de cinza, mesmo depois da limiarizao. A descrio reflete a medida de compatibilidade de cada valor do pixel/cinza no objeto, e as regies de fundo. Expandindo a clssica definio de limiarizao [equao (1)] e l embaixo o conceito fuzzy, se pode definir uma funo de pertinncia. e

( )

( )

Objetivas baseadas em funes algortmicas tm sido amplamente utilizadas para a identificao de parties Fuzzy. O algoritmo fuzzy c-means, una extenso Fuzzy do algoritmo kmeans que minimiza uma funo objetivo de mnimos quadrados, ( ) ( )

(2) Pelo cruzamento da distribuio de pertinncia coincidindo com o limiar forte T. A distribuio de pertinncia foi identificada com ajuda de uma funo S, para minimizar o ndice de incerteza. Huang atribui a pertinncia ao pixel com a ajuda da relao entre seu valor de cinza e a media do valor cinza da regio que pertence. Ele atribui a pertinncia com a ajuda da diferena entre o valor absoluto do pixel e valor mdio de cinza da regio ao qual ele pertence. Neste caso, a imagem vista como um nico conjunto fuzzy onde a distribuio de pertinncia reflete a compatibilidade dos pixels para a regio a que este pertence. III. FUZZY C-MEANS (FCM)

para fornecer c clusters hiper-oscilantes. O parmetro controla a quantidade de fuzziness na partio e quando ,o mnimo da equao (4) proporciona uma classificao equivalente como o algoritmo k-means. Seja { } o histograma e { } a distribuio de probabilidade associada com os valores cinza da imagem para ser limiarizada e { }. A limiarizao pode ser feita modificando a equao (4) com como:

Fuzzy c-means (FCM) um mtodo de agrupao que permite que uma parte dos dados pertinncia a dois ou mais grupos. O mtodo foi desenvolvido por Dunn em 1973 e melhorado por Bezdek em 1981, e frequentemente usado para o reconhecimento de padres. A. Limiarizao fuzzy utilizando Fuzzy c-means (FCM) O algoritmo Fuzzy clustering fornece possveis solues para acomodar os detalhes estruturais na descrio segmentada, j que identifica cada um dos grupos como um conjunto Fuzzy caracterizado por uma pertinncia de distribuio. O problema de Fuzzy clustering consiste em dividir o conjunto de pontos { } em classes de tal forma que a de amostra. pertinncia de distribuio tem as seguintes propriedades: ( ) [ ]

A mdia do cluster para cada classe : A qual caracteriza o fundo e as regies do objeto. O alvo da funo da equao (5) pode ser minimizado por meio do calculo das medias com a equao (6) e atualizando a funco de pertinncia como:

O algoritmo de limiarizao fuzzy pode ser formalmente declarado nos seguintes passos:

1. 2. 3. 4.

Inicializar a descrio do limiar y satisfazendo a equao (3) Calcule o valor mdio de cinza (6). Atribuir os valores de pertinncia com a equao. (7) Repita os passos 2-4 at no haver alterao aprecivel para e

[ ], de Proposio. H um limiar duro para s para modo que a descrio da equao de endurecimento (1) igualada com a equao (8)
[ ]

Numa imagem L seu valor cinza pode estar representado com um conjunto de L valores reais na descrio da linearizao e reflete a geometria associada com a distribuio cinza. Ao mesmo tempo, a descrio da limiarizao fuzzy mais geral desde uma forte limiarizao, ou seja, demonstrando o seguinte teorema. Teorema (a). Existe apenas um s valor de cinza entre y de tal forma que . (b) equidistante desde y . Desde a equao (7a), pode-se observar que = 0.0 e = 1.0 so monotonicamente crescentes [ ]. Da mesma forma. no rango monotonicamente decrescente no mesmo rango. Isso implica que h uma e s uma interseco das duas distribuies de pertinncia. Alm disso, o nico. Desde a equao (7b), , o qual tambm implica que ou seja, equidistante tanto desde e . B. Descrio do endurecimento do limiar fuzzy. Muitas vezes, o nosso interesse limita-se extrao do objeto desde a cena com o alvo de caracterizar o objeto com um conjunto de caractersticas. Os mtodos convencionais de reconhecimento de objetos no podem ser aplicveis tais como a descrio da limiarizao fuzzy. Embora existam tcnicas elegantes de anlise de imagens, estas podem ser desenvolvidas com a descrio da limiarizao fuzzy, os esquemas de endurecimento so necessrios para fazer a descrio til para esquemas clssicos de reconhecimento de objetos. Um mtodo simples de endurecimento pode ser com , calculado como se descreve anteriormente e endurecido com a equao (1) para proporcionar objetos y regies de fundos mutuamente exclusivos e exaustivos. Outro possvel esquema de endurecimento pode estar baseado em -cortes de conjuntos fuzzy como: { | } (8)

A imagem (4) representa una tpica descrio de limiarizao fuzzy para Onde e podese observar que se , os pixels com valores de cinza perto de podem ser classificados como fundo, e para , um conjunto de pixels com valores de cinza pertos a zero podem ser classificados como objeto. Nos dois casos, a monotonicidade no mantida e o processo de endurecimento no pode ser expresso com a equao (1)

1 P e r t i n n c i a

0.8

Fundo Objeto

0.6

0.4

0.2

0.0

v1

v2

Valor de cinza

Imagem 4.Pertinncia de distribuio com

IV.

O MTODO OTSUS

O mtodo Otsu utiliza-se para desenvolver automaticamente os processamentos de imagens. O Histograma baseado na forma delimiarizao de imagem, para a reduo do nvel de cinza em uma imagem binria. O algoritmo assume que a imagem a ser limiarizada contm duas classes de pixels (p. ex: primeiro plano e fundo), em seguida calcula o limiar timo dessas duas classes de modo que suas combinaes estendidas (varincia intra-classe) mnima [6]. Deixar que os pixels de uma imagem dada fossem representadas ]. O nmero de pixels com nvel i em L nveis de cinza [

[ ] controla o tamanho da regio do objeto. O parmetro Como crescente, a funo acerca-se ao ncleo ou estrutura da regio objeto.

 denotado por .

e o nmero total de pixels por

A fim de simplificar a sustentao terica pode se dirigir ao artigo [7], (a) V. DISCUSSO (b)

Os esquemas de limiarizao clssicos atribuem o pixel de forma inequvoca e no fazem distino entre os pixels em uma regio, mesmo se os seus valores de cinza so diferentes na imagem original. Consequentemente, os esquemas de seleo de limiares duros esto associados com a perda dos detalhes estruturais na limiarizao. As identidades dos pixels so preservadas no espao de partio fuzzy, uma vez que as pertinncias designadas para os pixels dependem da diferena entre o valor de cinza e o valor meio da escala cinza da regio ao qual pertence. A outra grande diferena entre o algoritmo proposto e o algoritmo Otsu est em sua implementao com formulaes iterativas.

(c)
Figura 5. (a) Imagem Original, (b) Mtodo Ostu, (c) Fuzzy c-means

VI.

MTODO SOBEL DE DETECO DE BORDA

Considerando o anterior, ns aplicamos os algoritmos

desenvolvidos para comparar a segmentao das imagens usando os dois mtodos de limiarizao. Utilizando-se a cmera para capturar as imagens das cdulas com a finalidade de obter resultados experimentais com nossas prprias imagens. Na figura 5a apresenta-se imagem original em escala de cinza, na figura 5b representa-se a imagem limiarizada com o mtodo Otsu com um valor do nvel de limiar igual a 0.36, e a simples vista pode-se observar que o espalhou dos valores de cinza escuros para cor preto e os claros para cor branco. No entanto, na mesma figura, note que existem variaes bruscas e a imagem tem grandes regies com um s nvel de cor preta, e assim os detalhes so perdidos. Na figura 5c representa-se a imagem limiarizada com o mtodo fuzzy c-means com o valor do nvel de limiar igual a 0.265, e a simples vista pode-se observar que o espalhou os valores de cinza escuros para cor preto e os claros para cor branco. Mas em relao figura 5b as variaes bruscas diminuem e se pode observar mais detalhes na imagem obtidos do original, demonstrando assim que mtodo Otsu no uma soluo tima para o melhoramento da limiarizao.

Depois da limiarizao da imagem com o mtodo fuzzy c-means o resultado da operao foi uma imagem binria que fico pronta para ser processada e obter as bordas com o mtodo Sobel, j que amplamente usado no processamento de imagens, especialmente nos algoritmos de deteco de bordas. Tecnicamente um operador discreto de diferenciao que calcula uma aproximao do gradiente da funo da intensidade da imagem. Em cada ponto na imagem, o resultado do operador de Sobel tambm o correspondente vetor gradiente ou a norma deste vetor. O operador Sobel a derivada parcial de f(x,y) como o clculo central da vizinhana 3x3 na direo x, e y. A fim de suprimir o rudo, certo peso aumentado correspondentemente sobre o ponto central, e suas equaes de aproximao do gradiente podem-se descrever assim [7]. { { Geralmente os tamanhos de seus gradientes so: (3) Pode tambm denotar semelhana a: | | | | (4) { { } (2) } (1) } }

Seu modelo de operador convolucional definido da seguinte forma:

VIII. IMPACTO DO MTODO DE LIMIARIZAO NA PORCENTAGEM DE SUCESSOS.

Para medir o impacto do mtodo de limiarizao na porcentagem de sucessos, fizeram-se dois testes de reconhecimento de imagens com os dois mtodos de limiarizao com vinte capturas de cada uma das cdulas cuja denominao foi (2,5,10 e 20) dando assim um total de 80 capturas por cada mtodo. Com os resultados obtidos durante o reconhecimento foi construda uma matriz quadrada de m filas por n colunas onde as filas correspondem a denominao das amostras de cdulas (categorias) salvadas como base do conhecimento e as colunas correspondem a denominao as cdulas das imagens capturadas pela web para comparar seu reconhecimento. Nesta matriz, a diagonal representa o nmero de acertos de reconhecimentos enquanto que os marginais supem erros de conhecimento. Nas tablela 1 e 2, se apresentam os seguintes resultados Denominao Erro de Sucessos % das Cedulas 2 5 10 20 Total comisso % 2 16 3 0 1 20 80 20 5 2 16 2 0 20 80 20 10 1 2 15 2 20 75 25 20 2 0 1 17 20 85 15
Tabela 1. Matriz de Confuso FCM

Se ns usamos o operador de Sobel para detectar a borda da imagem I, ento podemos usar o modelo horizontal e o modelo vertical para convoluir com a imagem, sem considerar as condies das bordas, pode ter a mesma dimenso de duas Matrizes gradientes M1 e M2 como a imagem original. Ento o valor total da gradiente G pode-se obter adicionando as duas matrizes gradientes. Finalmente, este mtodo pode ter vantagens para o mtodo de limiarizao. VII. CLASSIFICAO POR CORRELAO Para o reconhecimento das cdulas nos aplicamos o mtodo de classificao por correlao, o qual baseado no clculo do coeficiente de correlao normalizado, por meio da correlao espacial com uma amostra do objeto que queremos reconhecer dentro da imagem. Este coeficiente esta entre -1 e 1 e maior em valor absoluto quanto maior coincidncia h entre a imagem y a mostra. Dada uma imagem , o problema da correlao encontrar todos os lugares na imagem que correspondem a uma subimagem dada (chamada mscara ou modelo). Usualmente, mais pequena que . O mtodo de escolha para combinar duas imagens por mdio da correlao esta definido na seguinte equao:[8]. [ [ ][ ] [ ] ]

Na Matriz 1, pode se observar que com a implementao do algoritmo fuzzy c-means a media do reconhecimento (Sucessos) verdadeiro das cdulas de 80% sendo assim uma porcentagem alta que confirma que o mtodo fuzzy c-means ajuda ao mtodo de correlao a reconhecer as imagens capturadas, no enquanto na coluna de erros de comisso representa-se as cdulas classificadas em uma categoria das mostras mas que en realidade pertencem a outra categoria, esta relao pode-se tambm chamar (falso positivo.) Denominao das Cedulas 2 5 10 20 Sucessos % 55 70 50 65 Erro de comisso % 45 30 50 45

Donde w o modelo, o valor meio dos elementos do modelo (calculados uma vez s), a imagem, e o valor meio da

2 11 3 4 5

5 5 14 3 1

10 3 1 10 1

20 1 2 3 13

Total 20 20 20 20

imagem em a regio donde e sobrepem. A somatria tomada sobre os valores do e tal que a imagem e o modelo sobrepem. O denominador normaliza o resultado em relao s variaes de intensidade. O valor de esta no intervalo | geralmente indica um bom entre [-1,1]. Um valor alto de | (match) entre o modelo y a imagem, quando o modelo est centrado nas coordenadas (x, y). Realizando este procedimento com as mostras pr-definidas, a perda resulta ainda mais elevada e, algumas imagens j comeam a ser correlacionadas erroneamente. Por outro lado, o mtodo de classificao usando as imagens pr-definidas tambm proporcionou bons resultados ao usar o algoritmo fuzzy c-means melhorado ainda mais que o mtodo Otsu, se o nmero de mostras armazenadas fosse maior. Porm, isso no vivel porque aumentaria muito o custo computacional.

Matriz 2. Matriz de confuso Otsu

Na matriz 2, foi o resultado da implementao do algoritmo Otsu para complementar com o algoritmo de correlao , na mesma forma pode se observar que a media do reconhecimento (Sucessos) verdadeiro das cdulas de 60% sendo este um porcentagem menor ao obtido nos resultados do mtodo fuzzy c-means. Com esta comparao pode-se confirmar que o mtodo de limiarizao proposto implementado ;e melhor para o reconhecimento das cdulas obtendo assim melhores resultados no reconhecimento.

IX.

CONCLUSES

O sistema de segmentao de imagens com base em fuzzy C-Means, mostrou-se eficiente tanto qualitativamente como quantitativamente. Pode demonstrar-se que a distribuio de nveis de cinzento uma distino ntida entre os diferentes nveis prximos de branco para preto, uma clara diferena pode ser visto na imagem 5.a 5.b e, assim, o

ps-processamento e classificao da imagem torna-se mais fcil, uma vez que diminui a quantidade de informao a ser processada na seco de classificao, e com estatsticas suficientes para determinar o valor da cdula de dinheiro. O procedimento de classificao fortemente influenciado pela presena de imagens de fundo. Estas regies so mais leves e, por conseguinte, no podem ser adequadamente classificados. Desde vrias amostras para avaliao da preciso foram tomadas nesta rea, com a inteno de ordenar, neste caso, torna-se mais complicada por ter imagens muito semelhantes pelos rostos repetidos, e o irregular das imagens. Erros de reconhecimento esto mais conectados ao redor do algoritmo classificador baseado em um algoritmo de classificao simples como a correlao. Este algoritmo muito bom para comparao com as imagens armazenadas no banco de dados, no entanto, tm que levar-se em conta que existem erros no rudo de fundo como os rostos das cdulas de dinheiro, mas em vrios testes se pode demonstrar que o sistema pode ser validado. As comparaes e anlises de dos resultados so feitas entre os dois algoritmos de limiarizao. Obtendo assim um bom resultado sobre a diferenciao de qual o melhor mtodo que ajuda a obter uma boa preciso de segmentao limiar.

X.
[1]

BIBLIOGRAFIA

[2] [3] [4] [5] [6]

[7]

[8]

Rodriguez, J.C. ; Larco, J. and Orozco, L. , Smartphone Recognition of the U.S. Banknotes Denomination, for Visually Impaired People, Electr. & Electron. Dept., Army Polytech. Sch. (ESPE), Sangolqui, Ecuador , Sept.2010. Tamalika Chaira, Ajoy Kumar Ray, Fuzzy Image Processing and Applications with MATLAB, CV Jawahar, PK Biswas, AK Ray, Investigations on fuzzy thresholding based on fuzzy clustering - Pattern Recognition, 1997 Yong, Y., Chongxun, Z., Pan, L. A novel fuzzy c-means clustering algorithm for image thresholding. Meas. Sci. Rev., 4, 11-19, 2004 HUANG, L-K & WANG, M-J, J. Image thresholding by minimizing the measures of fuzzyness. Pattern Recognition, v. 28, n. 1, p. 41-51, 1995. Nobuyuki Otsu, "A Threshold Selection Method from Gray-Level Histograms,". IEEE transactions on systems, man and cybernetics, Vol SMC-9, No.1, Jan 1979. Zhang Jin-Yu; Chen Yan; Huang Xian-Xiang, "Edge detection of images based on improved Sobel operator and genetic algorithms", International conference on Image Analysis and Signal Processing, pp. 31 35, 2009. R. C. Gonzalez and P. Wintz, Digital Image Processing, Addison-Wesley, 1979.