Concepts avancs en mathmatiques et informatique appliques

MAP-6014

Technique daggrgation (clustering)

Introduction Algorithme

de Forgy Algorithme k-means

Introduction
Lorsque

nous ne pouvons dfinir priori le nombre de classes Nous devons avant le design du classificateur, extraire un ensemble dobservations tires dune population quelconque pour ainsi dduire les sousensembles distincts Laggrgation (clustering) consiste regrouper des observations de telle faon que les observations sont semblables dans chaque groupe (agrgats)

Introduction
Le

but des techniques daggrgation est de crer un ensemble daggrgats (cluster) regroupant des observations de mmes caractristiques Ces techniques cherchent alors regrouper les observations semblables Le regroupement dobservations est base entre autre sur la notion de distance par rapport des centrodes (centre de masse de chaque classe) Ces techniques sont non supervises

Algorithme de Forgy
Cet

algorithme daggrgation prend en entre:

Les observations Le nombre de classes k Les valeurs initiales des k centrodes

Les

valeurs initiales des centrodes peuvent tre choisies de faon alatoire mais la connaissance priori de la structure des classes peut guider leur choix

Algorithme de Forgy
Initialisation des centrodes avec les valeurs initiales
FIN = FAUX TANT QUE NON FIN FAIRE POUR chaque observation FAIRE Trouver le centrode le plus proche Placer lobservation dans laggrgat le plus proche FIN POUR SI aucun changement dagggat FAIRE FIN = VRAI SINON Calculer les nouveaux centrodes FIN SI FIN TANT QUE

Algorithme de Forgy
Trouver

le centrode le plus proche

z ( z ,...., z )
k k 1 k d

x ( x1 ,...., xd ) d e ( z , x)
k

(x z
i 1 i

k 2 i

Algorithme de Forgy
Calculer

les nouveaux centrodes

1 z Nk
k

xS k

Algorithme de Forgy
Lalgorithme de Forgy converge trs lentement puisque le critre de stabilit des aggrgats est trs contraignant Plus le nombre dobservations est grand plus le temps de convergence est grand Certaines versions de cet algorithme permettent de restreindre le nombre ditrations

Algorithme k-means
Lalgorithme

k-means est semblable lalgorithme

de Forgy Cependant, le critre darrt de lalgorihme kmean est bas sur la stabilit des moyennes Son taux de convergence est plus rapide

Algorithme k-means
Initialisation des centrodes avec les valeurs initiales
FIN = FAUX TANT QUE NON FIN FAIRE POUR chaque observation FAIRE Trouver le centrode le plus proche Placer lobservation dans laggrgat le plus proche FIN POUR SI aucun changement des valeurs des centrodes FAIRE FIN = VRAI SINON Calculer les nouveaux centrodes FIN SI FIN TANT QUE

Algorithme k-means (illustration de la convergence)

Algorithme k-means (illustration de la convergence)