Dtection et Estimation

GEL-64943

Hiver 05

Tests Neyman-Pearson
Rgles de Bayes: Rgles Minimax: cots connus cots connus
min 0 R0 ( ) + (1 0 ) R1 ( )

min max {R0 ( ) , R1 ( )}

Rgles Neyman Pearson: cots pas connus On utilise les rgles Neyman-Pearson pour les problmes o les cots ne sont pas connus. cause de l'histoire du dveloppement du test Neyman-Pearson, il y a un vocabulaire un peu diffrent que le vocabulaire qu'on a vu jusqu maintenant. On voit la diffrence dans les noms des erreurs. Erreur Type 1: Erreur Type 2: choisir H1 quand H0 est vraie - fausse alarme PF = la probabilit d'une fausse alarme choisir H0 quand H1 est vrai un rat PM = la probabilit d'un rat Donc, H0: pas de cible prsente H1: prsence d'une cible La probabilit de dtection, PD, est la probabilit qu'on dcide qu'il y a une cible, quand elle est vraiment prsente. PD = la probabilit de dtection = 1 - PM La taille d'une rgle = PF = la probabilit d'une fausse alarme. La puissance d'une rgle = PD = la probabilit de dtection. On peut toujours trouver une rgle de dcision pour rendre la probabilit d'une des erreurs trs petites, en laissant la probabilit de l'autre erreur grandir. Les rgles de dcision Neyman-Pearson minimisent la probabilit d'une erreur, en garantissant que l'autre ne devient pas trop grande. On a un maximum pour la probabilit de fausse alarme, et on essaie de maximiser la probabilit de dtection sujet cette restriction sur la probabilit de fausse alarme.

La rgle Neyman-Pearson
NP = arg max PD ( )

sujet
PF ( )

Alpha s'appelle le niveau du test ou le niveau d'importance (significance level). PF s'appelle la puissance, donc NP est la rgle la plus puissante au niveau , o > 0, et fixe. Par exemple, on peut crire le problme comme le suivant:

9 fvr. 05

Rgle Neyman-Pearson

page 1

Dtection et Estimation

GEL-64943

Hiver 05

Je ne peux pas supporter un taux de fausse alarme plus grand que .1%. Quelle est la plus grande probabilit de dtection possible? Avec quelle rgle de dcision? rgle randomise Une rgle randomise est une correspondance de [0,1] avec l'interprtation que pour chaque y, (y) est la probabilit avec laquelle on accepte l'hypothse H1 quand l'observation est y. Exemples: ~ 1) rgle ordinaire (fonction indicateur) ( y ) = ( y ) = I 1 ( y ) Donc, quand L(y), on accepte l'hypothse H1 avec probabilit un, a veut dire, toujours. Quand L(y)<, on l'accepte avec probabilit zro, i.e., jamais. 2) rgle minimax
1 L( y ) > L ( y ) = q L( y ) = 0 L( y ) <

Donc, quand L(y)>, on accepte l'hypothse H1 avec probabilit un, a veut dire, toujours. Quand L(y)= on l'accepte avec probabilit q. Quand L(y)<, on l'accepte avec probabilit zro, i.e., jamais. Pour le problme Neyman-Pearson, on fait l'hypothse que la rgle est une rgle randomise pour simplifier la mathmatique.

PF = probabilit que quand H 0 est vrai choisit H1 = P0 ( choisit H1 ) = E0 (Y )

o la notation E0

l q est l'esprance conditionne la vrit d'hypothse H .

0

Donc, la

probabilit de fausse alarme est la probabilit qu'il n'y a pas de cible, mais on dcide qu'une cible est prsente. Pour voir cette relation rappelez-vous que
P (choisir H1 H0 ) = P (choisir H1 Y = y , H 0 ) p( y H0 )dy

indpendant de H 0
PF = P (choisir H1 Y = y ) p0 ( y )dy

~ ~ = ( y ) p0 ( y )dy = E0 ( y )

{ }

De la mme manire on arrive

~ ~ PD = E1 (Y ) = ( y )p1( y )dy

{ }

9 fvr. 05

Rgle Neyman-Pearson

page 2

Dtection et Estimation

GEL-64943

Hiver 05

Le lemme de Neyman-Pearson a trois parties. On commence avec une hypothse sur la forme de la solution. Cette forme est une comparaison du rapport de vraisemblance avec un seuil avec une randomisation, et la rgle Neyman-Pearson atteint exactement la probabilit de fausse alarme permet (PF=). 1) 2) 3) On verra au dbut que cette forme a une probabilit de dtection plus grande que toutes les rgles qui sont acceptables, i.e., avec PF. On verra qu'une rgle de cette forme existe toujours. On verra que c'est la seule forme que la rgle Neyman-Pearson peut prendre.

Lemme de Neyman-Pearson Pour un systme avec H0: Y~P0 et H1: Y~P1, les points suivants sont vrais: ~ 1) [optimisation] Supposez que est n'importe quelle rgle de dcision avec ~ ~ PF ( ) et soit n'importe quelle rgle de dcision de la forme
1 L( y ) > p1( y ) > p0 ( y ) ~ = ( y ) L( y ) = p1( y ) = p0 ( y ) 0 L( y ) < p1( y ) < p0 ( y )

R | S | T

~ ~ ~ o 0 , 0 y 1 sont tels que PF ( ) = . Dans ce cas, PD ( ) PD ( ) . ~ 2) [existence] Pour chaque (0,1), il existe une rgle de dcision, NP , de la forme * ~ sauf avec (y)=0 (une constante) pour laquelle PF ( NP ) = .

bg

~ 3) [unicit] Supposez que est n'importe quelle rgle de dcision Neyman-Pearson ~ de taille . Dans ce cas, il faut que ait la forme * sauf sur un ensemble de y avec probabilit zro sous les deux hypothses. Preuve de loptimisation Considrez les trois possibilits pour la relation entre le rapport de vraisemblance et le seuil eta: le rapport est plus grand, le rapport est gal, le rapport est plus petit. On va examiner les trois possibilits, et voir leffet sur le produit suivant ~ ~ y y p1 y p0 y

e b g b gjc b g b gh p b y g > p b y g p b y g = p b y g p b y g < p b y g p b y g p b y g > 0 p b y g p b y g = 0 p b y g p b y g < 0 ~ ~ ~ b y g = 1 b y g = ( y ) b y g = 0 ~ ~ ~ ~ ~ ~ b y g b y g 0 b y g b y g ? 0 b y g b y g 0

1 0
1 0 1 0

e
9 fvr. 05

~ ~ p1 p0 0

jb

~ ~ p1 p0 = 0

jb

~ ~ p1 p0 0

jb

Rgle Neyman-Pearson

page 3

Dtection et Estimation

GEL-64943

Hiver 05

Donc on peut crire que pour toutes les valeurs de y ~ ~ y y p1 y p0 y 0

e b g b gjc b g
b gjc b g

b gh

Comme cest vrai pour toutes les valeurs de y, je peux prendre lintgral de cette expression sur tout lespace des observations, et cette intgrale sera aussi plus grande ou gale zro. ~ ~ y y p1 y p0 y dy 0

ze b g

b gh

Je vais sparer les quatre termes dans le produit ~ ~ ~ ~ y p1 y dy y p1 y dy + y p0 y dy y p0 y dy 0

bg bg

zbgbg zbg

bg

bg bg

ou

y p1 y dy y p1 y dy y p0 y dy y p0 y dy

bg bg
~ PD

zbgbg
~
~ PD

e j

ej

LM ~ b g b g Nz ~ P e j
F

zbg
~

b g OP Q ~ P e j
F

Donc on a la relation

~ ~ ~ ~ PD PD PF PF

e j

ej

e j ej
( )]

On sait que la taille de la rgle propose est exactement , donc ~ ~ ~ PD PD PF

( )

() [

La taille de la rgle arbitraire nest jamais plus grande que , donc lexpression du ct droit est jamais ngative, donc ~ ~ PD PD 0 Q.E.D. ~ ~ PD PD

e j ej e j ej

Preuve de partie deux, l'existence:

Cette partie de la preuve est trs importante. C'est une preuve constructive, donc on va trouver les valeurs de et qui donnent une probabilit de fausse alarme juste gale alpha. 2) Considrez la probabilit sous hypothse zro que L(y)> comme une fonction du seuil . Appelez 0 le numro, pas ngatif, le plus petit tel que P0(L(y)>) .

P0(L(y)>)

page 4

9 fvr. 05

Rgle Neyman-Pearson

Dtection et Estimation

GEL-64943

Hiver 05

a veut dire que 0 est le seuil le plus petit qui donne une probabilit de fausse alarme pas plus grande qu'alpha. Dans le graphique la probabilit de fausse alarme est continue, mais il peut arriver que la fonction soit discontinue. En tout cas, la fonction est toujours monotone, dcroissante, et continue du ct gauche. Quarrive-t-il aux points de discontinuits? Dans le deuxime graphique on peut voir une courbe avec deux points de discontinuits. Supposons que la premire discontinuit arrive a un point quon appelle 1, et la deuxime au point 2. On appelle 1 la probabilit P0(L(y)>1), et 2 = P0(L(y)>2). La hauteur de la discontinuit est juste la probabilit que le rapport de vraisemblance est exactement gale au seuil ce point. Donc un point de continuit on a P0(L(y)=)=0, mais un point de discontinuit, P0(L(y)=)>0.

P0(L(y)>)

P0(L(y)=1)

2 1 2

P0(L(y)=2)

Si on considre une contrainte arbitraire sur la probabilit de fausse alarme, il est possible que tombe dans un endroit o la courbe est continue, ou dans un endroit o elle est discontinue. On va considrer les deux possibilits sparment.

0
est dans une partie continue P0(L(y)=0)=0 0 peut tre arbitraire

est dans une partie discontinue P0(L(y)=0)>0 il faut choisir 0 avec attention

La rgle de dcision aura la forme

~

NP

R1 | = S |0 T

L( y ) > L( y ) = L( y ) <

9 fvr. 05

Rgle Neyman-Pearson

page 5

Dtection et Estimation

GEL-64943

Hiver 05

On peut calculer la probabilit de fausse alarme avec cette rgle de dcision: ~ ~ PF NP = E0 NP Y

0

e j

~ { b g} = z by gp by gdy = 1 z p b y gdy + P Lb y g = + 0 z p b y gdy bg bg = P Lb y g > + P Lb y g =

NP 0

0 0

L y >

L y <

0 0

Si tombe dans une rgion continue, la valeur de 0 nest pas importante parce que
~ PF NP = P0 L y > 0 + 0P0 L y = 0 = + 0 0 =

e j

bg

bg

Si tombe dans une rgion discontinue, la valeur de 0 nous permettra darriver la valeur exacte de :
~ PF NP = P0 L y > 0 + 0P0 L y = 0 =

e j

bg

bg

Donc on dfinit

0 =

P0 L y > 0 la partie qui manque = la hauteur de discontinuit P0 L y = 0

La hauteur de la discontinuit est la probabilit que le rapport de vraisemblance est juste gal au seuil 0, donc le dnominateur. La distance entre la probabilit de fausse alarme dsire, , et la probabilit actuelle pour le seuil 0 est le numrateur. Si on forme le rapport entre ces deux hauteurs, on arrivera la valeur de 0 qui donne une probabilit de fausse alarme exactement gale . Voila la preuve de la partie deux. Q.E.D.

bg bg

P0(L(y)=0) -P0(L(y)>0)

3) Supposons que ' est une rgle NeymanPearson de niveau de la forme dsire, et " est une autre rgle Neyman-Pearson avec n'importe quelle forme. Les deux sont rgles Neyman-Pearson, donc les deux ont une probabilit de dtection maximum, donc les probabilits de dtection sont gales.
~ ~ PD = PD

e j

e j

~ ~ et PF = , PF

e j

e j

Encore on utilise le rsultat que

~ ~ e by g by gjcp by g p by gh 0
1 0

9 fvr. 05

Rgle Neyman-Pearson

page 6

Dtection et Estimation ou

GEL-64943

Hiver 05

PD PD PF PF .

( )

( )

( )

( )

Pour les rgles de dcision ici,

0 PF PF = PF 0

( )

( )

( )

~ Donc il faut que = PF . On peut montrer que

e j

b gjcp by g p by ghdy ~ ~ ~ ~ = P e j P e j P e j + P e j = 0
y y
D D

ze b g
~

Comme largument de lintgration nest jamais ngatif, il faut que largument soit zro, sauf peut-tre dans les deux ensembles: un ensemble avec probabilit zro sous hypothse zro et sous hypothse un lensemble avec p1(y)= p0(y) Dans lensemble avec p1(y)= p0(y), la rgle de dcision peut prendre une valeur qui est une fonction de lobservation y, mais cette forme sera la forme dsire, la forme dans lquation *. Q.E.D. En conclusion, on a vu encore que la rgle de dcision optimale prend la forme d'un test sur le rapport de vraisemblance, la comparaison du rapport vers un seuil. Le seuil est une fonction du rapport de vraisemblance et . Il faut considrer la probabilit que le rapport est plus grand qu'un seuil, comme fonction du seuil. 1. On cherche la valeur la plus petite avec P0(L(y)>) 2. Si P0(L(y)>) = , on a fini. 3. Sinon, il faut randomiser.

Exemple: Test de position avec un bruit Gaussien

H0 : Y ~ N (0, 2) Le rapport de vraisemblance:
2 2 b 1 0 g FG y 1+ 0 IJ b y 1 g b y 0 g 2 2 + p1 y 2 e 2 2 2 K 2 2 = =e =e H 2 b y 0 g p0 y 2 2 e

H1 : Y ~ N (1, 2)

bg bg

y 1

On calcule la probabilit sous hypothse zro que le rapport de vraisemblance est plus grand quun seuil.

9 fvr. 05

Rgle Neyman-Pearson

page 7

Dtection et Estimation

GEL-64943

Hiver 05

( 120 ) y 1 + 0 ( ) + 0 P0 ( L( y ) > ) = P0 e 2 > = P0 1 2 0 y 1 > ln 2 2 2 + 0 + 0 = P0 y 1 > + ln = P0 y > 1 ln P0 ( y > ) 2 2 1 0 1 0

1 = 2

( y 0 )2 2 2

0 dy = 1
0

Donc, il faut trouver ' tel que = 1

FG IJ . La fonction est continue, donc il n'est pas H K

La fonction (x) est bien connue, comme les fonctions x2, cos(x), etc. Elle est une fonction continue, monotone et donc, l'inverse existe toujours et il y a un seul inverse. On cherche le seuil de Neyman-Pearson, donc le ' le plus petit qui a

ncessaire de randomiser.
0 1

'0

'

PF = P0 (L( y ) > ) = = 1

Donc, 1 =

FG IJ , H K
0

FG IJ . H K
0

ou 1 1 + 0 = .

On peut crire la rgle Neyman-

Pearson comme

NP =

R1 S0 T
2

y = 1 1 + 0 y <

b g

Quelle est la probabilit de dtection?

PD = P1 L( y ) > 0 + 0P1 L( y ) = 0 = P1 L( y ) > 0 = P1 y > 0

( y 1 ) 2 2 0 1

**

g b g b g 1 = z e dy = 1 FGH IJK 2 F b1 g + I = 1 FG b1 g IJ = 1 G JK H K H = 1 d b1 g d i g
0
1 0 1 1 1 0 1

o d=SNR=rapport de signal bruit. Donc on a une expression pour la probabilit de dtection pour le niveau d'alarme fausse. Si le niveau est fix, ** est une expression pour la probabilit de dtection comme fonction du rapport de signal bruit. Cette expression s'appelle fonction de puissance (power function).

9 fvr. 05

Rgle Neyman-Pearson

page 8

Dtection et Estimation

GEL-64943

Hiver 05

On peut aussi imaginer le SNR fix, et PD est une fonction du niveau . Cette fonction s'appelle caractristiques oprateurs du rcepteur (ROCs, receiver operating characteristics).

d=1 d=.5 d=0 P

D

SNR (d)
PF=

fonction de puissance

ROCs

Exemple: Le canal binaire

0
1-0 1 0

Le rapport de vraisemblance pour le canal binaire tait

1-1

1 1 0 L( y ) = 1 1 0

si y = 0

1 1 0 L( y ) = 0 si y = 1 1 1

si y = 0 si y = 1

~ On va trouver NP pour un canal avec 0 et 1 tel que 0 + 1 < 1.

9 fvr. 05

Rgle Neyman-Pearson

page 9