Meeting Note

November 2011

Humanitarian Impact Evaluation

Fo r mo re inf ormation , please cont a ct: Eli z ab et h B ell ard o Senior Pro gra m Mana ge r InterActio n ebellard o @intera ction.o rg

O n Th u r sd a y, O ct . 2 0 , 2 0 1 1 o ve r 4 0 m e m b e r s o f t h e i nt e rn a ti o n a l h u m a n it a ri a n N G O co m m u n it y g a t h e re d t o di scu s s i m p a ct e va l u a ti o n i n h u m a n it a ri a n a cti o n . Th i s i s a sh o rt su m m a r y o f t h e p re s e n t a ti o n s a n d di s cu ssi o n s.

Impr ov ing hu ma nit a ria n im pa ct a ss e s s me nt : bridgin g t he ory a nd pra c tic e

Jo h n M it ch e ll, A L N A P Jo h n M it ch e ll, Di re ct o r o f A L N A P , p re s e n t e d o n a st u d y re t hi n ki n g t h e i m p a ct o f h u m a n it a ri a n ai d a n d t h e u se o f h u m a n it a ri a n i m p a ct a sse s s m e n t s, w h i ch h a v e p ro ve d d if fi cul t t o co n d u ct . Th e ai m s o f t h e st u d y w e re t o cl a rif y ke y i ssu e s a ro u n d t h e u se o f h u m a n i t a ri a n i m p a ct a s se s s m e n t s, t o m o v e t o w a rd a sh a re d a n d b e t t e r u n d e rst a n d i n g o f it s n a t u re a n d u se s, a n d t o d e fi n e a p ra cti ca l vi si o n f o r f ut u re w o r k. Si n ce t h e 1 9 8 0 s, t h re e b ro a d t re n d s h a ve c o n t ri b u t e d t o t h e cu rre n t i n t e re st a n d d e b a t e a ro u n d h u m a n i t a ri a n i m p a ct a s se ss m e n t. Fi rst, h u m a n i t a ri a n ai d h a s e xp a n d e d a n d b e co m e m o re p o liti ci ze d . Th e i n cre a se i n co m p l e x e m e rg e n ci e s d u ri n g t h e 1 9 9 0 s h a s re su lt e d i n h u m a n i t a ri a n p ri n ci pl e s b ei n g i n cre a si n gl y co m p ro m i se d . Th e c h a n g i n g n a t u re o f vu l n e ra b ilit y a n d h u m a n su f f e ri n g h a s a l so pl a ye d a rol e a s t h e n u m b e r a n d sca l e o f e m e r g e n ci e s h a s i n cre a se d i n t h e p a st 2 0 ye a rs a n d h a s a ff e ct e d m o re m i d dl e in co m e co u n t ri e s. L a stl y, t h e ai m s o f h u m a n it a ri a n ai d h a ve b e co m e b l u rre d . Th e fi el d h a s b e co m e i n cre a si n gl y i n sti t u ti o n ali ze d a n d p ro f e s si o n ali ze d , a n d t h e m a i n g o al i s n o t ju st sa vi n g li ve s b u t ca n al so i n cl u d e st a t e b uil di n g a n d a d d re s si n g vu l n e ra bili t y. D e sp it e t h e i n cre a se i n i ni ti ati ve s a n d p ro g re s s m a d e , co n si d e ra bl e ch a ll e n g e s re m a i n. Th e st u d y i d e n tifi e s si x ke y ch a ll e n g e s: (1 ) d e fi ni n g i m p a ct a n d i m p a ct a s se ss m e n t ; (2 ) di ve r se st a ke h o l d e rs a n d i n t e re st s; (3 ) i n d i ca t o rs, b a se li n e s a n d d a t a ; (4 ) m e t h o d o l o gi e s; (5 ) co ll e cti ve i n t e rp re t a ti o n a n d a n al ysi s; a n d (6 ) ca p a ci ti e s a n d i n ce n ti ve s. D e fi ni n g i m p a ct a n d i m p a ct a ss e s s m e n t : Wh il e t h e re a re wi d e l y a cce p t e d d e fi niti o n s, t h e re i s n o si n gl e d e fi niti o n t h a t e ve ryo n e f oll o w s. P a rt of t h e di ffi cu lt y i s t h a t t h e i d e a l m o d el i s li n e a r, b u t t h e re alit y o f t h e i m p a ct i s dif f e re n t a n d n o t so st ra i g h tf o rw a r d . R e a l w o rl d i m p a ct i s co m p l e x a n d h a rd t o di sce rn , a n d ca n h a p p e n a l o n g ti m e a ft e r t h e f a ct. Th e re i s al so a t e n d e n c y t o l o o k a t co n t ri b u ti o n rat h e r t h a n a t t ri b uti o n . H u m a n it a ri a n i m p a ct a sse s s m e n t i s e ve n m o re d iffi cu l t d u e t o t h e ra p i dl y ch a n g i n g n a t u re of h u m a ni t a ri a n co n t e xt s, t h e l a ck o f co n se n su s o n o bj e cti ve s o f h u m a n it a ri a n ai d , a n d t h e f a ct

www.InterAction.org 1400 16th Street, NW Suite 210 Washington, DC 20036 202.667.8227

zz

t h at i nt e n d e d i m p a ct s a re o ft e n u n cl e a r a n d o ve ra m b iti o u s. D i ve rse st a ke h o l d e rs a n d i nt e re st s: Th o u g h cru ci al t o a su cc e s sf ul a ss e s s m e n t , dif f e re n t st a ke h ol d e rs h a ve d if f e re n t p e rc e p ti o n s o f a n d i nt e re st s i n i m p a ct , t h u s m a ki n g it a d iffi cu l t b al a n ci n g a ct . A d d iti o n a ll y, di ff e re n t n e e d s m a y n o t b e re co n cil a bl e a n d a ch i e va b l e i n a si n g l e i m p a ct a ss e s s m e n t , i. e . t h e t e n si o n b et w e e n d e m o n st ra ti n g p a st i m p a ct a n d i m p ro vi n g f u t u re p ra ct i ce . I n di ca t o rs, b a se li n e s a n d d a t a : Th e ch o i ce o f i n di ca t o r s i s cru ci al a n d i n cl u d e s a va l u e j u d g m e n t o n w h a t ki n d s o f ch a n g e s a re si g ni fi ca n t a n d f o r w h o m . I s su e s i n cl u d e w e a k o r n o n e xi st e n t b a se li n e s, u n a va il a bl e o r u n re li a bl e d a t a, q u alit a ti ve v s. q u a n t it a ti ve d a t a, a n d m o n it o ri n g s yst e m s t h a t f o cu s o n p ro ce s s a n d o u t p u t s. M e t h o d o l o g i e s: Th e r e a re a m a n y t o o l s, t e ch n i q u e s a n d a p p ro a ch e s a va il a bl e. S o m e a re q u a n tit a ti ve a n d t a ckl e w h a t a n d w h e r e q u e st i o n s, w h il e o t h e rs a re q u a lit ati ve a n d t a c kl e h o w a n d w h y q u e st i o n s. M a n y h u m a n it a ri a n s a d o p t a m i xe d m e t h o d s a p p ro a ch . C o ll e cti ve i n t e rp re t a ti o n a n d a n a l ysi s: On e o f t h e bi g g e st i s su e s i n i m p a ct a s se ss m e n t i s h o w t o i n cl u d e t h e vi e w s o f b e n e fi ci a ri e s a n d h o w t o u se t h e se vi e w s a n d e xp e ri e n ce s t o a ct u all y b ri n g a b o u t ch a n g e s a n d i m p ro ve m e n t s. To d a t e , p a rti ci p ati o n o f a n d a c co u n t a b ilit y t o af f e ct e d p o p u l ati o n s h a s n o t b e e n a ke y f e at u re o f i m p a ct a s se s sm e n t s. C a p a citi e s a n d i n ce n ti ve s: I n g e n e ra l, t h e re i s a l a ck o f i n d i vi d u a l a n d o rg a n i za ti o n a l ca p a cit y t o ca rr y o u t g o o d e va l u a ti o n s. Fa ct o rs co n t ri b u ti n g t o t h i s a re u n cl e a r T O R s a n d o b j e cti ve s, hi g h st a ff t u rn o v e r a n d i n a d e q u a t e i n ve st m e n t o f re so u r ce s. Th e re a re a l so f e w g e n u i n e i n ce n t i ve s t o ca rry o u t a g o o d a ss e s s m e n t . Th e st u d y co n cl u d e d t h a t so f a r t h e h u m a n it a ri a n s yst e m h a s b e e n p o o r a t m e a su ri n g o r a n al y zi n g i m p a ct . Th e re h a s b e e n s o m e p ro g re ss m a d e b u t n o t ve r y m u ch . D i scu s si o n : P a rti ci p a n t s di s cu s se d t h e q u e st i o n of b a se li n e s a n d su rro u n d i n g i ssu e s, hi g hli g h ti n g t h e ch a ll e n g e o f a l a ck o f b a se li n e d a t a a n d re co n st ru ct i n g b a s eli n e s. I n h u m a n it a ri a n i m p a ct a s se ss m e n t s t h e re i s a t e n d e n c y t o m a ke t h e e m e rg e n c y 0 a n d n o t t a ke i n t o a c co u n t li f e b e f o re it h a p p e n e d . Th e r e i s a t e n d e n cy t o re co n st ru ct b a se li n e s o rd e r t o at t ri b ut e t h e co n se q u e n ce s o f p ro g ra m , a s w e ll a s a t e n d e n c y t o o ve rsi m p lif y t h e si t u a ti o n. S o m e p a rti ci p a n t s f elt it m a y b e a n u n re ali sti c e xp e ct a ti o n t o b e a bl e t o m e a su re a p ro g ra m s o r p roj e ct s i m p a ct i n a h u m a n i t a ri a n co n t e xt .

Impa c t E va lua tion f or t he inte rna t iona l N G O Co m m unit y

C a rli sl e L e vi n e , M o d e ra t o r Je a n n i e A n n a n , D i re ct o r of R e s e a rc h a n d E va l u a ti o n , I R C D a l e Hill , S e n i o r M & E A d vi so r, A m e ri ca n R e d C r o s s, I n t e rn a ti o n al S e rvi ce s V e ro n i ca M . Ol a za b a l, M o n it o ri n g a n d E va l u a ti o n E xe c u ti ve , U n it e d M e t h o d i st C o m mi tt e e o n R e li e f H a n a C ro w e , S e ni o r S p e ci ali st , A c co u n t a b ilit y, S a ve t h e C h il d re n Th e p a n e l di scu s sa n t s sh a re d h o w t h ei r re sp e ct i ve o rg a ni za t i o n s d e fi n e i m p a ct e val u a ti o n , t h ei r p oli ci e s f o r ca rryin g o u t i m p a ct e va l u a ti o n s, h o w t h e y m e a su re i m p a ct , a n d va ri o u s ch a ll e n g e s t h e y h a ve e n co u n t e re d . Th o u g h t h e p a n e li st s h a d co n d u ct e d e va l u a ti o n s i n a va ri e t y o f sit u a ti o n s a n d co n t e xt s (b o t h reli ef a n d d e ve l o p m e n t ), all p a n el i st s a g re e d t h a t e va l u a ti o n s ca n b e ti m e c o n s u mi n g , e xp e n si ve a n d a b u rd e n o n st a ff . I m p a ct e va l u a ti o n i n a h u m a n i t a ri a n co n t e xt i s dif fi cul t b e c a u s e , i n a n e m e rg e n cy, t h e m a i n p ri o ri t y i s t o sa v e li ve s ra t h e r t h a n coll e cti n g d a t a t o b e u se d a t a l a t e r d at e t o e va l u a t e p ro g ra m s. I t i s al so d if fi cul t t o a tt ri b u t e i m p a ct i n a n e m e rg e n c y sit u a ti o n , si n ce it i s of t e n t h e ca se t h at m o re t h a n o n e a g e n cy re sp o n d s. Wh il e i m p a ct e va l u a ti o n s m a y h e l p o rg a ni za t i o n s re sp o n d m o re e f f e cti ve l y t o f ut u re sit u a ti o n s, l e a rni n g f ro m e va l u a ti o n s a n d a p p l yi n g t h a t kn o w l e d g e t o f u t u re re -

zz

sp o n se s i s ch a ll e n g i n g. I t i s al so d if fi cul t t o u n d e r st a n d t h e d o w n si d e o f a p roj e ct si n ce e va l u a ti o n s f o cu s o n t h o se w h o h a ve b e n e f itt e d f ro m ce rt a i n p ro g ra m s a n d d o n o t t a ke i n t o a c co u n t t h o se w h o d o n o t b e n e f it o r a re w o r se o ff . Fo ll o w i n g t h e p a n el di sc u s si o n , w o r ks h o p p a rti ci p a n t s b ro ke u p i n t o sm a ll g ro u p s a n d w e re a s ke d t o a n sw e r t h e f oll o wi n g q u e st i o n s: 1. W h a t d o w e m e a n b y i m p a ct e va l u ati o n ? 2. W h e n i s it a p p ro p ri at e t o d o i m p a ct e va l u a ti o n i n a re li ef o r h u m a n it a ri a n co n t e xt ? 3. W h y d o w e u n d e rt a ke i m p a ct e va l u a ti o n i n a h u m a n it a ri a n co n t e xt re sp o n se ? 4. H o w d o w e u n d e rt a ke h u m a n it a ri a n i m p a ct e va l u a ti o n i n a h u m a n it a ri a n re sp o n se ? 5. W h o u n d e rt a ke s h u m a n it a ri a n i m p a ct e va l u a ti o n i n a h u m a n i t a ri a n re sp o n se co n t e xt ? S m a ll g ro u p di scu s si o n hi g hli g h t s Th e h u m a n i t a ri a n co m m u n it y sh o u l d t a ke a d va n t a g e o f t h e cu rre n t e x cit e m e n t o ve r m o n i t o ri n g a n d e va l u a ti o n t o e n co u ra g e g re a t e r co o rd i n a ti o n . Si n ce it i s d iffi cu l t t o se t a n d d e t e rm i n e b a se li n e s i n a n e m e rg e n c y, o n e g ro u p sh o u l d a ct a s t h e l e a d e va l u a t o r a n d coll e ct a n d co o rd i n a t e d at a t o re co n st ru ct b a s e lin e s f o r all g ro u p s t o u se . Th e re a re p ro s a n d co n s t o N G O co ll a b o ra ti o n w it h a ca d e m i c i n sti t uti o n s f o r i m p a ct a sse s s m e n t s. M o re m e t h o d s co u l d b e e xp l o re d a n d t h e re w o u l d b e g re a t e r va ri e t y o f skill se t s a n d ca p a citi e s. Wh il e i t i s i m p o rt a n t t o l e a rn f ro m e va l u a ti o n s a n d sh a r e re su lt s, t h e re m a y b e so m e di sc o m f o rt i n p u bli sh i n g re sul t s. E xt e rn a l co ll a b o ra ti o n ca n l e a d t o m o re ri sk, a n d t h e re i s a co n ce r n a b o u t b ei n g p e n a li ze d f o r p ro d u ci n g di ff e re n t re s ul t s t h a n w h a t w a s o ri gi n all y e xp e ct e d . N G O s u n d e rt a ke i m p a ct e va l u a ti o n b e ca u se t h e re i s a n i n cre a se d n e e d t o u n d e rst a n d w h a t h a p p e n e d a n d w h y. E xt e rn a l e va l u a t o rs a re u se f ul a n d p ro vi d e a ce rt a i n l e ve l of e xp e rti se , b u t t h e y a re o ft e n u n ch e ck e d a n d m a y h a v e a ce rt ai n bi a s. Th e re a l so n e e d s t o b e i nt e rn a l su p p o rt w i t hi n a n o rg a n i za ti o n a n d g re a t e r se n i o r l e ve l b u y-i n . I m p a ct e va l u a ti o n i s n o t e a s y. Wh e n c o m p a ri n g d e ve l o p m e n t w o rk a n d h u m a n i t a ri a n a cti o n , e va l u a ti o n m a y b e m o re i m p o rt a n t i n h u m a n it a ri a n a ct i o n. B e tt e r m a n a g e m e n t i s n e e d e d f o r m e a su ri n g h o w w e ll w e a re d oi n g . Th e re i s a n i n h e re n t t e n si o n w h e n co n d u cti n g a n i m p a ct e va l u a ti o n b e ca u se it h a s b e e n m a n d a t e d b y a d o n o r o r f o r o rg a n i za ti o n al l e a rni n g . D o n o r s re q ui re o n e t hi n g , w h i ch m a y co n t ra d i ct w h a t a n o rg a ni za t i o n i s t ryi n g t o l e a rn f ro m t h e e va l u a ti o n . Org a n i za ti o n s a re t ryi n g t o cre a t e g l o b al st a n d a rd s a n d i n di ca t o rs a n d t o co n d u ct a n i m p a ct e va l u a ti o n w h e n t h e y pil o t a n e w a p p ro a ch o r e n t e r a n e w se ct o r. I m p a ct e va l u a ti o n i s j u st o n e t yp e o f e va l u ati o n . A n a s p e ct o f i m p a ct e va l u a ti o n i s t h e m a n a g e m e n t o f b e n e fi ci a ri e s a n d d o n o rs e xp e ct a ti o n s. I m p a ct e va l u a ti o n a s a w h o l e ca n l o ck e va l u a t o rs i n t o a t h e o ry o f ca u sa l rel a ti o n sh i p s, w h i ch m a y bli n d t h e m t o u n i nt e n d e d c o n s e q u e n ce s o f t h e p roj e ct . M o st e va l u a ti o n s e xa m i n e w h e t h e r w h a t t h e o rg a ni za ti o n se t o u t t o d o w a s a ch i e ve d o r n o t . A s a re su l t, t h e d o n o h a rm p ri n ci pl e a n d t h e di ffi cu lt y i n re a ch i n g ce rt ai n g ro u p s a re i g n o re d b e ca u se o rg a ni za t i o n s a re f o cu se d o n d e m o n st ra ti n g t o d o n o r s t h a t t h e y d i d w h a t t h e y w e re a ske d t o d o . H a vi n g t h e l e a rni n g p ro ce ss d ri ve n b y l o ca l a ct o rs i s b ot h ke y a n d i d e a l. L e a rn i n g sh o u l d n o t b e i m p o se d fro m t h e t o p o r d o n o r s, b ut ra t h e r sh o ul d re su l t f ro m w re stli n g wi t h ke y q u e sti o n s t h a t w ill h a v e a m e a n i n g f ul i m p a ct of t h e n e xt p h a s e o f i m p l e m e n t a ti o n. Th i s m a y o r m a y n o t b e i m p a ct e va l u a ti o n. Th e re w a s g e n e ra l a g re e m e n t t h a t it h a s b e e n a st ru g g l e t o i m p ro v e a n d st re n g t h e n ca p a cit y o n e va l u a ti o n. On e co n t ri b u ti n g f a ct o r m e n ti o n e d w a s hi g h st a ff t u rn o ve r.

zz

Impa c t E va lua tion Me t hodology , To ols a nd Fra me w ork s

S t e ve n H a n s ch , M o d e ra t o r Jo c k P a u l , H u m a n i t a ri a n Af f ai rs Of fi ce r, E va l u a ti o n a n d Gu i d a n c e S e ct i o n, P oli cy D e ve l o p m e n t a n d S t u di e s B ra n c h , U N O C H A L o re tt a I shi d a , Te ch ni ca l A d vi so r f o r E m e rg e n cy M & E , C R S H a p C a rr, S e ni o r Te c h n i cal A d vi so r f o r M & E , C R S M i ch a e l B a m b e rg e r

J oint Hu ma nita ria n Impa c t E va lua tion ( J HIE) Fra me w ork

Jo c k P a u l Jo c k P a u l ki ck e d o ff t h e p a n e l w it h a p re se n t a ti o n o n t h e re ce n t l y co n d u ct e d co n su lt a ti o n s f o r Joi n t H u m a n it a ri a n I m p a ct E va l u a ti o n . Th e t su n a m i e va l u a ti o n u n d e r s co re d t h e n e e d f o r a sy st e m - w i d e a p p ro a ch f o r e va l u a ti n g h u m a n i t a ri a n i m p a ct . Th e i n cre a se d e m p h a si s f o r j oi n t e va l u ati o n s i s cl o se l y li n ke d t o e n h a n ce d co o r d i n ati o n pl a t f o rm s i . e. , cl u st e rs a n d t h e co m m o n h u m a n it a ri a n p ro g ra m cy cl e . To b e a b l e t o d e fi n e f e a si bl e a p p ro a ch e s t o u n d e rt a ki n g j oi n t i m p a ct a ss e s s m e n t s, co n su lt a ti o n s w e r e h el d w it h a ff e ct e d p o p u l a ti o n s i n 1 5 di ff e re n t co m m u n iti e s i n H a iti , B a n g l a d e sh a n d S u d a n , a s w e ll a s w it h l o cal g o ve rn m e n t a n d l o ca l N G O s, a n d n a ti o n a l g o ve r n m e n t s a n d i n t e rn a ti o n a l h u m a n it a ri a n a ct o rs (B a n g l a d e sh a n d H a i ti ). I n a d di ti o n, i nt e rn a ti o n a l h u m a n it a ri a n a ct o rs, d o n o r s a n d e va l u a t o rs w e re c o n s u lt e d i n m e e ti n g s i n N e w Y o r k, R o m e , G e n e va , L o n d o n a n d W a sh i n g t o n . Th e s e co n su lt a ti o n s w e re t h e m o st sy st e m a ti c a tt e m p t t o co n su l t w it h g o ve rn m e n t s a n d a f f e ct e d p o p u l ati o n s d u ri n g t h e d e si g n p h a s e o f a m a j o r e va l u a ti o n e xe r ci se . A n e w d e si g n a p p ro a ch w a s n e e d e d b e ca u se o f t h e sca l e a n d re so u r ce s re q u i re d t o co n d u ct a J H I E , a n d a m o re p a rt i ci p a t o ry a p p ro a ch w a s al so n e e d e d . Th e re s u lt s o f t h e se co n su l t ati o n s d e m o n st ra t e d t h a t a n o ve r w h e l mi n g m a j o ri t y w e re su p p o rti ve o f JH I E s. Th o s e co n su lt e d di sa g re e d o n p ro g ra m d e si g n ra t h e r t h a n it s re l e va n c e . M a n y b e li e ve d t h a t a J H I E w o u l d p re se n t a m o re co m p re h e n si ve p i ct u re t h a n a si n g l e a g e n cy e va l u a ti o n. Th e re w a s st ro n g s u p p o rt t o m o ve f o rw a r d w it h pil ot JH I E s. O n q u e st i o n s o f p u rp o se , f o cu s a n d u se t h e re w a s st ro n g su p p o rt f o r g e n e ra li za b l e kn o w l e d g e a n d a c co u n t a bili t y t o a ff e ct e d p o p u l a ti o n s, a n d t h e m a i n f o cu s sh o u l d b e o n ch a n g e s i n t h e q u a lit y o f lif e . H o w e ve r, t h e f o cu s sh o u l d b e dif f e re n t b a s e d o n co n t e xt i. e ., su d d e n o n se t di sa st e r vs. co m p l e x e m e r g e n ci e s. Th e g o a l i s t o h a ve J H I E s u se d p ri m a ril y b y n a ti o n al g o ve rn m e n t s a n d f o r t h e m t o b e u se d t o p ro m o t e a cco u n t a b ilit y t o a ff e ct e d p o p u l a ti o n s ra t h e r t h a n a s a l e sso n -l e a rni n g t o o l. S o m e co n c e rn w a s e xp r e s se d o v e r h o w m u ch t h e t o ol will b e utili ze d si n ce t h e re i s li m i t e d u se o f t h e cu rre n t s yst e m - w i d e h u m a n i t a ri a n e val u a ti o n s a t co u n t ry l e ve l . Th e re w a s still n o a g re e d u p o n d e fi ni ti o n of h u m a ni t a ri a n i m p a ct . I t w a s d e ci d e d t h a t t h e d efi ni ti o n sh o u l d va r y b a se d o n t h e co n t e xt . Th e re w ill b e a n e ff o rt t o f o cu s o n b o t h sh o rt - a n d l o n g -t e rm c h a n g e s u si n g co m m o n i n di ca t o rs. L o n g e r ti m e f ra m e s f o r re s e a rc h a n d m u l ti pl e vi si t s t o co m m u n iti e s a re n e e d e d . Th e bi g g e st q u e sti o n i s if a g e n ci e s ca n e ff e cti ve l y w o r k t o g e t h e r t o co n d u ct j oi nt e va l u a ti o n s. N e xt st e p s i n cl u d e di s cu ssi n g f o ll o w u p st rat e gi e s, li n ki n g u p w it h rel a t e d i m p a ct a s se ss m e n t e f f o rt s, f u n d ra i si n g , a n d i d e n tif yi n g n a ti o n a l g o ve r n m e n t s t h a t a re in t e re st e d i n e va l u a ti n g h u m a n it a ri a n i m p a ct . D i scu s si o n : P a rti ci p a n t s t h o u g h t t h a t re a l ti m e e va l u a ti o n s (R TE ) co u l d b e u se d a s a t ri g g e r m e ch a n i s m t o sp e e d u p t h e l a u n ch o f J H I E . Th e re h a s b e e n a m o ve t o a m o re m a n a g e m e n t -i nt e n si ve e xe rci se a n d a m o ve t o h a ve b e tt e r q u ali t y d a t a a n a l ysi s. A m a i n q u e st i o n w a s w h o h a s o w n e r sh i p o ve r t h e p ro c e s s a n d w h o t a ke s it f o rw a rd . Th e g ro u p f el t t h a t it di d n t n e ce s sa ril y h a ve t o b e U N -l e d . P a rti ci p a n t s a ckn o w l e d g e d t h a t cre a ti n g JH I E s i s a

zz

cu m b e r so m e p ro ce s s, a n d it re q ui re s a l o t o f co o r di n a ti o n a m o n g a l ot o f a ct o rs. C o n ce rn w a s a l so e xp re s se d o v e r h o w t h e d o n o r a n d ve r y t o p -l e ve l di s cu ssi o n w o u l d t ri ckl e d o w n t o a co m m u n it y-l e vel p a rti ci p a ti o n e xe rci se .

Cont ribut ions t o Cha nge : To wa rd a G ood E n oug h Ap proa c h f or unde rs t a nding c ha nge f ollowin g a id a ge nc y progra ms in ra pid ons e t nat ura l disa st e rs
L o re tt a I shi d a a n d H a p C a rr Th e fi rst p h a se o f t h e E m e rg e n c y C a p a ci t y B uil di n g (E C B ) P ro j e ct p ro d u ce d t h e Go o d E n o u g h G ui d e , w h i ch f o cu s e d p ri m a ril y o n a c co u n t a b ilit y t o af f e ct e d p o p ul a ti o n s. Th e se co n d p h a s e o f t h e p ro j e ct, w h i ch i s cu rre n t l y u n d e r d e ve l o p m e n t , f o cu s e s o n i m p a ct m e a su r e m e n t a n d i s a t o ol f o r fi el d st a ff . To u n d e r st a n d ch a n g e , e va l u a t o rs w ill e xa m i n e h o u se h o l d l e ve l ch a n g e s, w hi ch will b e m e a su re d t h ro u g h ch a n g e s i n a ss e t s o r ca p it al h u m a n , so ci al , n a t u ral , p h y si ca l o r fi n a n ci al . Th i s m o d e l a s su m e s t h a t , a ft e r a di sa st e r, t h e re w ill b e ch a n g e s i n li veli h o o d s a n d w ill i d e n tif y w h a t ch a n g e s m i g h t b e e xp e ct e d o ve r ti m e . To b e a b l e t o m e a su r e su ch ch a n g e s, a t e a m w o ul d co m e i n a ft e r a n e m e rg e n c y a n d w i t hi n t w o w e e k s d o a n a sse s s m e n t o f t h e e m e rg e n c y, it s e ff e ct s o n li veli h o o d s, h o w t h e y m i g h t b e m e a su re d , a n d w h a t t h e e xp e ct e d ch a n g e s a re . I n t e rve n t i o n s w ill b e cre a t e d b a s e d o n t h e i ni ti al a s se ss m e n t, a n d a ft e r 1 2 -1 5 m o n t h s a f oll o w u p st u d y w ill b e co n d u ct e d t o se e i f a n y c h a n g e s o c cu rre d a n d t o w h a t e xt e n t t h e ch a n g e s c o u l d b e a tt ri b u t e d t o t h e co n t ri b u ti o n o f t h e i n t e rve n ti o n s. Th i s m e t h o d o l o g y i s q u ali t ati ve l y d ri ve n , a n d it re co g n i ze s t h a t b a se li n e s a re o n e o f t h e ke y co n st ra i nt s. Th e re i s a g e n e ra l a s su m p ti o n t h a t a b a se li n e ca n b e e st a b li sh e d t w o w e e k s o u t. I n ce rt ai n si t u a ti o n s, b a se li n e s m i g h t n o t b e a bl e t o b e g a t h e re d . I n su ch ca se s, e va l u a t o rs w ill rel y o n re t ro sp e ct i ve re ca ll a n d d a t a t o re co n st ru ct b a se li n e s. D i scu s si o n : Qu e sti o n s a ro se o ve r h o w t h e p roj e ct i s m a n a g e d , h o w t h e e va l u a ti o n t e a m i s f o rm e d a n d t h e ki n d s o f skill s t h e y sh o u l d h a ve , a n d w h a t t h e t ri g g e r m e ch a n i s m s a re . A g a i n, t h e i ssu e o f co n t ri b uti o n vs. a tt ri b u ti o n a ro se , al o n g w it h t h e q u e sti o n of w h e t h e r a pl a u si bl e co n n e cti o n ca n b e d ra w n gi ve n t h e a rra y o f a g e n ci e s t h a t re sp o n d t o a n e m e rg e n cy. P a rti ci p a n t s a l so f el t t h a t st a n d a rd i n di ct o rs n e e d e d t o b e w e ll d e fi n e d a n d t e st e d . To rei n f o rce lo ca l ca p a ci t y, e ff o rt s sh o u l d b e m a d e t o fi n d l o ca l co n su lt a n t s.

Mix e d me t ho ds
M i ch a e l B a m b e rg e r C o n d u ct i n g e v al u a ti o n s i n h u m a n it a ri a n se t ti n g s i s e xt re m e l y ch a ll e n gi n g . I n a n e m e rg e n c y, e va l u ati o n s c o m e se c o n d a r y t o sa vi n g li ve s. Th e p o p u l a ti o n s a n d co n t e xt s a re ch a n g i n g ve r y ra pi dl y, a n d it ca n o ft e n b e d a n g e ro u s a n d di ffi cu lt t o coll e ct d a t a . I t i s h a rd t o kn o w f o r su re i f a n i n t e rve n ti o n ca n b e a tt ri b u t e d t o a gi ve n ch a n g e , e sp e ci all y w h e n t h e re a re se v e ra l a g e n ci e s w o rki n g i n t h e sa m e a re a . I t i s e q u a ll y dif fi cu lt t o d efi n e w h o i s af f e ct e d b y t h e p ro j e ct b e i n g e v al u a t e d , a n d it i s h a rd t o i d e n ti f y a n d st u d y t h e m o st a t -ri sk g ro u p s, e . g. , e t h ni c m i n o ri ti e s a n d I D P s. It i s a l so e xt re m e l y ch all e n g i n g t o i nt e rvi e w ch il d re n . Th e re a re li mi t ati o n s t o b o t h p u re l y q u a n tit a ti ve a n d p u re l y q u ali t ati ve a p p ro a ch e s. Wh e n u si n g a q u a n t it a ti ve a p p ro a ch , n u m b e r s d o n t t ell t h e w h o l e st o ry a n d d o n t a s se ss t h e p ro ce s s o r q u alit y o f se rvi ce s. U si n g o nl y n u m b e rs m a ke s it dif fi cu lt t o u n d e r st a n d t h e co n t e xt a n d t h e m u l ti pl e f a ct o rs t h a t a ff e ct t h e p ro g ra m . Q u a n ti t ati ve a p p ro a ch e s a re n o t g o o d f o r coll e ct i n g i n f o rm a t i o n o n se n siti ve t o pi c s o r i d e n tif yi n g a n d i n t e rvi e w i n g d iffi cu l t t o re a ch g ro u p s. Wi t h a q u ali t ati ve a p p ro a ch , it i s dif fi cul t t o kn o w h o w re p re se n t a ti ve t h e sa m p l e g ro u p a ct u a ll y i s, a n d t h e re i s a p o t e n ti al f o r bi a s a s t h e re i s a t e n d e n c y t o i n t e rvi e w t h e m o st a c ce s si bl e g ro u p s.

zz

Th e b e n e f it of a m i xe d m e t h o d a p p ro a ch i s t h a t i t co m b i n e s t h e d e p t h o f u n d e rst a n d i n g w it h gi vi n g a voi ce a n d o w n e r sh i p t o a ff e ct e d p o p u l ati o n s. It al so all o w s f o r t h e t o t al p o p u l a ti o n t o b e re p re s e n t e d . A m i xe d m e t h o d s a p p ro a ch co m b i n e s p ro ce s s w it h o u t co m e s a n d i m p a ct s. A d di ti o n all y, t hi s a p p ro a ch c a n b e u se d a t dif f e re n t st a t e s o f e va l u a ti o n a n d i s a s yst e m a ti c i n t e g ra t e d a p p ro a c h i n g co ve ri n g all st a g e s o f t h e e va l u a ti o n cy cl e. D i scu s si o n : Th e b e n e fi t s o f m i xe d m e t h o d o l o gi e s a re t h at t h e y a cco m m o d a t e e m e r g e n t d e si g n s a n d all o w f o r d e scri p ti o n of p ro ce sse s a n d p ro ce d u re s. H o w e ve r, if d o n e c o rre ct l y, a m i xe d m e t h o d o l o gi e s a p p ro a ch ca n b e ti m e co n su m i n g a n d e xp e n si ve ; i t i s n o t e a sil y co n d u ct e d if t h e re a re li mi t e d b u d g e t s a n d p e rs o n n e l . E va l u a t o rs n e e d t o b e a bl e t o g o b a ck t o t h e fi el d, e sp e ci all y t o re so l ve a n y i n co n st a n ci e s i n t h e d a t a.

Wra p U p a nd Ne x t St e ps
I nt e rA ct i o n w ill b e co n d u ct i n g a su r ve y t o a s se s s m e m b e r o rg a n i za ti o n s M & E ca p a ci ti e s. I n t e rA cti o n i s al so i n t h e p ro ce s s o f p ro d u ci n g a se ri e s o f g ui d a n ce n o t e s, of w h i ch t h e fi rst t w o w ill b e p ro d u c e d b y t h e e n d o f t h e ye a r. B o d y t e xt g o e s h e re