Page 1 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) R e p o r t n o . 4 6 4 7 5 S u m m a r y A s s e s s m e n t S h e e t C O U N T R Y A l b a n i a P R O J E C T P U B A D M R E F R E G I O N E C A S E C T O R P u b l i c S e c t o r G o v e T A S K T E A M L E A D E R V A N H E E S E W I J K M A N A G E R D e b o r a h L . W e t z e l C O U N T R Y D I R E C T O R O r s a l i a K a l a n t z o p o u l o s L N / C R A M O U N T ( $ M I L ) 8 . 5 L N / C R N U M B E R 3 3 2 8 0 P R O J E C T I D P 0 6 9 9 3 9 T T L H Q - B A S E D H e a d q u a r t e r s D A T E A P P R O V E D 3 / 2 1 / 2 0 0 0 D A T E E F F E C T I V E 7 / 1 7 / 2 0 0 0 P E R S O N ( s ) I N T E R V I E W E D G a r y R e i d , P i e t V a n H e e s e w i j k , C e m D e n e r , J o l a n d a T r e b i c k a , O l a v R e x C h r i s t e n s e n S P V N B U D G E T $ 0 0 0 ( i n c l . T F ) F Y 0 2 F Y 0 3 F Y 0 4 W P A 9 0 1 2 2 1 0 3 A C T U A L 8 9 1 1 9 1 0 6 A T R I S K S T A T U S E N D F Y 0 2 E N D F Y 0 3 E N D F Y 0 4 P S R : A P P ( I P ) L o w - R i s k L o w - R i s k P A N E L : A P P ( I P ) L o w - R i s k L o w - R i s k E A C A T E G O R Y C F I R S T S T A G E R E V I E W F I R S T S T A G E R E V I E W : Page 2 P A N E L M E M B E R ( S ) S r i R a m A i y e r ; a n d P o u l E n g b e r g - P e d e r s e n O B S E R V E R N o n e M O D E R A T O R A m n o n G o l a n / P e r s o n / W o r l d B a n k S P E C I A L I Z E D R E V I E W E R S : 1 . P o v e r t y a n d S o c i a l B r u c e H a r r i s 2 . E n v i r o n m e n t C o l i n R e e s 3 . F M B r i a n F a l c o n e r O V E R A L L R A T I N G 1 A S S E S S M E N T D A T E 0 9 / 0 8 / 2 0 0 4 Page 3 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) S u m m a r y A s s e s s m e n t S h e e t C O U N T R Y : A l b a n i a P R O J E C T T I T L E : P U B A D M R E F A . O v e r a l l a s s e s s m e n t T h e p a n e l a s s e s s e s t h e s u p e r v i s i o n o f t h i s t a s k a s " H i g h l y S a t i s f a c t o r y " o v e r a l l ( 1 , u s i n g a s i x p o i n t s c a l e r a t i n g ) . T h i s i s a n e x t r e m e l y w e l l o r g a n i z e d a n d c o n s c i e n t i o u s c o n s i d e r a b l e k n o w l e d g e o f t h e c o u n t r y a n d t h e s e c t o r / p r o j e c t . T h e r e h a s a l s o b e e n a h i g h d e g r e e o f s t a f f c o n t i n u i t y . B u d g e t a l l o c a t i o n s w e r e a d e q u a t e , a n d t h e t e a m u s e s t a f f / e x p e r t i s e , w i t h o u t r e l i a n c e o n o u t s i d e c o n s u l t a n t s o r r e s o r t t o t r u s t f u n d s . T h e t e a m a l s o e x p l o i t e d s y n e r g y w i t h o t h e r p r o j e c t s a n d a c t i v i t i e s i n A l b a n i a t h r o u g h t h e r e s o l v e d s a t i s f a c t o r i l y . B . M a i n p r o b l e m s e n c o u n t e r e d ( w h e n d i d t h e y o c c u r , a n d w h a t w e r e t h e m a i n f a c t o r s g i v i n g r i s e t o t h e m ) T h e k e y p r o b l e m s w e r e : i ) S h i f t s i n g o v e r n m e n t c o m m i t m e n t , w h e n a c h a n g e i n P r i m e M i n i s t e r l e d t o d i l u t i o n o f t h e e a r l i e r c i v i l s e r v i c e l a w / r e g u l a t i o n s , a n d t h e p r o t e c t i o n s t h a t w e r e b u i l t i n f o i i ) S l o w i m p l e m e n t a t i o n p r o g r e s s w i t h c o n s e q u e n t d e l a y s i n d i s b u r s e m e n t s . i i i ) F r e q u e n t c h a n g e s i n g o v e r n m e n t M i n i s t e r s m a k i n g c o n t i n u i t y o f r e f o r m d i f f i c u l t . C . A p p r o p r i a t e n e s s a n d a d e q u a c y o f a c t i o n s t a k e n b y t h e B a n k t o r e s o l v e e x i s t i n g / p o t e n t i a l p r o b l e m s T h e t e a m m a d e v e r y e f f e c t i v e u s e o f t h e P R S C t o k e e p t h e p r e s s u r e u p o n t h e b o r r o w e r u n t i l t h e c i v i l s e r v i c e r e f o r m w a s b a c k o n t r a c k . I n t h i s p r o c e s s , a n e w c o n s t i t u e n 1 5 0 0 c i v i l s e r v a n t s ( i n a p u b l i c s e c t o r w o r k f o r c e o f 1 1 7 , 0 0 0 ) w e r e k e p t i n t h e l o o p s o t h a t t h e r e w a s i n t e r n a l p r e s s u r e a s w e l l . T h e t e a m a l s o r e s t r u c t u r e d t h e p r o j e c t t o b f o c u s o n t h e h i g h e s t p r i o r i t y p a r t , T r e a s u r y . I n t h e p r o c e s s i t m a d e s o u n d u s e o f f i e l d o f f i c e s t a f f t o i n t e r a c t w i t h t h e b o r r o w e r o n a c o n t i n u o u s b a s i s a n d t o s u s t a i n t h e a g i s s u e s , a g a i n u s i n g t h e l e v e r a g e o f t h e P R S C a n d r e l a t e d p r o j e c t s a s n e e d e d . F i n a l l y , t h e t e a m w o r k e d w e l l w i t h o t h e r k e y d o n o r s s u c h a s D F I D t o e n s u r e t h a t c o m p l e m e f u n d e d , w h e n t h e y r a n s h o r t o f r e s o u r c e s . D . A n y S y s t e m i c L e s s o n s L i n k i n g t e c h n i c a l a s s i s t a n c e l o a n s t o p o l i c y b a s e d o p e r a t i o n s i s a n e f f e c t i v e w a y o f e n s u r i n g t h a t l e s s g l a m o r o u s a c t i v i t i e s o f t h e T A g e t n e e d e d a t t e n t i o n a n d a r e p r o p e r i m p l e m e n t a t i o n r e q u i r e s t h a t B a n k s t a f f w o r k o u t s i d e t h e i r o w n " s e c t o r a l s i l o s " , a s i n A l b a n i a . Page 4 E . S u g g e s t i o n s t o t h e T a s k T e a m ( L i s t t w o o r t h r e e f a c t o r s t h a t w i l l r e q u i r e p a r t i c u l a r a t t e n t i o n i n t h e s h o r t / m e d i u m t e r m t o i m p r o v e t h e p r o s p e c t s f o r d e v e l o p m e n t o b j e c t i v e s a n d l o n g - t e r m s u s t a i n a b i l i t y ) . i ) G r e a t e r s e l e c t i v i t y i n t h e a m o u n t o f i n f o r m a t i o n p r e s e n t e d i n P S R s w o u l d p r o b a b l y i n c r e a s e t h e i r u t i l i t y f o r l i n e m a n a g e r s . i i ) G i v e n t h e e a r l y s t a g e o f i n s t i t u t i o n a l d e v e l o p m e n t i n A l b a n i a , i n o r d e r t o e n s u r e t h a t t h e a c t i v i t i e s s u p p o r t e d u n d e r t h i s p r o j e c t a r e s u s t a i n a b l e , i t i s e s s e n t i a l t h a t a f o c o u l d b e f r e e s t a n d i n g o r c o m b i n e d w i t h a n o t h e r a c t i v i t y , d e p e n d i n g o n C A S p r i o r i t i e s . R e j o i n d e r f r o m t h e R e g i o n Page 5 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) S u m m a r y A s s e s s m e n t S h e e t C O U N T R Y : A l b a n i a P R O J E C T T I T L E : P U B A D M R E F M a j o r I s s u e s I d e n t i f i e d R e c o m m e n d a t i o n f o r P a n e l S k i l l s Page 6 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) D e v e l o p m e n t O b j e c t i v e s ( P a r t A t o b e c o m p l e t e d b y t h e T a s k T e a m a n d P a r t B b y t h e R e v i e w P a n e l ) A . S t r a t e g i c o u t c o m e s a n d d e v e l o p m e n t o b j e c t i v e s ( D O s ) o u t l i n e d i n t h e p r o j e c t d o c u m e n t s o r s u b s e q u e n t c h a n g e s i . W h a t a r e t h e s t r a t e g i c o u t c o m e s i n t h e l a t e s t C A S t o w h i c h t h e p r o j e c t i s e x p e c t e d t o c o n t r i b u t e ? T h e c u r r e n t d r a f t C A S c i t e s s t a t e s a s t h e f i r s t o f i t s t h r e e o b j e c t i v e s : “ I m p r o v e g o v e r n a n c e a n d s t r e n g t h e n i n s t i t u t i o n s ” ( E x e c u t i v e S u m m i m p o r t a n c e o f g o v e r n a n c e a n d i n s t i t u t i o n b u i l d i n g ” a s a c o r n e r s t o n e t h e B a n k ’ s A s s i s t a n c e S t r a t e g y ( p a r a . 1 7 ) . i i . L i s t t h e p r o j e c t ’ s p r i m a r y D O s a n d t h e k e y i n d i c a t o r s u s e d t o m e a s u r e t h e i r a c h i e v e m e n t a t p r o j e c t c o m p l e t i o n . P l e a s e s e e t h e P S R s f o r t h i s i n f o r m a t i o n . D O ’ s w e r e r e v i s e d i n P S R 5 ( 6 / 2 6 / 2 0 0 2 ) , g i v i n g t h e m g r e a t e r s p e c i f i c i t y . T h e y a r e b a c k e d b y t e f f o r t b u i l t i n t o t h e P A R P r o j e c t . i i i . L i s t t h e i n t e r m e d i a t e i n d i c a t o r s u s e d t o m e a s u r e p r o g r e s s t o w a r d s a c h i e v i n g t h e p r o j e c t ’ s D O s . I b i d . P l e a s e s e e P S R 5 . N o m a t e r i a l c h a n g e s w e r e i n t r o d u c e d . O n l y g r e a t e r s p e c i f i c i t y . C o m m e n t s : ( P l e a s e e x p l a i n a n y m a t e r i a l c h a n g e s i n D O s s i n c e p r o j e c t s t a r t . ) Page 7 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) B . L i k e l i h o o d o f t h e o p e r a t i o n c o n t r i b u t i n g t o t h e C A S s t r a t e g i c o u t c o m e s a n d a c h i e v i n g t h e D O 1 ( P a n e l i s t s s h o u l d e v a l u a t e t h e s e t w o a s p e c t s a f t e r c o m s c a l e o f : L = L i k e l y ; N L = N o t l i k e l y ; U N = U n c e r t a i n ; o r N / A = N o t A p p l i c a b l e ) ( a ) W h a t i s t h e l i k e l i h o o d t h a t t h e o p e r a t i o n w i l l c o n t r i b u t e t o t h e C A S s t r a t e g i c o u t c o m e s ? ( P l e a s e c o m m e n t o n e a c h o f t h e s t r a t e g i c o u t c o m e s i d t a s k t e a m a n d a l s o o n t h e r o b u s t n e s s o f t h e u n d e r l y i n g b a s i s f o r t h e p a n e l j u d g m e n t s ) T h e p r o j e c t i s m a k i n g i m p o r t a n t c o n t r i b u t i o n s t o s t r e n g t h e n i n g t h e c i v i l s e r v i c e a n d t h e T r e a s u r y D e p a r t m e n t . ( b ) W h a t i s t h e l i k e l i h o o d t h a t t h e D O w i l l b e a c h i e v e d ? ( P l e a s e m a t c h t h e D O i d e n t i f i e d b y t h e T a s k T e a m w i t h t h e f o l l o w i n g c l a s s i f i c a i . P o v e r t y R e d u c t i o n i i . S t r u c t u r a l a n d S e c t o r P o l i c y R e f o r m i i i . P r i v a t e S e c t o r D e v e l o p m e n t i v . I n s t i t u t i o n a l D e v e l o p m e n t / C a p a c i t y B u i l d i n g v . H u m a n D e v e l o p m e n t 2 C o m m e n t s : v i . E n v i r o n m e n t a l S u s t a i n a b i l i t y v i i . I n f r a s t r u c t u r e D e v e l o p m e n t v i i i . O t h e r ( s p e c i f y ) i x . M a c r o e c o n o m i c M a n a g e m e n t C o m m e n t s : ( i n c l u d i n g r o b u s t n e s s o f u n d e r l y i n g b a s i s f o r t h e s e j u d g m e n t s ) T h i s p r o j e c t h a s h a d i m p r e s s i v e a c h i e v e m e n t s c o n s i d e r i n g t h e f l u c t u a t i o n s i n s u p p o r t o f t h e P r i m e M i n i s t e r . T h i s w a s h e l p e d b y t h e g o o d u s e m a d e s e r i o u s p r o b l e m s s u r f a c e d . C . S u s t a i n a b i l i t y : ( P a n e l ’ s j u d g m e n t o f t h e l i k e l i h o o d t h a t t h e o p e r a t i o n ’ s r e s u l t s w i l l b e s u s t a i n a b l e i n t h e l o n g e r - t e r m ) L i k e l y Page 8 C o m m e n t s : I t i s i m p o r t a n t t h a t t h e e f f o r t o f c a p a c i t y b u i l d i n g b e c o n t i n u e d , t h r o u g h a s t a n d a l o n e o r a n o t h e r k i n d o f l e n d i n g o p e r a t i o n . 1 E i t h e r a s o r i g i n a l l y s t a t e d , o r a s r e v i s e d i f t h e r e h a s b e e n B o a r d - a p p r o v e d r e s t r u c t u r i n g f o r e x o g e n o u s r e a s o n s . 2 S p e c i f y w h i c h o n e o f t h e f o u r f o l l o w i n g : ( i ) A c h i e v e U n i v e r s a l P r i m a r y E d u c a t i o n ; ( i i ) R e d u c e C h i l d M o r t a l i t y ; ( i i i ) I m p r o v e M a t e r n a l H e a l t h ; ( i v ) C o m b a t H I V / A I D S , M a l a r i a a n d D e v e l o p m e n t . Page 9 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E S u m m a r y A s s e s s m e n t S h e e t A s s e s s m e n t R a t i n g 1 = H i g h l y S a t i s f a c t o r y 2 = S a t i s f a c t o r y 3 = M o d e r a t e l y S a t i s f a c t o r y 4 = M o d e r a t e l y U n s a t i s f a c t o r y 5 = U n s a t i s f a c t o r y 6 = H i g h l y U n s a t i s f a c t o r y N A = N o t A p p l i c a b l e 1 . F o c u s o n D e v e l o p m e n t E f f e c t i v e n e s s 1 2 . S u p e r v i s i o n o f F i d u c i a r y / S a f e g u a r d A s p e c t s 2 3 . A d e q u a c y o f S u p e r v i s i o n I n p u t s a n d P r o c e s s e s 1 4 . C a n d o r a n d Q u a l i t y o f P r o j e c t P e r f o r m a n c e R a t i n g s 1 O V E R A L L A S S E S S M E N T 1 T h e o v e r a l l a s s e s s m e n t i s n o t a n a v e r a g e o f t h e a s s e s s m e n t s o f t h e c o n s t i t u e n t e l e m e n t s o f s u p e r v i s i o n . I n s t e a d , t h e p a n e l s h o u l d u s e i t s j u d g m e n t i n w e i g h i n g t h e r e l a t i v e i m p o r t a n c e o f c o n t e x t . I n m a k i n g t h e a s s e s s m e n t , t h e p a n e l s h o u l d c o n s i d e r t h e i m p o r t a n c e o f e a c h c a t e g o r y , a n d w i t h i n e a c h c a t e g o r y , t h e v a r i o u s q u e s t i o n s , t o s u p e r v i s i o n q u a l i t y . Page 10 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E C o n t e x t : A . W i t h t h e e x p e r i e n c e o f i m p l e m e n t i n g a n d s u p e r v i s i n g t h e p r o j e c t t o d a t e , a s f a r a s c a n b e r e a d i l y d e t e r m i n e d : ( a ) W a s p r o j e c t d e s i g n a t e n t r y s o u n d ? C o m m e n t s : T h i s l o a n / p r o j e c t l i k e o t h e r T A l o a n s , w a s s o m e w h a t c o m p l e x a n d a m b i t i o u s f o r t h e s t a g e o f i n s t i t u t i o n a l d e v e l o p m e n t i n A l b a n i a a t t h e t H o w e v e r , b e i n g a T A a c t i v i t y , i t i s d i f f i c u l t t o s e e h o w t h e c o m p o n e n t s c o u l d h a v e b e e n b r o k e n u p i n t o t w o l o a n s i n s u c c e s s i o n . ( b ) D i d t h e p r o j e c t h a v e a s o u n d r e s u l t s f r a m e w o r k a t e n t r y t o e n a b l e t r a c k i n g t h e o p e r a t i o n ’ s p r o g r e s s t o w a r d s m e e t i n g i t s D O s ? C o m m e n t s : T h e p r o j e c t h a d a g o o d a n d r e a l i s t i c r e s u l t s f r a m e w o r k , b u t t h e P A D d i d n o t s e t i t s e l f u p b y b e i n g e x c e s s i v e l y s p e c i f i c o r q u a n t i t a t i v e , r e l o n p r o g r e s s t r e n d s a n d d i r e c t i o n s w h e r e n e e d e d . ( c ) A r e t h e p r o j e c t ’ s a s s u m p t i o n s a b o u t r e a c h i n g t h e D O r e a l i s t i c i n t e r m s o f t h e p l a n n e d d u r a t i o n o f t h e p r o j e c t , t e c h n i c a l f e a s i b i l i t y a n d m a n a c a p a c i t i e s ? C o m m e n t s : G i v e n t h e u n c e r t a i n t i e s a s s o c i a t e d w i t h t h e i m p l e m e n t a t i o n o f m o s t T A , t h e a s s u m p t i o n s o f t h e c u r r e n t o p e r a t i o n w e r e r e a l i s t i c . ( d ) I s t h e B o r r o w e r c o m m i t t e d t o t h e P r o j e c t ? C o m m e n t s : T h e c o m m i t m e n t w a s h i g h u n d e r a p r e v i o u s A d m i n i s t r a t i o n a n d c h a n g e d w i t h P M s , b u t t h e t e a m m a d e g o o d u s e o f t h e l i n k a g e o f t h e T A P R S C t o s u s t a i n c o m m i t m e n t t o a c c o m p l i s h t h e p r o j e c t u n d e r t a k i n g s . ( e ) W a s t h e p r o j e c t r e a d y f o r i m p l e m e n t a t i o n a t a p p r o v a l ? C o m m e n t s : Y e s , a n d l i k e m o s t o t h e r T A o p e r a t i o n s i t f a c e d s l o w d i s b u r s e m e n t s i n i n i t i a l y e a r s , n o t s u r p r i s i n g g i v e n A l b a n i a ' s u n f a m i l i a r i t y w i t h B a n p r o c e d u r e s . ( f ) W a s o v e r a l l i m p l e m e n t a t i o n p e r f o r m a n c e s a t i s f a c t o r y p r i o r t o F Y 0 3 ? C o m m e n t s : A t o n e s t a g e w h e n d i s b u r s e m e n t s w e r e s l o w , e v e n t h o u g h o t h e r i n s t i t u t i o n a l e l e m e n t s w e r e p r o g r e s s i n g w e l l , t h e I P w a s r a t e d U - i n a g r e e m t h e P I U l e a d e r . Page 11 ( g ) C o u l d t h e p r o b l e m s e n c o u n t e r e d d u r i n g i m p l e m e n t a t i o n h a v e b e e n i d e n t i f i e d a t e n t r y ? C o m m e n t s : F o r a T A s l o w d i s b u r s e m e n t s s e e m a l m o s t i n h e r e n t . T h e t e a m f o r e s a w r i s k s v e r y c l e a r l y a n d w e r e e x p l i c i t a b o u t t h e m i n t h e P A D , b u t t h e l i t t l e t h a t t h e y c o u l d h a v e d o n e a b o u t t h e d i s b u r s e m e n t i s s u e a t t h e t i m e . ( h ) W e r e t h e r e a n y m a j o r c h a n g e s p r i o r t o F Y 0 3 ( t h r o u g h r e s t r u c t u r i n g a n d / o r M T R ) ? C o m m e n t s : T h e p r o j e c t w a s r e s t r u c t u r e d a n d f u n d s w e r e r e a l l o c a t e d t o t h e T r e a s u r y c o m p o n e n t , w h i c h n e e d e d m o r e h a r d w a r e f o r a u t o m a t i n g f i n a n c i a m a n a g e m e n t i n f o r m a t i o n . T h e D O r e m a i n e d u n c h a n g e d . Page 12 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E C o n t e x t : B . C o m p l i a n c e w i t h s a f e g u a r d p o l i c i e s ( a ) P l e a s e m a r k b e l o w t h e a p p l i c a b i l i t y o f a n d c o m p l i a n c e w i t h s a f e g u a r d p o l i c i e s : P o l i c y A p p l i c a b i l i t y C o m p l i a n c e i . E n v i r o n m e n t a l A s s e s s m e n t ( O P 4 . 0 1 ) N o N A i i . N a t u r a l H a b i t a t s ( O P 4 . 0 4 ) N o N A i i i . F o r e s t r y ( O P 4 . 3 6 ) N o N A i v . P e s t M a n a g e m e n t ( O P 4 . 0 9 ) N o N A v . C u l t u r a l P r o p e r t y ( O P N 1 1 . 0 3 ) N o N A v i . I n d i g e n o u s P e o p l e s ( O D 4 . 2 0 ) N o N A v i i . I n v o l u n t a r y R e s e t t l e m e n t ( O P 4 . 3 0 ) N o N A v i i i . S a f e t y o f D a m s ( O P 4 . 3 7 ) N o N A i x . P r o j e c t s o n I n t e r n a t i o n a l W a t e r w a y s ( O P 7 . 5 0 ) N o N A x . P r o j e c t s i n D i s p u t e d A r e a s ( O P 7 . 6 0 ) N o N A ( b ) W e r e t h e r e a n y c o m p l i a n c e i s s u e s , i n c l u d i n g t h o s e o c c u r r i n g p r i o r t o F Y 0 3 ? i ) E n v i r o n m e n t N o C o m m e n t s : i i ) S o c i a l D e v e l o p m e n t N o C o m m e n t s : ( c ) I f t h e a n s w e r t o b ( i ) o r b ( i i ) i s Y e s , w e r e a p p r o p r i a t e m e a s u r e s t a k e n t o m i t i g a t e s a f e g u a r d a s p e c t s t h a t c o u l d h a v e h a d a d v e r s e i m p a c t s ? Page 13 i ) E n v i r o n m e n t N A C o m m e n t s ( e x p l a i n b r i e f l y t h e a d e q u a c y o f m i t i g a t i n g m e a s u r e s a n d i n d i c a t o r s / b e n c h m a r k s u s e d t o m o n i t o r p r o g r e s s ? ) : i i ) S o c i a l D e v e l o p m e n t N A C o m m e n t s ( e x p l a i n b r i e f l y t h e a d e q u a c y o f m i t i g a t i n g m e a s u r e s a n d i n d i c a t o r s / b e n c h m a r k s u s e d t o m o n i t o r p r o g r e s s ? ) : C . I n l i g h t o f a n s w e r s t o q u e s t i o n s u n d e r A a n d B , w h a t s h o u l d h a v e b e e n t h e s u p e r v i s i o n s t r a t e g y / f o c u s d u r i n g F Y 0 3 - 0 4 ? T h e p r i o r i t y w a s t o s u s t a i n g o v e r n m e n t c o m m i t m e n t , a n d g e n e r a l l y s u s t a i n t h e p a c e o f i m p l e m e n t a t i o n a n d d i s b u r s e m e n t s . Page 14 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E A s s e s s m e n t R a t i n g 1 = H i g h l y S a t i s f a c t o r y 2 = S a t i s f a c t o r y 3 = M o d e r a t e l y S a t i s f a c t o r y 4 = M o d e r a t e l y U n s a t i s f a c t o r y 5 = U n s a t i s f a c t o r y 6 = H i g h l y U n s a t i s f a c t o r y N A = N o t A p p l i c a b l e 1 . F o c u s o n D e v e l o p m e n t E f f e c t i v e n e s s W i t h t h e e x p e r i e n c e o f s u p e r v i s i n g t h e p r o j e c t d u r i n g F Y 0 3 - 0 4 , a s s e s s t h e q u a l i t y o f B a n k p e r f o r m a n c e f o r : 1 . 1 I d e n t i f i c a t i o n a n d A s s e s s m e n t o f P r o b l e m s a ) T i m e l y i d e n t i f i c a t i o n a n d a s s e s s m e n t o f i m p l e m e n t a t i o n p r o b l e m s ? b ) T i m e l y i d e n t i f i c a t i o n a n d a s s e s s m e n t o f p o s s i b l e t h r e a t s t o D O ? C o m m e n t s : T h e t e a m w a s e x t r e m e l y w a t c h f u l a n d f o l l o w e d c l o s e l y t h e p o l i t i c a l c h a n g e s t h a t c o u l d a f f e c t t h e D O s . I t t o o k p r o m p t a n d a p p r o p r i a t e a c t i o n w h e n t h i s h a p p e n e d . 1 . 2 F o c u s o n S u s t a i n a b i l i t y a ) B o r r o w e r a n d S t a k e h o l d e r O w n e r s h i p b ) T e c h n i c a l A s s i s t a n c e , T r a i n i n g a n d C a p a c i t y B u i l d i n g c ) R e a d i n e s s f o r O p e r a t i o n a l P h a s e ( i n c l u d i n g f i n a n c i n g ) C o m m e n t s : T h e p r o j e c t h a s h a d s t r o n g o w n e r s h i p o f t h e b o r r o w e r , e x c e p t w h e n t h e P M c h a n g e d , b u t i t h a s d e v e l o p e d a n e w c o n s t i t u e n c y o f c i v i l s e r v a n t s , w h o w o r k e d t o s a f e g u a r d t h e l a w s p r o t e c t i n g t h e m f r o m u n d u e p o l i t i c a l i n t e r v e n t i o n . T h r o u g h o u t t h e r e v i e w p e r i o d t h e t e a m w o r k e d h a r d t o p r o m o t e o w n e r s h i p a n d t o e n s u r e t i m e l y i m p l e m e n t a t i o n o f t h e t r a i n i n g a n d c a p a c i t y b u i l d i n g e f f o r t s . I t a l s o w o r k e d c l o s e l y a n d h a r m o n i o u s l y w i t h t h e P I U , w h i c h i s w i t h i n t h e G o v e r n m e n t ' s a d m i n i s t r a t i v e s t r u c t u r e , t o e n s u r e t h a t i t w i l l b e a b l e t o s u s t a i n t h e p r o j e c t ' s a c h i e v e m e n t s a f t e r t h e c r e d i t i s c l o s e d . 1 . 3 A c t i o n s T a k e n a n d F o l l o w - U p Page 15 a ) A p p r o p r i a t e n e s s o f A d v i c e a n d P r o p o s e d S o l u t i o n s t o t h e B o r r o w e r ( i n c l u d i n g A c t i o n P l a n ) b ) A p p r o p r i a t e n e s s a n d S p e e d o f B a n k f o l l o w - u p a c t i o n ( i n c l u d i n g e . g . , c a n c e l l a t i o n s , s u s p e n s i o n s ) c ) I m p a c t a n d e f f e c t i v e n e s s o f B a n k a c t i o n s ( i n c l u d i n g r i s k m a n a g e m e n t ) d ) Q u a l i t y o f M i d - T e r m - R e v i e w ( i f i t t o o k p l a c e d u r i n g F Y 0 3 - F Y 0 4 ) e ) Q u a l i t y o f R e s t r u c t u r i n g P l a n ( i f i t t o o k p l a c e d u r i n g F Y 0 3 - F Y 0 4 ) C o m m e n t s : T h e t e a m h a s s t a y e d o n t o p o f i m p l e m e n t a t i o n i s s u e s a n d p r o v i d e d p r o m p t a d v i c e o n e m e r g i n g i s s u e s . B e s i d e s r e s t r u c t u r i n g t h e p r o j e c t , t h e t e a m a l s o m a n a g e d r i s k s w e l l , b y l i n k i n g t h e o p e r a t i o n w i t h t h e P R S C a n d o t h e r a c t i v i t i e s , w h i c h i n t u r n k e p t t h e p r o j e c t f r o m g o i n g o f f t r a c k . 1 . 4 P e r f o r m a n c e M o n i t o r i n g a ) E x t e n t t o w h i c h t h e t a s k t e a m m a d e u s e o f t h e k e y i n d i c a t o r s t o a s s e s s t h e p r o j e c t ’ s p e r f o r m a n c e , a s r e p o r t e d i n t h e P S R . b ) E x t e n t t o w h i c h t h e i n d i c a t o r s ( b o t h q u a n t i t a t i v e a n d q u a l i t a t i v e ) h a v e b e e n u s e d t o i d e n t i f y a n d a d d r e s s p o t e n t i a l o b s t a c l e s t o t h e a c h i e v e m e n t o f t h e D O ( a t t e n t i o n t o o u t c o m e s ) C o m m e n t s : T h e t e a m i s t o b e c o m m e n d e d f o r p r o v i d i n g a g o o d r e c o r d o f i m p l e m e n t a t i o n a c t i v i t i e s i n t h e P S R s a n d A i d e M e m o i r e s l e f t w i t h t h e g o v e r n m e n t . H o w e v e r , s o m e t i m e s t h e r e s e e m s t o b e a n u n d u e l e v e l o f d e t a i l e v e n f o r t h e t e a m ' s o w n u s e . T h e r e c o r d w o u l d b e m o r e e f f e c t i v e i f i t w e r e a l i t t l e m o r e s e l e c t i v e i n i n f o r m a t i o n p r e s e n t e d . 1 . 5 E f f e c t i v e u s e o f t h e C P P R o r o t h e r v e n u e s f o r p o r t f o l i o r e v i e w w i t h t h e b o r r o w e r t o r e s o l v e p r o b l e m s a f f e c t i n g t h e p r o j e c t , i n c l u d i n g c r o s s - s e c t o r a l i s s u e s ( e . g . g o v e r n a n c e , t r a n s p a r e n c y ) . C o m m e n t s : T h e l a s t C P P R w a s i n A p r i l 2 0 0 2 . T h e r e w e r e n o p r o j e c t i s s u e s r e q u i r i n g a t t e n t i o n a t t h a t t i m e . P o l i c y a s p e c t s i n c l u d i n g t h o s e s u p p o r t e d b y t h e p r o j e c t w e r e d e a l t w i t h t h r o u g h t h e d i a l o g o n t h e P R S C , w h i c h o c c u r s w i t h s e n i o r o f f i c i a l s . Page 16 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E 2 . S u p e r v i s i o n o f F i d u c i a r y / S a f e g u a r d A s p e c t s W i t h t h e e x p e r i e n c e o f s u p e r v i s i n g t h e p r o j e c t d u r i n g F Y 0 3 - 0 4 , a s s e s s t h e a d e q u a c y o f s u p e r v i s i o n o f : 2 . 1 P r o c u r e m e n t e . g . , P o s t r e v i e w s , q u a l i t y a n d t i m e l i n e s s o f a d v i c e a n d f o l l o w - u p a c t i o n C o m m e n t s : T h e l i m i t e d n u m b e r o f p r o c u r e m e n t a c t i v i t i e s w e r e h a n d l e d c o m p e t e n t l y . 2 . 2 F i n a n c i a l M a n a g e m e n t e . g . , A c c o u n t i n g / a u d i t i n g ; f i n a n c i a l i n f o r m a t i o n ( e . g . , P M R s ) , S p e c i a l A c c o u n t R e v i e w s , S O E p r o c e s s e s C o m m e n t s : F M s u p p o r t t o t w o s u p e r v i s i o n m i s s i o n i n F Y 0 4 w a s p r o v i d e d b y t h e C o u n t r y O f f i c e , t h o u g h t h e r e i s n o s e p a r a t e F M r e p o r t o r m e n t i o n o m a t t e r s i n t h e A M ( t h e p a n e l s u g g e s t s t h a t t h i s s h o u l d b e d o n e o n a r e g u l a r b a s i s ) . A u d i t r e p o r t o f t h e D e c e m b e r 2 0 0 3 a c c o u n t s , i n c l u d i n g S O E a n d S w e r e r e c e i v e d o n t i m e a n d t h e a u d i t o p i n i o n s a r e c l e a n a n d c u r r e n t i s s u e s r a i s e d a r e n o t s u b s t a n t i v e . A l t h o u g h t h e F M s p e c i a l i s t i s n o t a l w a y s m a k i n g v i s i t s , c l o s e c o n t a c t w a s m a i n t a i n e d w i t h P I U a c c o u n t a n t , l o c a l l y b a s e d p r o j e c t o f f i c e r a n d t a s k t e a m . 2 . 3 L e g a l A s p e c t s e . g . , L e g a l c o m p l i a n c e ; r e l e v a n c e o f l e g a l c o v e n a n t s ; c l a r i t y / t i m e l i n e s s o f a d v i c e C o m m e n t s : 2 . 4 E n v i r o n m e n t a l A s p e c t s e . g . , E n v i r o n m e n t a l i m p a c t , s a f e g u a r d c o m p l i a n c e C o m m e n t s : 2 . 5 S o c i a l A s p e c t e . g . , S o c i a l i m p a c t , s a f e g u a r d c o m p l i a n c e C o m m e n t s : S o c i a l d e v e l o p m e n t o b j e c t i v e s a r e c l e a r l y l o n g t e r m g o a l s t h a t w i l l n o t b e r e a l i z e d i n t h e t i m e f r a m e o f t h e p r o j e c t , b u t t h e t a s k t e a m h a s d g o o d j o b o f e n s u r i n g c o n t i n u e d o w n e r s h i p o f t h e p r o j e c t ( i n a d i f f i c u l t , s o m e t i m e s s u s p i c i o u s a n d o f t e n c o n t e n t i o u s e n v i r o n m e n t ) , w h i c h i s a k e y t o l o p r o g r e s s . D u r i n g s u p e r v i s i o n t h e t e a m h a s e f f e c t i v e l y l i n k e d t h e a i m s o f t h e p r o j e c t t o t h e P R S P a n d P R S C p r o c e s s e s a n d h e l p e d t o m a i n t a i n s o l i d p r i n m a k i n g t h e b u d g e t p r o c e s s m o r e t r a n s p a r e n t a n d a c c o u n t a b l e , a n o t h e r k e y t o e f f e c t i v e d e l i v e r y o f s e r v i c e s . S p e c i f i c a t t e n t i o n h a s b e e n p a i d t o i m p s a l a r i e s a m o n g k e y s e r v i c e p e r s o n n e l , i n c l u d i n g h e a l t h c a r e w o r k e r s a n d t e a c h e r s , l e a d i n g t o g r e a t e r j o b s a t i s f a c t i o n , i m p r o v e d p e r f o r m a n c e a n d i n c r e i n t e r e s t i n c i v i l s e r v i c e c a r e e r s . P r o g r e s s i n e m p l o y m e n t c o n d i t i o n s , r e c r u i t m e n t p r o c e s s e s / p o l i c i e s , a n d e f f e c t i v e h u m a n r e s o u r c e m a n a g e m e n t w e r e c o n s i s t e n t l y m o n i t o r e d . Page 17 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E 3 . A d e q u a c y o f S u p e r v i s i o n I n p u t s a n d P r o c e s s e s W i t h t h e e x p e r i e n c e o f s u p e r v i s i n g t h e p r o j e c t d u r i n g F Y 0 3 - 0 4 , a s s e s s t h e q u a l i t y o f B a n k i n p u t s a n d p r o c e s s e s : 3 . 1 S t a f f i n g a ) S t a f f C o n t i n u i t y b ) S u p e r v i s i o n S k i l l M i x c ) D e g r e e o f C o u n t r y O f f i c e I n v o l v e m e n t a n d C o n t r i b u t i o n C o m m e n t s : T h e s a m e T T L h a s b e e n f o l l o w i n g t h e p r o j e c t f o r s e v e r a l y e a r s , a n d t h e s k i l l m i x o f t h e t e a m i s b r o a d a n d o f h i g h q u a l i t y . T h e f i e l d o f f i c a l s o h i g h l y d i l i g e n t , a n d s e e m s t o w o r k s e a m l e s s l y w i t h t h i s t e a m ( a n d o t h e r s ) i n a t w o w a y p r o c e s s . 3 . 2 S u p e r v i s i o n A c t i v i t i e s a ) M i s s i o n P r e p a r a t i o n / T O R s , m i s s i o n f r e q u e n c y a n d t i m e s p e n t i n t h e f i e l d b ) Q u a l i t y o f i n t e r a c t i o n w i t h B o r r o w e r o u t s i d e o f f o r m a l m i s s i o n s C o m m e n t s : T h e t e a m h a s b e e n v e r y c o n s c i e n t i o u s o f i t s r e s p o n s i b i l i t i e s i n p r e p a r i n g f o r m i s s i o n s , a n d i n t h e d i s c u s s i o n s i n t h e f i e l d w i t h b o r r o w e r s , r e p r e s e n t a t i v e s a n d o t h e r s t a k e h o l d e r s . T h i s c o u l d b e a g o o d p r a c t i c e e x a m p l e . T h e f o l l o w u p o u t s i d e o f m i s s i o n s s e e m s c o n t i n u o u s f r o m t h e f i e l d o s t a f f ( s e e 3 . 1 ) , w h i c h h a s t h e g o o d f o r t u n e o f w o r k i n g w i t h a n e x c e l l e n t P I U . 3 . 3 Q u a l i t y o f S u p e r v i s i o n D o c u m e n t a t i o n a n d F o l l o w - u p ( A i d e - m e m o i r e a n d f o l l o w - u p l e t t e r s w e l l o r g a n i z e d , f o c u s e d o n k e y i s s u e s a n d s o l u t i o C o m m e n t s : T h e t e a m h a s s p a r e d n o e f f o r t i n r e c o r d i n g f o r t h e g o v e r n m e n t a n d t h e B a n k t h e d e t a i l s o f i m p l e m e n t a t i o n a c t i v i t i e s , d i s c u s s i o n s h e l d , u n d e r s t a n d i n g s r e a c h e d , t i m e l i n e s s f o r r e s o l v i n g i s s u e s , e t c . 3 . 4 E f f e c t i v e n e s s o f R e l a t i o n s h i p s a ) W i t h t h e B o r r o w e r b ) W i t h d o n o r s a n d o t h e r s t a k e h o l d e r s C o m m e n t s : T h e t e a m s e e m s t o h a v e w o r k e d m o s t e f f e c t i v e l y i n k e e p i n g d o n o r s i n t h e p i c t u r e a b o u t t h e p r o j e c t , a n d k e e p i n g i t s e l f i n f o r m e d o f r e l a t e d a c t i v i t i e s , w i t h t h e r e s u l t t h a t a l l d o n o r r e s o u r c e s h a v e b e e n u s e d e f f e c t i v e l y i n s u p p o r t o f i n s t i t u t i o n b u i l d i n g , n o t a b l y f r o m D F I D b u t a l s o E U , t h a n k c o o r d i n a t i o n . Page 18 3 . 5 M a n a g e m e n t I n p u t s a ) A d e q u a c y a n d s p e e d o f m a n a g e m e n t a t t e n t i o n a n d a c t i o n s i ) M i s s i o n ’ s s t r a t e g i c f o c u s a n d p r o b l e m s o l v i n g i i ) M i s s i o n s d e b r i e f i n g i i i ) P S R a n d p o s t - m i s s i o n f o l l o w - u p ? C o m m e n t s : W i t h a n e x p e r i e n c e d T T L , t h e d e m a n d s o n m a n a g e m e n t s e e m t o h a v e b e e n l i g h t , a l t h o u g h t h e T T L k n e w w h e n t o s e e k a d v i c e , a n d w h e n t h i s w a s d o n e , m a n a g e r s s e e m t o h a v e a l w a y s b e e n f o r t h c o m i n g . b ) A d e q u a c y o f s u p e r v i s i o n b u d g e t ( i n c l u d i n g l e v e r a g i n g w i t h o t h e r t a s k s , d o n o r s ) A b o u t E n o u g h C o m m e n t s : R e s o u r c e s w e r e p r o v i d e d a s n e e d e d . ( c ) E f f e c t i v e n e s s o f B u d g e t U s e ( i n c l u d i n g u s e o f T F s ) C o m m e n t s : T h e t e a m d i d w e l l t o u s e B a n k s t a f f a s f a r a s p o s s i b l e , w i t h l i t t l e r e l i a n c e o n o u t s i d e c o n s u l t a n t s . Page 19 Q U A L I T Y O F S U P E R V I S I O N A S S E S S M E N T ( Q S A 6 ) G U I D A N C E Q U E S T I O N N A I R E 4 . C a n d o r a n d Q u a l i t y o f P r o j e c t P e r f o r m a n c e R e p o r t i n g ( F Y 0 3 - 0 4 ) 4 . 1 A c c u r a c y o f t h e r a t i n g s f o r D O , I P a n d o v e r a l l r i s k ? C o m m e n t s : I n F Y 0 2 w h e n t h e I P w a s c h a n g e d f r o m S t o U , t h e r e w a s c o n s i d e r a b l e e v i d e n c e o f t h o u g h t f u l d i s c u s s i o n a n d e x p l a n a t i o n s g i v e n . E v e n P I U w a s d i s a p p o i n t e d a t t h e d o w n g r a d e , i t w a s p e r s u a d e d t o a c c e p t i t a n d t o k e e p p r e s s u r e o n g o v e r n m e n t t o s p e e d u p d i s b u r s e m e n t s . T h i s w a s a g r a t i n g s . 4 . 2 A d e q u a t e e x p l a n a t i o n o f D O , I P a n d r i s k r a t i n g s a n d o f a n y c h a n g e i n r a t i n g s ? C o m m e n t s : T h e t e a m h a s s p e n t c o n s i d e r a b l e a m o u n t s o f t i m e p r o v i d i n g d e t a i l e d i n f o r m a t i o n a n d e x p l a n a t i o n s u n d e r e a c h c o m p o n e n t i n P S R s . T h e r i n f o r m a t i o n t h a t i t c o u l d b e d i f f i c u l t f o r m a n a g e r s t o f o l l o w , a n d s o m e b r e v i t y m a y h a v e r e w a r d s i n t e r m s o f u t i l i t y t o m a n a g e r s . 4 . 3 A c c u r a c y o f s u b r a t i n g s a n d t h e i r c o n s i s t e n c y w i t h o v e r a l l D O , I P a n d r i s k r a t i n g ? C o m m e n t s : V e r y g o o d ; p a n e l a g r e e s w i t h a l l r a t i n g s . 4 . 4 E f f e c t i v e u s e o f K e y P e r f o r m a n c e I n d i c a t o r s , a c t u a l v s . t a r g e t , i n P S R s t o s u p p o r t e x p l a n a t i o n i n 4 . 2 a b o v e ? C o m m e n t s : T h e t e a m h a s m a d e g o o d u s e o f i n d i c a t o r s , a n d t h e P I U i s n o w w o r k i n g o n a l i s t o f f e w e r b u t m o s t p r i o r i t y i n d i c a t o r s f o r f u t u r e u s e . Page 20