Évaluation Finale du programme multisectoriel IAPF at Concern Worldwide

1. Le but de l’évaluation

   Selon les protocoles de CONCERN, tous les programmes ou projets de plus de deux ans sont sanctionnés par une évaluation finale. Cependant le type d’évaluation dépend de la portée, la couverture et du budget du programme ainsi que des exigences du bailleur en la matière. L’évaluation du programme « Renforcement de la résilience des communautés aux chocs et aux stress dans la préfecture de Ombella M’Poko et la Lobaye en République centrafricaine », financé par Irish Aid*,* s’aligne à ce même ordre d’idée. Comme toute évaluation, cette dernière a pour but d’une part de rendre compte au bailleur sur les réalisations, les résultats et les impacts à court terme du programme dans la vie des bénéficiaires et dans les communautés cibles tenant compte des six critères d’évaluation. D’autre part elle sera utilisée comme une base de données d’apprentissage pour guider le développement des nouveaux programmes similaires dans le contexte de RCA. En tant qu’une institution apprenante CONCERN veut utiliser les apprentissages du passé pour améliorer la performance et la qualité de ses interventions. Le rapport de cette évaluation sera partagé aux parties prenantes et aux partenaires intervenant dans les mêmes champs d’intervention. Les bonnes pratiques, leçons apprises, recommandations seront insérées dans un outil appelé « outil d’apprentissage » pour une prise en compte effective à l’avenir.

2. Description du Contexte

Le programme est implémenté en République Centrafricaine, dans les deux préfectures Ombella M’Poko et la Lobaye regroupant les sous-préfectures de Bossembele, Yaloke et Boganagonne. Cette zone, comme la plupart des autres zones du pays, est souvent affectée par des crises sécuritaires qui se succèdent, ce qui n’est pas sans incidence sur l’implémentation des interventions de CONCERN dans cette région.

Suivant plusieurs années de stabilité, en 2021, la situation sécuritaire dans la préfecture de l’Ombella M’Poko a été très volatile. Une détérioration importante a abouti à une crise en décembre 2020 – janvier 2021. Cette insécurité était liée aux élections présidentielles et législatives du 27 décembre 2020. Des groupes armés ont formé un collectif connu sous le nom de Coalition des patriotes pour le changement (CPC) et ont pris le contrôle de grandes parties du territoire contrôlé par l’État dans l’Ouest.

Le niveau élevé d’insécurité depuis décembre 2020 a déstabilisé les zones d’intervention du programme de Irish Aid. La CPC a pris Bossembélé le 18 décembre 2020. Cependant, la base de CONCERN a été préalablement évacuée de tout son personnel et les activités de terrain ont été suspendues. En janvier 2021, la ville a été reprise par les Forces armées centrafricaines (FACA) et leurs alliés. De multiples évaluations sécuritaires et programmatiques ont été menées par CONCERN de février à juin 2021 afin de rouvrir les axes d’intervention (routes). Les activités de CONCERN sur le terrain ont repris en avril, les équipes du programme faisant des efforts importants pour compenser les retards inévitables dans la mise en œuvre des activités.

Les affrontements entre acteurs armés ont entraîné des mouvements massifs de population. D’importants pillages ont eu lieu, notamment sur la base de CONCERN à Bossembélé, les centres de santé et les réserves alimentaires et biens des communautés rurales. Le principal corridor d’approvisionnement du pays entre le Cameroun et Bangui ayant été affecté par les affrontements, la nourriture et les produits de première nécessité se sont raréfiés, et les prix ont augmenté, accroissant la vulnérabilité des communautés. En lien avec le conflit, une augmentation de la violence basée sur le genre (VBG), et en particulier des cas de violence sexuelle, a été observée en RCA.

Par ailleurs, en 2021, les activités du programme ont été à nouveau impactées par la pandémie de COVID-19. En avril 2021, l’impact d’une épidémie de rougeole a été atténué grâce à une campagne de vaccination menée par le département du district

Grace aux efforts de toutes les équipes, la base est entièrement réapprovisionnée et opérationnelle mars 2021. Tout au long de cette période, l’équipe de CONCERN a suivi de près la situation sécuritaire et a travaillé pour assurer un accès humanitaire sûr pour les équipes en coordination avec les autres organisations. En effet, l’accès était le principal impact sur les activités. Une fois la route principale dégagée pour les déplacements sur le terrain, l’attention s’est portée sur la réhabilitation de la base. Les activités ont commencé à être relancées en mai 2021, mais avec de multiples activités nécessitant un suivi, des évaluations et des paiements importants (incitations pour les agents de santé communautaires par exemple). Depuis la reprise graduelle des activités en mars 2021, le contexte sécuritaire est relativement stable mais reste assez volatile. Des évaluations sécuritaires sont réalisées continuellement et systématiquement sur les axes d’intervention afin de garantir un niveau de securit maximal des staffs.

1. Description de l’objet de l’évaluationLe programme « Renforcement de la résilience des communautés aux chocs et aux stress dans la préfecture de Ombella M’Poko et la Lobaye en République centrafricaine » est une intervention multisectorielle de 5 ans (2017-2021) et une extension du fait de la pandémie Covid-19 (fin du programme repoussé à décembre 2022) financée par le peuple Irlandais (Irish Aid). Ce programme, visant à réduire la vulnérabilité des communautés cibles face aux chocs et stress identifiés, est structuré autour de trois principaux secteurs : Santé, Nutrition et Wash, Sécurité Alimentaire & Moyens d’Existence (FSL) et Conflits, Genre & Réduction des Risques de Catastrophes (CGDRR). Le programme a appuyé les populations de trois sous-préfectures : Bossembele et Yaloké dans la préfecture Ombella M’poko et Boganangone dans la préfecture Lobaye. Sur le plan sanitaire un appui global a été apporté aux systèmes de santé de 13 structures sanitaires qui ont été appuyés en matériels et en renforcement de capacité du personnel permettant à 15000 ménages d’avoir accès à une meilleure qualité des soins de santé, des services nutritionnels et un accès aux infrastructures Wash (points d’eaux, latrine et incinérateur). Aussi 10000 ménages ont été soutenus à travers le volet de moyens d’existence et les populations de 20 villages (114,000 environ) ont été soutenues par le programme en vue de réduire leur vulnérabilité et se sentir mieux préparer face à d’éventuels chocs comme conflits, inondation et épidémies. En novembre 2019, une évaluation à mi-parcours avait été réalisée, laquelle a permis d’évaluer l’état d’avancement du programme tout en faisant des propositions et recommandations. Le programme touche à sa fin en décembre 2022 à la suite d’une prolongation de 12 mois dues aux suspensionse occasionnées par l’épidémie de Covid-19 et sera évalué. Par rapport à l’ampleur, la portée ou la couverture et la durée de ce programme multisectoriel une évaluation finale externe a été priorisée. Cette dernière portera sur la performance du projet dans les zones d’intervention, ses incidences sur les bénéficiaires directs et/ou indirects et permettra de collecter des apprentissages objectifs pouvant guider les futurs programmes de CONCERN dans les préfectures de Ombella M’Poko et Lobaye. Cette évaluation s’étendra sur une période de deux mois entre avril et juin et sera menée par un.e consultant.e individuel.le ou une firme de consultation selon les procédures en vigueur chez CONCERN.
2. Objectifs et champ d’application de l’évaluation

Cette évaluation finale se basera sur les critères DAC et rentre dans le cadre normal du cycle de projet chez CONCERN. Elle vise les principaux objectifs suivants :

· Evaluer dans quelle mesure le programme multisectoriel (IAPF 2017-2022) en cours a atteint les résultats escomptés

· Mesurer l’impact à court, moyen et long terme de ce programme sur les bénéficiaires, les non bénéficiaires et sur les communautés cibles et sur les autres parties prenantes;

· Evaluer le niveau de pérennité/durabilité des mécanismes mis en place ;

· Evaluer le programme selon les six critères d’évaluation et de notation: Pertinence, Cohérence, Efficacité, Efficience, Impact et Durabilité l’efficacité/efficience ;

· Evaluer et documenter la prise en compte des aspects transversaux dans le cadre du programme : Genre/Égalité ; Sensibilité aux conflits ; Protection ; La Réduction des Risques de Catastrophe, Adaptation au changement climatique ; Partenariats ;

· Générer un ensemble de connaissances sur les meilleures pratiques et les leçons apprises et produire des recommandations qui pourront servir à d’autres interventions similaires et à d’autres acteurs intervenant dans le domaine ou dans le même contexte.

1. Questions utilisées pour l’évaluation

Les questions en matière d’évaluation doivent être basées sur les critères DAC de pertinence, cohérence, efficience, efficacité, impact et durabilité. Le/La consultant.e présentera un plan d’analyse dans lequel il expliquera clairement la méthodologie de collecte, de traitement et d’analyse des données ainsi que les types d’analyse qui seront faits. Ces analyses devront permettre de répondre aux questions en matière d’évaluation. Les bases de ces questions sont les suivantes, et pourront être complétées par le/a consultant.e. De plus, une évaluation de la performance de chacun de ces critères sera faite selon la grille de notation de CONCERN.

Pertinence

• Une analyse contextuelle appropriée a-t-elle été effectuée pour éclairer la conception du programme, qui reposait sur la compréhension des préoccupations de l’extrême pauvreté ?
• Y avait-il eu de changement au niveau du contexte dans lequel le programme évolue ? Si oui, est-ce qu’il y a eu des adaptations au programme par rapport à cela ?
• La théorie du changement, a-t-elle été adaptée ou révisée ou actualisée au cours de l’exécution du programme
• Dans quelle mesure les interventions choisies et la conception du programme étaient-elles adaptées à la situation et aux besoins des différentes parties prenantes à différents niveaux (micro méso et macro, et compte tenu des besoins des hommes, des femmes et des autres personnes identifiées comme vulnérables aux aléas dans la zone du programme)?
• Quel a été le niveau de participation des bénéficiaires et des non-bénéficiaires du programme/projet ou de la communauté en général ?

Cohérence

• Le programme et les résultats associés étaient-ils pertinents, appropriés et stratégiques au regard des objectifs nationaux et aux politiques et directives de CONCERN ?
• Le programme a-t-elle été réalisée en synergie avec d’autres partenaires locaux, nationaux et/ou internationaux. Quel a été leur niveau d’implication et quelles ont été leurs valeurs ajoutées
• Quel a été le niveau d’intégration entre les différents secteurs du programme ?
• Quelles étaient les synergies et les interconnexions entre ce programme IAPF et d’autres programmes/projets menés par CONCERN dans la même zone, ainsi que la cohérence du programme avec les normes et standards internationaux pertinents auxquels CONCERN adhère.
• La chaine des résultats, les hypothèses et les risques étaient-ils bien formulés ?

Efficience

• Les ressources (humaines et financières) ont-t-elles été bien utilisées ? Les résultats auraient-ils pu être obtenus différemment et de quelle manière ?
• Les activités ont-elles été réalisées convenablement et selon le calendrier de mise en œuvre?
• Le système de Suivi et Evaluation du programme était-il adapté ?
• Les résultats du programme ont-ils été obtenus à des coûts acceptables ?

Efficacité

• Les extrants et les résultats ont-ils été atteints et dans quelle mesure (évalués par une comparaison des données d’indicateurs de référence/de fin par rapport aux cibles du cadre de résultats/cadre logique, aux données de suivi et aux données collectées lors de l’évaluation) ?
• La logique du programme/projet était-elle bien pensée et les activités ont-elles abouti aux résultats attendus ?
• Quelles mesures ont été prises pour résoudre les problèmes d’inégalité et garantir que les intérêts des plus marginalisés ont été pris en compte lors de la planification, de la mise en œuvre et du suivi du programme ? Quelle a été l’efficacité de ces mesures ?
• Le programme a-t-il réussi à obtenir des résultats prévus dans chaque dimension de l’extrême pauvreté et quelles en sont les implications potentielles ?
• Quelles ont été les conséquences/résultats involontaires et inattendus.es du programme ? comment ont-ils été traités dans le programme?

Impact

• Quelles sont les indications de changements significatifs qui se produisent au-delà du programme- aussi bien positifs que négatifs ?
• Comment les interventions du programme ont-t-elles eu un impact différent sur les hommes et les femmes, les garçons et les filles, les personnes handicapées, les personnes déplacées, refugiées, retournées et hôtes (et d’autres groupes vulnérables identifiés) dans la zone du programme ?
• Quelle est la perception des bénéficiaires, des non bénéficiaires du programme ? Ont-ils vu des changements dans leurs compétences, leurs connaissances, leurs attitudes ou leurs comportements ou dans la communauté globalement?

Durabilité

• Les résultats sont-ils durables ? Les produits et les résultats conduiront-ils à des avantages à moyen et long terme ?
• Comment pouvons-nous mieux faire dans le futur ? Quelles conclusions peuvent être pertinentes pour la programmation future ou pour d’autres initiatives similaires ailleurs ?
• Quels ont été les facteurs clés de succès, les bonnes pratiques et les leçons apprises ?
• Le projet a-t-il eu une stratégie de sortie claire, bien définie e en ligne avec la pérennisation de l’action ?

En plus de ces critères sus mentionnés, l’évaluation devra analyser de manière approfondie les aspects transversaux suivants en démontrant dans quelle mesure ils ont été pris en compte dans le programme et/ou comment la logique d’intervention ainsi que les activités du programme avaient permis le renforcement de ces composantes transversales.

-**Genre/Égalité ;**

-**Sensibilité aux conflits ;**

-**Protection ;**

-**La Réduction des Risques de Catastrophe**

-**Adaptation au changement climatique ;**

-**Partenariats.**

1. MéthodologieLa méthodologie détaillée de l’évaluation sera proposée par le/la consultant.e et validée par un comité technique. Elle comprendra nécessaire une revue de la documentation existante (rapport de l’analyse contextuelle, le document de programme, rapports périodiques, rapports des évaluations antérieures) et tout autre document pouvant faciliter la compréhension et la connaissance du programme par le/la consultant.e. Pour la collecte de données, une approche mixte (quantitative et qualitative) sera utilisée. Les données seront collectées à travers les sources primaires et/ou secondaires. La partie quantitative sera basée sur le cadre logique du document narratif que l’évaluateur utilisera pour mesurer les résultats et effets de cette intervention sur les bénéficiaires directs et/ou indirects par secteur et par rapport aux objectifs fixés. La partie qualitative consistera en la réalisation des groupes de discussions et entrevues semi-dirigées avec les bénéficiaires, les informateurs clés, les partenaires d’implémentation et toute autre partie prenante (au niveau local, national, gouvernemental). Le/la consultant.e pourra préciser dans sa méthodologie, toutes les informations liées à l’échantillonnage, le nombre d’interviews individuelles, d’informateurs clés et de groupes de discussion à réaliser. La méthodologie détaillée sera revue et validée par les le comité technique de CONCERN.
2. Produits/résultats attendus (notamment les éléments critiques à traiter dans un rapport final)

En guise de livrables, le/ la consultant.e doivent fournir plusieurs documents incluant les éléments suivants:

• Une proposition avec un budget détaillé et une méthodologie claire incluant les outils et le calendrier d’activités. Cette dernière présentera les différentes étapes de l’étude, de la planification à la soumission et présentation du rapport. Sa mise en œuvre passera par une validation du comité technique de CONCERN.
• L**e rapport final de l’étude (version Papier)** comprenant les résultats, les conclusions les apprentissages et les recommandations en termes d’actions à prendre à l’avenir dans des programmes/projets similaires. Le rapport d’évaluation doit également contenir un résumé exécutif en 3 page maximum, et dans sa version longue doit analyser les cinq critères DAC et des six aspects transversaux susmentionnés et fournir une évaluation de la performance par rapport à chacun d’eux en utilisant l’échelle de notation suivante, dans laquelle: 5 – Performance exceptionnelle ; 4 : Très bonne performance globale avec peu de lacunes ; 3 – Bonne performance globale mais avec quelques lacunes mineures ; 2 : Performance généralement acceptable mais avec quelques lacunes majeures ; 1 : Performance à peine acceptable avec de nombreuses lacunes majeures ; 0 : Performance totalement inacceptable ou données insuffisantes pour faire une évaluation.
• Une copie électronique du rapport, lequel sera partagé de manière interne a CONCERN et aussi à d’autres partenaires intervenants dans ces secteurs ou dans la zone de couverture du programme.
• Un résumé de trois page maximum du rapport aux fins de de communication et publications externes sur les réseaux de CONCERN et/ou autres plateformes appropriées ;
• Une présentation PowerPoint des résultats. Le/la consultant.e partage sa présentation de l’évaluation dans laquelle figurera la méthodologie utilisée et les trouvailles clés de l’étude ;
• Les bases de données (brute et nettoyée). Elles seront gardées par CONCERN à titre d’évidence et utilisée pour d’autres analyses supplémentaires en cas de besoin.**
  • T**out autre livrable selon les délais fixés par le calendrier** (compte rendu des réunions, rapport de visite…)**
• Structure hiérarchiqueLe/La consultant.e rapportera directement au Responsable du Programme Santé-Nutrition et au Directeur Pays de CONCERN RCA, mais travaillera en étroite collaboration avec le coordonnateur de zone et le responsable de Suivi et Evaluation. Aussi, Pour toute question technique ou spécifiques, Le/La consultant.e sera en liaison étroite avec les conseillers/ères techniques en Santé-Nutrition du siège. Toute décision importante relative au bon déroulement de la consultation sera prise conjointement par le/la prestataire et le comité technique formé du Responsable du programme, du Responsable national de Suivi et Evaluation et des conseillers techniques du siège.
• Conditions de travail et modalité de paiement

Les conditions de travail sont les suivantes :

• Le/La consultant.e travaillera dans le bureau de CONCERN à Bossembélé, avec des visites sur le terrain ou à Bangui conformément au plan de travail validé ;
• Les frais de voyage (vols internationaux et nationaux, visa, tests COVID), les indemnités journalières, l’hébergement et les déplacements sur le terrain seront fournis conformément à la politique de CONCERN RCA ;
• Le paiement des honoraires du/de la consutant.e se fera en deux tranches de 50%. La première à la signature du contrat et la seconde après la validation du rapport final.
• Le/La consultant.e doit remplir toutes les exigences administratives formelles de CONCERN, comme la signature de la Politique de Protection des Participants au Programme (4P), le code de conduite, la politique de protection de l’enfant, la politique de per diem, … ;
• Le/La consultant.e doit avoir son propre ordinateur portable pour effectuer son travail ;
• Le/La consultant.e doit s’assurer d’avoir une assurance maladie et rapatriement dans les règles et est responsable de son payement ;
• Le/La consultant.e doit se conformer à la politique de sécurité de la RCA et aux procédures de sécurité dans le pays. Tout manquement à cette obligation entraînera la résiliation immédiate du contrat.
• Composition, compétences et expérience de l’équipe de d’évaluation

Cette évaluation sera conduite par un.e consultant.e induviduel/le externe. Voici entre autres les qualifications et expériences essentielles et souhaitables requises

a. Diplômes universitaires : Maitrise en sciences sociales, nutrition, santé publique, suivi et évaluation ou Biostatistique, ainsi que des connaissances techniques pertinentes en méthodes de recherche qualitative et quantitative.

b. Expérience requise : Au moins 3 à 5 ans d’expérience dans la coordination et la conduite d’évaluation de programmes/projets multisectoriels dans le contexte de la RCA ou d’autres contextes similaires

c. Autres compétences/qualifications nécessaires/souhaitables.

• Expérience documentée dans l’élaboration de protocoles d’enquête ·
• Compétences avérées pour analyser, identifier les besoins et formuler des recommandations ;
• Capacité à effectuer des analyses de données, y compris la collecte et la présentation de données d’enquête ;
• Excellentes capacités de communication verbales et écrites ;
• Volonté de voyager et de travailler dans des environnements de terrain difficiles ;
• Compétences avérées en matière de supervision, de coordination et d’organisation ;
• Excellente maîtrise du français et de l’anglais. Sango (un atout)
• Plan de mise en œuvre de l’évaluation (notamment le calendrier)

L’évaluation finale du programme IAPF se déroulera au cours du deuxième trimestre de l’année 2022. La durée de la consultation sera de 50 jours incluant les étapes clés suivantes : Voyage en RCA (2 jours) Phase de planification et validation de la méthodologie et des outils (11 jours) Collecte des données (15 jours) Nettoyage et analyse des données (8 jours), rédaction du rapport final, validation et présentation des résultats (14 jours). Le plan de travail est joint à l’annexe 1.