Appel d’offre : Evaluation externe fin de programme quinquennal au Burundi At Belgian Red Cross

1. Résumé

• Objectifs : Evaluer l’efficacité, l’efficience, l’impact, la durabilité, la cohérence et la pertinence d’un programme de renforcement de la résilience communautaire au Burundi
• Public cible : la Croix-Rouge de Belgique (CRB) et son partenaire de mise en œuvre, la Croix-Rouge du Burundi (CRBu), le bailleur la Direction Générale du Développement belge (DGD)
• Type d’évaluation : évaluation de redevabilité
• Mandataire : Croix-Rouge de Belgique (CRB)
• Calendrier : L’évaluation devrait se dérouler entre mi-janvier et mi-avril 2022. L’échéance pour la remise du rapport final est fixée au plus tard le 15 mai 2022**
• Lieux : Burundi (Bujumbura, Bururi, Gitega, et Kirundo)
• Budget maximum : 20.000€

2. Contexte

La Croix-Rouge de Belgique est présente au Burundi depuis 2006 et y a mis en œuvre deux programmes de développement (2014-2016 et 2017-2021) et plusieurs projets humanitaires grâce à l’appui de la DGD.

Le programme de développement 17-21 au Burundi s’insère dans un programme multi-pays intitulé « Pour des citoyennes, des citoyens et des communautés actrices et acteurs de changements » qui est un Programme quinquennal qui se déroule en Belgique (Education à la citoyenneté mondiale) ainsi que dans huit pays d’Afrique (coopération au développement). Le thème fédérateur des actions en Afrique est la résilience des communautés. La résilience se définit comme la capacité des individus, des communautés et des organisations exposés à des catastrophes, des crises et des vulnérabilités sous-jacentes à anticiper, réduire l’impact, faire face à et se relever des effets de l’adversité sans compromettre leurs perspectives de développement à long terme.

Au Burundi l’objectif principal de l’action est l’amélioration de la résilience des communautés face aux risques sanitaires, environnementaux et sociaux est renforcée dans les 3 provinces ciblées (Bururi, Gitega et Kirundo). Le programme est intégré et considère que l’amélioration de la résilience passe par des actions multisectorielles et simultanées qui impliquent les communautés actives du début à la fin.

Pour appuyer les communautés, le programme du Burundi s’appuie sur l’approche « Ménage Modèle » développée par la Croix-Rouge du Burundi et qui préconise pour chaque ménage vulnérable, l’atteinte de 10 critères transversaux utiles au développement qui sont les suivants :

• Critère 1 : Maison solide, saine et sûre
• Critère 2 : Hygiène corporelle, vestimentaire et de l’habitat
• Critère 3 : Bonne nutrition
• Critère 4 : Bonne gestion de l’eau de Boisson
• Critère 5 : Dormir sous la moustiquaire
• Critère 6 : Compréhension du VIH/SIDA
• Critère 7 : Méthode de planification familiale et vaccination des mères et des enfants
• Critère 8 : Bonne scolarisation des enfants
• Critère 9 : Connaissance des gestes qui sauvent
• Critère 10 : Renoncement à la violence comme moyen de régler les différends.

Le programme s’appuie sur les équipes de volontaires Croix-Rouge issus eux-mêmes des communautés et formés dans ces différents domaines d’intervention et vise à renforcer la Croix-Rouge du Burundi afin qu’elle soit en mesure d’apporter une assistance durable aux personnes les plus vulnérables.

L’intervention de la CRBu, avec l’appui de la CRB, s’articule autour de quatre résultats :

• La santé : les communautés, et en particulier les ménages les plus vulnérables, ont accès à des connaissances et moyens leur permettant de mieux prévenir, faire face et répondre aux principaux problèmes de santé qui affectent leur développement, en particulier des femmes et des enfants. Le programme met en place un programme de sensibilisations au niveau communautaire et en particulier au niveau des ménages en transformation pour devenir modèles. D’autre part les communautés disposent de connaissance pour diagnostiquer les cas de malnutrition et prendre en charge au niveau communautaire les enfants malnutris modérés.
• La gestion des risques environnementaux et sociaux : le programme permet aux communautés d’acquérir des connaissances et de disposer de moyens pour limiter leur exposition aux risques environnementaux et sociaux. Cela passe par des formations et des sensibilisations des volontaires sur la prévention des risques climatiques, la cohabitation pacifique, les violences basées sur le genre, ainsi que la mise en place d’actions de prévention et de mitigation des risques par les communautés avec l’appui des volontaires.
• L’eau : le programme prévoit l’amélioration de l’accès à l’eau potable, de l’assainissement et des conditions d’hygiène des populations à travers des sensibilisations, le renforcement des moyens pour une meilleure santé, l’aménagement des sources d’eau, la mise à disposition de petits équipements et matériels d’hygiène et d’assainissement, etc.
• Le renforcement de capacités : les capacités de la Croix-Rouge du Burundi, des partenaires techniques et des communautés bénéficiaires sont renforcées tout au long du programme et garantissent sa durabilité.

Il est important de noter que la Croix-Rouge de Belgique privilégie la gestion déléguée du programme avec ses partenaires. Ce mode de gestion du programme est au service de la vision stratégique du partenaire (et de son autonomisation) et maximise le pouvoir décisionnel et les responsabilités du partenaire dans la limite des contraintes du bailleur. La confiance mutuelle entre les partenaires est une condition préalable à la délégation de gestion et doit être entretenue par le dialogue entre la représentation des deux institutions. Le rythme de mise en place de ce mode de gestion est adapté à chaque partenaire en fonction de ses capacités. Dans ce cadre-là, nous visons notamment à appuyer le renforcement de capacités de nos partenaires et de leur réseau de volontaires dans leur cheminement vers une Société nationale forte. Ce concept de Société nationale forte est défini par la FICR comme une société Croix-Rouge capable de fournir, dans tout le pays et par un réseau d’unités fonctionnant à l’aide de volontaires, un service approprié à des personnes vulnérables, aussi longtemps qu’elles en ont besoin.

Pour être fortes les Sociétés nationales doivent développer et conserver cinq capacités essentielles : exister, s’organiser, établir des relations et les mobiliser, mener à bien leurs activités, s’adapter et se développer. Le renforcement des capacités est un processus endogène. Notre démarche est d’appuyer cette dynamique interne de nos partenaires.

Cet appui au renforcement de capacité passe aussi par le financement de frais de structure du partenaire et la construction de bureaux au niveau des comités locaux, afin de renforcer le partenaire de manière structurelle et d’assurer la durabilité des actions. Aider les Sociétés nationales à devenir des fournisseurs forts et pérennes de services est, pour nous, le meilleur moyen de s’attaquer à la vulnérabilité, où qu’elle existe. Les volontaires Croix-Rouge ainsi accompagnés et formés travaillent de la sorte à renforcer les capacités de leur communauté.

3. But et portée de l’évaluation

La présente évaluation portera sur le programme mis en œuvre par la CRBu et financé par la DGD pour les années 2017-2021. Le bailleur exige qu’une évaluation externe soit réalisée à la fin du programme. Il s’agit donc une évaluation de redevabilité. Cependant, vu que la CRB a introduit un nouveau programme (2022-2026) qui s’inscrit dans la continuité du programme à évaluer, la CRB souhaite que l’évaluation permettre de tirer des enseignements sur la mise en œuvre du programme et de faire ressortir des bonnes pratiques/recommandations qui pourraient être valorisées après le démarrage, si accepté, du nouveau programme.

4. Objectif de l’évaluation

L’évaluation abordera l’analyse du programme selon les critères standards d’évaluation (pertinence, efficacité, efficience, durabilité, impact et cohérence). Par ailleurs, elle s’étendra de manière plus détaillée sur les questions suivantes :

Pertinence

• Dans quelle mesure les actions concrètes ainsi que les méthodologies mises en œuvre dans le cadre de ce programme au profit des communautés sont pertinentes au regard de leurs risques et besoins ?
• Dans quelle mesure le projet s’insère-t-il dans les politiques et stratégies nationales, et notamment le Plan National de Développement (PND Burundi 2018-2027) ?
• Dans quelle mesure l’approche ménage modèle est restée pertinente et adaptée pour répondre aux risques et besoins de la communauté (y compris la pandémie de Covid19) ?

Complémentarité/cohérence

• Quelle a été la valeur ajoutée de la collaboration avec les services techniques de l’Etat ? Quelles en sont ses forces et faiblesses ?
• Dans quelle mesure le programme est-il en cohérence avec la stratégie de la CRBu, notamment le Plans Stratégique 2018-2021 ?
• Dans quelle mesure le programme est aligné avec la stratégie du Mouvement Croix-Rouge (FICR) ?
• Dans quelle mesure le programme est-il cohérent avec les priorités de la coopération belge ?
• Dans quelle mesure les autres acteurs de la coopération Belge intervenants dans la zone ont-ils été pris en compte et des synergies initiées avec eux ?
• Dans quelle mesure les synergies/complémentarités développées ont-elles contribué à optimiser les résultats ?
• Dans quelle mesure Le programme est-il complémentaire ou renforce-t-il les mesures prises par la communauté pour se prémunir des risques sanitaires, sociaux et de catastrophe ?

Efficacité

• Dans quelle mesure l’objectif, les résultats et les indicateurs du programme sont-ils atteints ?
• Quel a été l’apport du programme en termes de renforcement de capacités des branches Croix-Rouge au niveau des provinces de Bururi, Gitega et Kirundo, en termes de renforcement des capacités des comités communaux et des unités collinaires ?
• Dans quelle mesure l’implication des branches provinciales, des comités communaux et des unités collinaires (et de leurs volontaires) et leur rôle dans ce projet a permis une mise en œuvre efficace du projet ?

Efficience

• Dans quelle mesure les moyens mis à disposition ont-ils été adéquatement utilisés pour atteindre les résultats malgré le contexte de la pandémie de Covid19 ?

Durabilité/viabilité

• Dans quelle mesure la manière dont les différentes branches ont été impliquées, contribue d’une part à la durabilité des effets du programme et d’autre part à la durabilité des services que ces branches offrent aux populations au regard de leur mandat ?
• Dans quelle mesure la durabilité des actions entreprises est-elle liée à l’implication des services techniques de l’Etat ?

La réponse à ces questions sera structurée selon différents types de durabilité : durabilité technique (maitrise par les partenaires et pérennisation de l’accompagnement des bénéficiaires), financière (capacité de prise en charge des coûts récurrents par les partenaires et/ou les bénéficiaires) et sociale (maîtrise de l’intervention par les bénéficiaires).

Impact

• Quel a été l’impact du programme sur le développement institutionnel de la Croix-Rouge du Burundi, en particulier au niveau de son autonomisation financière ?
• A part les dimensions « santé » et « EHA », le programme a-t-il permis de renforcer d’autres dimensions de la résilience (telles que définies par la FICR) ? Si oui de quelle manière ?
• Quels sont les différents changements positifs ou négatifs, planifiés ou non, imputables au programme ?

Questions Transversales :

PGI

• Dans quelle mesure le programme a-t-il contribué à réduire les inégalités sociales, les inégalités d’accès aux ressources et aux opportunités de la communauté dans toute sa diversité ?
• Dans quelle mesure le programme a eu des effets positifs ou négatifs, prévus ou imprévus, concernant l’autonomisation des femmes, la réduction de la violence basée sur le genre, et la diminution des inégalités liées au genre au sein des communautés cibles ?
• Dans quelle mesure les méthodologies utilisées tiennent-elles compte des facteurs de diversité (sexe, âge, handicap) ?
• Dans quelle mesure le programme a eu des effets positifs ou négatifs, prévus ou imprévus, pour les personnes vivant avec un handicap ?

ECR

• Dans quelle mesure la mobilisation communautaire insufflée dans le cadre de ce programme a contribué à l’atteinte des résultats du projet ?
• Dans quelle mesure la mobilisation communautaire et l’implication des volontaires ont-t-il contribué à une allocation plus efficiente des ressources ?
• Dans quelle mesure la mobilisation communautaire, les changements opérés au niveau de la communauté et les changements de comportement des bénéficiaires insufflés dans le cadre de ce programme vont perdurer après le retrait du projet ?
• Dans quelle mesure les communautés de se sont senties écoutées et impliquées dans le programme, tout au long du cycle de projet ?

Environnement

• Dans quelle mesure le respect et la protection de l’environnement ont-ils été pris en compte ?
• Dans quelle mesure le programme a-t-il eu des effets positifs et/ou négatifs, prévus ou imprévus, sur l’environnement ?

5. Calendrier indicatif

• 24 novembre 2021 : Ouverture des offres
• 8 décembre 2021 : Sélection du consultant
• 17 décembre 2021 au plus tard : Signature du contrat
• Janvier 2022 : Briefing + lecture de documents + Remise de la note méthodologique (cadrage)
• Février 2022 : Missions terrain
• Fin février : Séance de restitution terrain
• Mars 2022 : Remise du pré-rapport
• Avril 2022 : Remise du rapport final et de ses annexes

6. Plan de mise en œuvre et éléments méthodologiques

a. Phase de Cadrage :

Une première phase d’étude documentaire sur le programme et d’entretiens auprès de la CRB est demandée aux évaluateurs. La phase de cadrage vise à permettre aux évaluateurs d’approfondir leur connaissance des enjeux de l’évaluation, d’ajuster le choix, la formulation et la structuration des questions évaluatives (critères de jugement, indicateurs), et à préciser les modalités de collecte et d’analyse des données qui seront proposées pour y répondre. Elle donnera lieu à la présentation d’une note méthodologique, pour discussion et validation du comité d’évaluation lors d’une réunion avec les évaluateurs.

Output de cette phase : une note méthodologique comprenant notamment :

• les questions d’évaluation, reformulées et complétées ;
• les méthodes de collecte et les outils de collecte de l’information (questionnaires) pour la phase de terrain avec une attention particulière à la collecte d’informations auprès des bénéficiaires et des communautés ;
• un chronogramme indicatif de réalisation de l’enquête au Burundi (pour lequel il sera tenu compte de périodes sensibles pour des motifs culturels, politiques ou religieux).

b. Phase d’évaluation :

Durant cette phase, le prestataire se rendra au Burundi. La méthodologie proposée devra assurer la collecte d’une information nécessaire et suffisante, vérifiée tant auprès des partenaires que des communautés et des bénéficiaires finaux. Dans cette optique, les évaluateurs devront maîtriser les techniques particulières d’enquête et d’interview au sein des groupes de bénéficiaires finaux et en particulier des techniques pour prendre en compte l’avis des femmes et des enfants.

A la fin de la mission, une réunion de restitution destinée à la CRBu sera organisée dans le pays. Cette réunion sera ouverte à d’autres représentants du partenaire, aux autres Croix-Rouge actives dans le pays ainsi qu’aux attachés de coopération de la Belgique ou à d’autres représentants de l’Ambassade de Belgique.

Outputs de cette phase :

• Un Powerpoint de restitution des analyses et recommandations pour le partenaire local (CRBu) ;
• Un compte-rendu des discussions et du positionnement initial du partenaire sur les recommandations émises.

c. Phase de rapportage, de consolidation et de restitution

Après la mission sur le terrain et endéans les 15 jours de la fin de la mission un rapport écrit sera envoyé à la CRB. Le comité d’évaluation examinera le rapport et enverra aux évaluateurs des commentaires consolidés dans les 20 jours. Les évaluateurs auront 20 jours pour intégrer les commentaires et envoyer un rapport final.

Le rapport sera rédigé en français de sorte à pouvoir être directement communicable par la CRB auprès de la DGD et des partenaires.

Le rapport devra se présenter comme suit :

1. Introduction
2. Table des matières
3. Synthèse
4. Méthodologie
5. Constats, analyses et facteurs explicatifs
6. Conclusions et enseignements
7. Améliorations souhaitables (recommandations), structurées en fonction de leurs destinataires (CRB ou partenaire)
8. Les annexes (à attacher à la version finale du rapport) contiendront notamment
9. les termes de référence
10. les notes méthodologiques
11. la liste des documents consultés
12. les outils de collecte de données (qualitative et quantitative)

Remarques :

• La synthèse devra reprendre en 6 pages max., les éléments essentiels du rapport d’évaluation et les principales améliorations proposées ;
• Les constats seront basés sur des sources fiables, vérifiables et triangulées ;
• Les conclusions devront indiquer sur quels numéros de paragraphe (dans les constats et analyses) elles sont fondées. Toute recommandation devra correspondre à une conclusion. Les conclusions devront clairement indiquer si elles s’adressent à la CRB, à la CRBu ou à un autre acteur. Le rapport final sera évalué sur la base de son contenu, de sa force probante, de sa cohérence et de sa lisibilité., Les recommandations seront classées en suivant les critères de l’OCDE (pertinence, cohérence, efficacité, efficience, durabilité, impact).

Outputs de cette phase :

• Un pré-rapport
• Un Powerpoint de présentation des principaux constats et recommandations
• Un compte-rendu des principaux points d’attention pour la rédaction du rapport final discutés lors de la réunion à Bruxelles ou via visioconférence
• Un rapport final (max. 50 pages, annexes exclus)

7. Gestion du suivi

Un comité d’évaluation assurera un suivi des travaux selon le calendrier indicatif proposé et exprimera un avis sur la qualité des travaux, le contenu des analyses ainsi que sur les conclusions et les recommandations du rapport.

Les représentants de ce comité d’évaluation, auront également la charge de faciliter l’organisation de l’évaluation sur le terrain et d’organiser la restitution.

8. Documents de référence pour l’évaluateur

• La proposition initiale du programme
• Les rapports communiqués au bailleur (scores des performances et leçons apprises)
• Les rapports semestriels internes
• Les enquêtes baseline et endline
• Le rapport de l’évaluation mi-parcours interne

9. Publication du rapport d’évaluation

Le rapport final ainsi que les rapports pays seront publiés sur le site web de la CRB ainsi que sur le site du Bailleur de fonds. A cette fin, les évaluateurs devront veiller à ce que les rapports et leurs annexes respectent les règles de la RGPD.

10. Sécurité

Le soumissionnaire est responsable de la gestion de la sécurité des consultants qui seront envoyés sur le terrain pour effectuer cette évaluation. Au début de la mission terrain, le représentant pays de la CRB réalisera avec les consultants, un briefing sécuritaire qui visera à donner des conseils utiles pour la sécurité dans le pays. La CRB pourra aider le soumissionnaire dans la gestion d’éventuels accidents/incidents de sécurité qui pourraient intervenir. Néanmoins, la CRB ne sera pas tenue responsable de ces éventuels incidents/accidents ni de leur gestion.

11. Budget

Le montant du budget disponible pour cette évaluation est de 20.000 € TTC (la CRB n’est pas exonérée de TVA et elle ne peut pas la récupérer). Toute offre supérieure à ce montant sera automatiquement rejetée. Le budget comprend les honoraires de toute l’équipe d’évaluation, les assurances, les per-diems, le logement, les frais de transports internationaux, les frais de communication, administration, secrétariat. Si l’évaluateur le souhaite et dans la mesure du possible, un véhicule et un chauffeur pourrait être mise à disposition de l’évaluateur. Les frais associés (carburant, per-diem du chauffeur, etc.) seront dans ce cas facturés à l’évaluateur et devront être inclus alors dans l’offre financier. La CRB n’acceptera pas des offres dont le montant journalier des honoraires est supérieur à 600 € TTC. Tous les coûts encourus par le prestataire relatifs à l’établissement de son offre seront supportés par le prestataire. Le présent marché est un marché à prix global, ce qui signifie que le prix global est forfaitaire, aucune révision de prix ne sera possible.

12. Normes de qualité et d’éthique

Les évaluateurs devraient prendre toutes les mesures raisonnables pour garantir que l’évaluation est conçue et menée de manière à respecter et à préserver les droits et le bien-être des personnes et des communautés auxquelles elles appartiennent ; qu’elle est techniquement exacte, fiable et légitime ; qu’elle est réalisée de façon transparente et impartiale ; et qu’elle contribue à promouvoir l’apprentissage institutionnel et la responsabilisation. Par conséquent, l’équipe d’évaluation devrait respecter les normes d’évaluation et les pratiques applicables énoncées dans le Cadre d’évaluation pour la Fédération internationale joint au présent cahier des charges. Il sera également demandé aux évaluateurs de signer et respecter le code de conduite de la Croix-Rouge et du Croissant Rouge. Le non-respect des normes contenues dans ce code est une raison suffisante à mettre fin au contrat des évaluateurs sans indemnités.

Les normes de la Fédération internationale en matière d’évaluation sont les suivantes :

i. Utilité : les évaluations doivent être utiles et utilisées.

ii. Faisabilité : les évaluations doivent être réalistes, diplomatiques et gérées de façon rentable et sensée.

iii. Éthique et licéité : les évaluations doivent être réalisées dans le respect de l’éthique et des lois, en veillant tout particulièrement au bien-être des personnes qui y participent ou qui en subissent les effets.

iv. Impartialité et indépendance : les évaluations devraient être impartiales et donner une appréciation détaillée et objective qui tient compte du point de vue de toutes les parties prenantes.

v. Transparence : les évaluations devraient être menées de façon ouverte et transparente.

vi. Précision : les évaluations devraient être techniquement exactes et fournir suffisamment d’informations sur les méthodes de collecte, d’analyse et d’interprétation des données pour en démontrer la validité ou le bien-fondé.

vii. Participation : les parties prenantes devraient être consultées et véritablement associées au processus d’évaluation si cela est possible et justifié.

viii. Collaboration : la collaboration entre les principaux partenaires opérationnels dans le processus d’évaluation contribue à renforcer la légitimité et l’utilité de l’évaluation.

Il est également attendu que l’évaluation soit menée dans le respect des sept Principes fondamentaux de la Croix-Rouge et du Croissant-Rouge, à savoir : 1) l’humanité, 2) l’impartialité, 3) la neutralité, 4) l’indépendance, 5) le volontariat, 6) l’unité, et 7) l’universalité. De plus amples informations sur ces Principes sont disponibles à l’adresse : www.ifrc.org/what/values/principles/index.asp. Les évaluateurs sont soumis durant leur mission terrain au code de conduite de la Croix-Rouge de Belgique.

Confidentialité :

Toute information concernant la Croix-Rouge et incluse dans ce document de consultation ou fournie séparément doit être traitée de façon strictement confidentielle par le prestataire. Ce dernier accepte de ne divulguer ou publier aucune information relative à cette consultation.

De la même façon, tout document fourni par le prestataire sera considéré comme confidentiel.

13. Compétences attendues de l’évaluateur

Les compétences attendues de l’équipe d’évaluation (au moins 2 personnes pour garantir un croisement des informations recueillies avec minimum une personne ressortissante du Burundi) :

1. Au moins 5 à 10 ans d’expérience de conduite et/ou d’évaluation de programme avec différents types de méthodes de recherche, d’évaluation quantitative et qualitative en lien avec les thématiques liées à la Résilience tels que le développement communautaire, la Protection, Genre et Inclusion, l’Engagement communautaire et Redevabilité envers les communautés, particulièrement en Afrique.
2. Une connaissance et expérience des politiques et du système administratif au Burundi est un atout.
3. Excellente maîtrise du français parlé et écrit, avec la maîtrise du Kirundi par au moins l’un des deux consultants.
4. La connaissance du Mouvement International de la Croix-Rouge et du Croissant-Rouge est un atout supplémentaire
5. Un équilibre des genres dans la composition de l’équipe est requis pour que l’offre soit éligible.