Appel d’offre : Evaluation externe fin de programme quinquennal au Rwanda At Belgian Red Cross

1. Résumé

• Objectifs : Evaluer l’efficacité, l’efficience, l’impact, la durabilité, la cohérence et la pertinence d’un programme de renforcement de la résilience communautaire au Rwanda
• Public cible : la Croix-Rouge de Belgique (CRB) et son partenaire de mise en œuvre, la Croix-Rouge rwandaise (CRR) et le bailleur (la Direction Générale du Développement belge (DGD)
• Type d’évaluation : Evaluation de redevabilité
• Mandataire : Croix-Rouge de Belgique (CRB)
• Calendrier : Entre janvier et avril 2022. L’enquête terrain peut démarrer à partir de février et l’échéance pour la remise du rapport final est le 30/4/2022
• Lieu : Rwanda
• Budget maximal : 20.000€

2. Contexte

La Croix-Rouge de Belgique appuie son partenaire, la Croix-Rouge rwandaise, depuis 1995 et y a mis en œuvre plusieurs programmes de développement et plusieurs projets humanitaires, notamment grâce à l’appui de la coopération belge (DGD).

Le programme de développement 17-21 au Rwanda s’insère dans un programme multi-pays intitulé « Pour des citoyennes, des citoyens et des communautés actrices et acteurs de changements ». Il s’agit d’un Programme quinquennal qui se déroule en Belgique (Education à la citoyenneté mondiale) ainsi que dans huit pays d’Afrique. Le thème fédérateur des actions en Afrique est la résilience des communautés. La résilience se définit comme la capacité des individus, des communautés et des organisations exposés à des catastrophes, des crises et des vulnérabilités sous-jacentes à anticiper, réduire l’impact, faire face à et se relever des effets de l’adversité sans compromettre leurs perspectives de développement à long terme.

Au Rwanda, le programme vise à amélioration la résilience des populations de 46 villages dans 5 districts (Gakenke, Nyabihu, Ngororero, Karongi et Rutsiro) à l’Ouest du pays face aux vulnérabilités et au changement climatique. Parmi ces 46 villages, 30 villages faisaient déjà partie du programme précédent (2014-2016) et 15 villages ont été ajoutés en 2017. Le programme de résilience communautaire s’inscrit dans la stratégie nationale Villages Modèles de la Croix-Rouge rwandaise. Les Villages Modèles consistent en une approche holistique de renforcement des capacités et de lutte contre les vulnérabilités. Cette approche considère la situation des individus, des ménages et de la communauté comme un tout et explique la vulnérabilité de la population par un certain nombre de facteurs interdépendants. La Croix-Rouge rwandaise apporte une réponse globale à travers une intervention simultanée et coordonnée dans différents secteurs : l’eau, l’hygiène et l’assainissement, la santé, la nutrition, la préparation et la gestion des risques de catastrophes, l’amélioration des conditions économiques et, de manière plus générale l’accroissement de la résilience de la communauté à travers une approche intégrée et multisectorielle. Le programme travaille sur le renforcement de capacités des individus et des communautés bénéficiaires, de la Croix-Rouge et de son réseau de volontaires et des autorités locales. Décliné en actions simples et réplicables, le programme vise l’amélioration des conditions de vie des plus vulnérables et l’accroissement de la résilience de la communauté toute entière. À terme, ce village représente un modèle pour les villages avoisinants au sein desquels les meilleures pratiques sont répliquées et disséminées. Le programme a été mise en œuvre en complémentarité avec la Croix-Rouge flamande (RKV) qui appuie la CRR dans la même zone d’intervention.

Ce programme s’inscrit dans les spécificités Croix-Rouge : les Principes et Valeurs du Mouvement, la vision et les objectifs stratégiques de la FICR, le mandat de la Croix-Rouge de Belgique et des Sociétés nationales partenaires et le travail avec les volontaires au service des plus vulnérables.

Il est important de noter que la Croix-Rouge de Belgique privilégie la gestion déléguée du programme avec ses partenaires. Ce mode de gestion du programme est au service de la vision stratégique du partenaire (et de son autonomisation) et maximise le pouvoir décisionnel et les responsabilités du partenaire dans la limite des contraintes du bailleur. La confiance mutuelle entre les partenaires est une condition préalable à la délégation de la gestion et doit être entretenue par le dialogue continu entre la représentation des deux institutions. Le rythme de mise en place de ce mode de gestion est adapté à chaque partenaire en fonction de ses capacités. Dans ce cadre-là, nous visons notamment à appuyer le renforcement de capacités de nos partenaires et de leur réseau de volontaires dans leur cheminement vers une Société nationale forte. Ce concept de Société nationale forte est défini par la FICR comme une société Croix-Rouge capable de fournir, dans tout le pays et par un réseau d’unités fonctionnant à l’aide de volontaires, un service approprié aux personnes vulnérables, aussi longtemps qu’elles en ont besoin. Pour être fortes les Sociétés nationales doivent développer et conserver cinq capacités essentielles : exister, s’organiser, établir des relations et les mobiliser, mener à bien leurs activités, s’adapter et se développer. Le renforcement des capacités est un processus endogène. Notre démarche est d’appuyer cette dynamique interne de nos partenaires.

Cet appui au renforcement de capacités passe aussi par le financement de frais de structure du partenaire et l’appui au développement d’activités génératrices de revenus (AGR) au niveau central et au niveau des comités de districts, afin de renforcer le partenaire de manière structurelle et d’assurer la durabilité des actions. Dans le cadre du programme 2017-2021, la CRB a appuyé la CRR dans le développement notamment d’AGR au niveau de son siège et au niveau des districts de Karongi et de Rutsiro. Aider les sociétés nationales à devenir des fournisseurs forts et pérennes de services est, pour nous, le meilleur moyen de s’attaquer à la vulnérabilité, où qu’elle existe. Les volontaires Croix-Rouge ainsi accompagnés et formés travaillent de sorte à renforcer les capacités de leur communauté.

3. But et portée de l’évaluation

La présente évaluation portera sur le programme mis en œuvre par la CRR et financé par la DGD pour les années 2017-2021. Le bailleur exige qu’une évaluation externe soit réalisée à la fin du programme. Il s’agit donc une évaluation de redevabilité. Cependant, vu que la CRB a introduit un nouveau programme (2022-2026) dans une autre zone qui s’inscrit stratégiquement et méthodologiquement dans la continuité du programme à évaluer, la CRB souhaite également tirer des enseignements sur la mise en œuvre du programme et de faire ressortir des bonnes pratiques/recommandations qui pourraient être valorisées après le démarrage, si accepté, du nouveau programme.

4. Objectif de l’évaluation

L’évaluation abordera l’analyse du programme selon les critères standards d’évaluation (pertinence, efficacité, efficience, durabilité, impact et cohérence). Par ailleurs, elle s’étendra de manière plus détaillée sur les questions suivantes :

Pertinence

• Dans quelle mesure les actions concrètes mises en œuvre dans le cadre de ce programme au profit des communautés ont-elles été pertinentes au regard de leurs besoins ?
• Dans quelle mesure le programme s’insère-t-il dans les politiques nationales (Stratégie nationale de transformation sociale) ?
• Dans quelle mesure l’ensemble des communautés, y compris des groupes vulnérables comme des femmes, personnes en situation d’handicap, personnes âgées, jeunes), se sont sentis écoutées et impliquées dans le programme ?
• Dans quelles mesure la stratégie des villages modèles est pertinente pour renforcer la résilience des communautés ?
• Dans quelle mesure la mise en place des clubs de solidarité a permis un renforcement des capacités des communautés ?
• Dans quelle mesure les adaptations du programme à cause du COVID ont été pertinentes ?
• Dans quelle mesure les AGR retenues dans le programme ont été adaptés pour renforcer l’autonomie financière du partenaire ?

Complémentarité/cohérence

• Dans quelle mesure le programme a-t-il été cohérent avec les contrats de performances des autorités décentralisées ?
• Dans quelle mesure le programme a-t-il été cohérent avec le plan stratégique de la CRR ?
• Quelle a été la valeur ajoutée de la collaboration avec les services techniques de l’Etat ? Quelles en sont les limites ?
• Les autres acteurs de développement intervenant dans la zone de manière générale et la RKV spécifiquement ont-ils été pris en compte et des synergies ont-elles été initiées ?

Efficacité

• Dans quelle mesure l’objectif, les résultats et les indicateurs du programme sont-ils atteints ?
• Quel a été l’apport du programme en termes de renforcement des capacités des comités Croix-Rouge au niveau des districts de Karongi et de Rutsiro ?
• Est-ce que le dispositif du programme, l’implication des branches (et de leurs volontaires) et leur rôle dans ce programme a permis une mise en œuvre efficace du programme ?
• Dans quelle mesure la mobilisation communautaire via la stratégie villages modèles et clubs de solidarité a contribué à l’atteinte des résultats du programme ?

Efficience

• Dans quelle mesure les moyens matériels et financiers mis à disposition ont-ils été adéquatement utilisés pour atteindre les résultats ?
• Dans quelle mesure la mobilisation communautaire et l’implication des volontaires ont-t-il contribué à une allocation plus efficiente des ressources ?
• Dans quelle mesure le COVID a eu des implications sur l’efficience du programme ?
• Dans quelle mesure les RH déployées dans le cadre de ce programme ont été en adéquation avec les besoins en termes de dispositif de gestion du programme ?

Durabilité/viabilité

• Dans quelle mesure la mobilisation communautaire insufflée dans le cadre de ce programme via les clubs de solidarité va perdurer après le retrait du programme ?
• Dans quelle mesure les branches et les autorités locales sont en mesure de garantir la durabilité des actions du programme ?
• Existe-t-il une différence d’appropriation de l’intervention entre les anciens villages (30 villages) et les nouveaux villages (16 villages) ?

La réponse à ces questions sera structurée selon différents types de durabilité : durabilité technique (maitrise par les partenaires et pérennisation de l’accompagnement des bénéficiaires), financière (capacité de prise en charge des coûts récurrents par les partenaires et/ou les bénéficiaires) et sociale (maîtrise de l’intervention par les bénéficiaires).

Impact

• Quel est l’impact du programme sur la résilience des communautés ?
• Quel était l’impact du programme sur le développement institutionnel et organisationnel de la CRR ?

Genre et inclusion

• Dans quelle mesure toutes les possibles facteurs de diversité (le genre, la situation de handicap, l’âge) ont été pris en compte par l’équipe projet, les comités locaux et les volontaires communautaires ?
• Dans quelle mesure les méthodologies utilisées tout au long du cycle de projet avec la communauté tiennent compte des facteurs de diversité ?
• Dans quelle mesure le programme a-t-il contribué à réduire les inégalités sociales, les inégalités d’accès aux ressources et aux opportunités de la communauté, dans toute sa diversité ?
• Dans quelle mesure le programme a eu des effets positifs ou négatifs, prévus ou imprévus, concernant l’autonomisation des femmes et personnes ayant un handicap et a permis de réduire les liées au genre au sein des communautés ciblées ?

Environnement :

• Dans quelle mesure les activités qui n’étaient pas directement liées à l’environnement ont pris en compte le respect de celui-ci ?
• Dans quelle mesure le programme a contribué à lutter contre le changement climatique ?
• Dans quelle mesure la CRR est-elle capable à prendre en considération la prise en compte de l’environnement dans toutes les activités qu’elle met en place ?
• Dans quelle mesure les achats ont-ils été fait avec un critère de durabilité environnementale?

5. Calendrier indicatif

• 8 novembre 2021 : Ouverture des offres et sélection du consultant
• Décembre 2021 : Signature du contrat
• Janvier 2022 : Briefing + lecture de documents + Remise de la note méthodologique (cadrage)
• Février – mars 2022 : Missions terrain
• Mars – Avril 2022 : Remise du pré-rapport
• 30/4/22 : Remise du rapport final et de ses annexes

6. Plan de mise en œuvre et éléments méthodologiques

a. Phase de Cadrage :

Une première phase d’étude documentaire sur le programme et d’entretiens auprès de la CRB est demandée aux évaluateurs. La phase de cadrage vise à permettre aux évaluateurs d’approfondir leur connaissance des enjeux de l’évaluation, à ajuster le choix, la formulation et la structuration des questions évaluatives (critères de jugement, indicateurs), et à préciser les modalités de collecte et d’analyse des données qui seront proposées pour y répondre. Elle donnera lieu à la présentation d’une note méthodologique, pour discussion et validation du comité d’évaluation lors d’une réunion avec les évaluateurs.

Output de cette phase : une note méthodologique comprenant notamment :

• les questions d’évaluation, reformulées et complétées;
• les méthodes de collecte et les outils de collecte de l’information (questionnaires) pour la phase de terrain avec une attention particulière à la collecte d’informations auprès des bénéficiaires et des communautés;
• un chronogramme indicatif de réalisation de l’enquête au Rwanda (pour lequel il sera tenu compte de périodes sensibles pour des motifs culturels, politiques ou religieux).

b. Phase d’évaluation :

Durant cette phase, le prestataire se rendra au Rwanda. La méthodologie proposée devra assurer la collecte d’une information nécessaire et suffisante, vérifiée tant auprès des partenaires que des communautés et des bénéficiaires finaux. Dans cette optique, les évaluateurs devront maîtriser les techniques particulières d’enquête et d’interview au sein des groupes de bénéficiaires finaux et en particulier des techniques pour prendre en compte l’avis des femmes, des enfants et des personnes avec des besoins spécifiques.

A la fin de la mission, une réunion de restitution sera organisée dans le pays. Cette réunion sera ouverte à d’autres représentants du partenaire, aux autres Croix-Rouge actives dans le pays ainsi qu’aux attachés de coopération de la Belgique ou à d’autres représentants de l’Ambassade de Belgique.

Outputs de cette phase :

• Un Powerpoint de restitution de constats et recommandations pour le partenaire local.
• Un compte-rendu des discussions et du positionnement initial du partenaire sur les recommandations émises.

c. Phase de rapportage, de consolidation et de restitution

Après la mission sur le terrain et endéans les 15 jours de la fin de la mission un rapport écrit sera envoyé à la CRB. Le comité d’évaluation examinera le rapport et enverra aux évaluateurs des commentaires consolidés dans les 15 jours. Les évaluateurs auront 15 jours pour intégrer les commentaires et envoyer un rapport final.

Le rapport sera rédigé en français de sorte à pouvoir être directement communicable par la CRB auprès de la DGD et des partenaires.

En maximum 50 pages, le rapport devra se présenter comme suit :

1. Introduction
2. Table des matières
3. Synthèse
4. Méthodologie
5. Constats, analyses et facteurs explicatifs
6. Conclusions et enseignements
7. Améliorations souhaitables (recommandations), structurées en fonction de leurs destinataires (CRB ou partenaire)
8. Les annexes (à attacher à la version finale du rapport) contiendront notamment
9. les termes de référence
10. les notes méthodologiques
11. la liste des documents consultés
12. les outils de collecte de données (qualitative et quantitative)

La synthèse devra reprendre en 6 pages max., les éléments essentiels du rapport d’évaluation et les principales améliorations proposées.

Les constats seront basés sur des sources fiables, vérifiables et triangulées.

Les conclusions devront indiquer sur quels numéros de paragraphe (dans les constats et analyses) elles sont fondées. Toute recommandation devra correspondre à une conclusion. Le rapport final sera évalué sur la base de son contenu, de sa force probante, de sa cohérence et de sa lisibilité., Les recommandations seront classées en suivant les critères de l’OCDE (pertinence, cohérence, efficacité, efficience, durabilité, impact).

Outputs de cette phase :

• Un pre-rapport
• Un Powerpoint de présentation des principaux constats et recommandations
• Un compte-rendu des principaux points d’attention pour la rédaction du rapport final discutés lors de la réunion à Bruxelles ou via visioconférence
• Un rapport final (max. 50 pages, annexes exclus)

7. Gestion et suivi

Un comité d’évaluation assurera un suivi des travaux selon le calendrier indicatif proposé et exprimera un avis sur la qualité des travaux, le contenu des analyses ainsi que sur les conclusions et les recommandations du rapport.

Les représentants de ce comité d’évaluation, auront également la charge de faciliter l’organisation de l’évaluation sur le terrain et d’organiser la restitution.

8. Documents de référence pour l’évaluateur

• La proposition initiale du programme
• Les rapports communiqués au bailleur (scores des performances et leçons apprises)
• Les rapports semestriels internes
• Evaluation mi-parcours

9. Publication du rapport d’évaluation

Le rapport final ainsi que les rapports pays seront publiés sur le site web de la CRB ainsi que sur le site du Bailleur de fonds. A cette fin, les évaluateurs devront veiller à ce que les rapports et leurs annexes respectent les règles de la RGPD.

10. Sécurité

Le soumissionnaire est responsable de la gestion de la sécurité des consultants qui seront envoyés sur le terrain pour effectuer cette évaluation. Au début de la mission terrain, le représentant pays de la CRB réalisera avec les consultants un briefing sécuritaire qui visera à donner des conseils utiles pour la sécurité dans le pays. La CRB pourra aider le soumissionnaire dans la gestion d’éventuels accidents/incidents de sécurité qui pourraient intervenir. Néanmoins, la CRB ne sera pas tenue responsable de ces éventuels incidents/accidents ni de leur gestion.

11. Budget

Le montant du budget disponible pour cette évaluation est de 20.000 € TTC (la CRB n’est pas exonérée de TVA et elle ne peut pas la récupérer). Toute offre supérieure à ce montant sera automatiquement rejetée. Le budget comprend les honoraires de toute l’équipe d’évaluation, les assurances, les per-diems, le logement, les frais de transports internationaux, les frais de communication, administration, secrétariat. Si l’évaluateur le souhaite et dans la mesure du possible, un véhicule et un chauffeur pourrait être mise à disposition de l’évaluateur. Les frais associés (carburant, per-diem du chauffeur, etc.) seront dans ce cas facturés à l’évaluateur et devront être inclus alors dans l’offre financier. La CRB n’acceptera pas des offres dont le montant journalier des honoraires est supérieur à 600 € TTC. Tous les coûts encourus par le prestataire relatifs à l’établissement de son offre seront supportés par le prestataire. Le présent marché est un marché à prix global, ce qui signifie que le prix global est forfaitaire, aucune révision de prix ne sera possible.

12. Normes de qualité et d’éthique

Les évaluateurs devraient prendre toutes les mesures raisonnables pour garantir que l’évaluation est conçue et menée de manière à respecter et à préserver les droits et le bien-être des personnes et des communautés auxquelles elles appartiennent ; qu’elle est techniquement exacte, fiable et légitime ; qu’elle est réalisée de façon transparente et impartiale ; et qu’elle contribue à promouvoir l’apprentissage institutionnel et la responsabilisation. Par conséquent, l’équipe d’évaluation devrait respecter les normes d’évaluation et les pratiques applicables énoncées dans le Cadre d’évaluation pour la Fédération internationale joint au présent cahier des charges.

Les normes de la Fédération internationale en matière d’évaluation sont les suivantes :

i. Utilité : les évaluations doivent être utiles et utilisées.

ii. Faisabilité : les évaluations doivent être réalistes, diplomatiques et gérées de façon rentable et sensée.

iii. Éthique et licéité : les évaluations doivent être réalisées dans le respect de l’éthique et des lois, en veillant tout particulièrement au bien-être des personnes qui y participent ou qui en subissent les effets.

iv. Impartialité et indépendance : les évaluations devraient être impartiales et donner une appréciation détaillée et objective qui tient compte du point de vue de toutes les parties prenantes.

v. Transparence : les évaluations devraient être menées de façon ouverte et transparente.

vi. Précision : les évaluations devraient être techniquement exactes et fournir suffisamment d’informations sur les méthodes de collecte, d’analyse et d’interprétation des données pour en démontrer la validité ou le bien-fondé.

vii. Participation : les parties prenantes devraient être consultées et véritablement associées au processus d’évaluation si cela est possible et justifié.

viii. Collaboration : la collaboration entre les principaux partenaires opérationnels dans le processus d’évaluation contribue à renforcer la légitimité et l’utilité de l’évaluation.

Il est également attendu que l’évaluation soit menée dans le respect des sept Principes fondamentaux de la Croix-Rouge et du Croissant-Rouge, à savoir : 1) l’humanité, 2) l’impartialité, 3) la neutralité, 4) l’indépendance, 5) le volontariat, 6) l’unité, et 7) l’universalité. De plus amples informations sur ces Principes sont disponibles à l’adresse : www.ifrc.org/what/values/principles/index.asp. Les évaluateurs sont soumis durant leur mission terrain au code de conduite de la Croix-Rouge de Belgique.

Confidentialité :

Toute information concernant la Croix-Rouge et incluse dans ce document de consultation ou fournie séparément doit être traitée de façon strictement confidentielle par le prestataire. Ce dernier accepte de ne divulguer ou publier aucune information relative à cette consultation.

De la même façon, tout document fourni par le prestataire sera considéré comme confidentiel.

13. Compétences attendues de l’évaluateur

Les compétences attendues de l’équipe d’évaluation (au moins 2 personnes pour garantir un croisement des informations recueillies et un partage d’opinion avec minimum une personne ressortissante du pays visité) :

1. Au moins 5 à 10 ans d’expérience de conduite et/ou d’évaluation de programme en lien avec les thématiques liées à la résilience particulièrement dans la région des Grands Lacs. Expérience spécifiquement au Rwanda est un atout.
2. Excellente maîtrise du français et anglais parlé et écrit. Connaissance du Kinyarwanda est un atout.
3. La connaissance du Mouvement International de la Croix-Rouge et du Croissant-Rouge est un atout supplémentaire.
4. Un équilibre des genres dans la composition de l’équipe est fortement souhaité.