Evaluation du Programme Paix et Droits Humains du Département Fédéral des Affaires Etrangères Suisse au Sud Kivu, RD Congo 2013-2021 At Life and Peace Institute

Evaluation du Programme Paix et Droits Humains du Département Fédéral des Affaires Etrangères Suisse au Sud Kivu, RD Congo

2013-2021

Termes de Référence

Date limite de dépôt des propositions techniques et financières

18 novembre 2021 (minuit heure de Bukavu, RD Congo)

Période proposée pour la consultance

1^er décembre 2021 – 30 avril 2022

Durée

Approx. 30 jours de consultance pour chaque membre de l’équipe d’évaluation (sur une base de 3 membres)

Lieu

Sud-Kivu, RD Congo (certaines étapes clés de l’évaluation peuvent être menées à distance)

1. Introduction

Fondé en 1985, le Life & Peace Institute (LPI) est un centre international basé à Uppsala, en Suède, qui

soutient et promeut des approches non violentes de la transformation des conflits en combinant recherche et action. Dans la Corne de l’Afrique et dans la région des Grands Lacs, une grande partie du travail de LPI se fait par le biais d’un engagement et d’un soutien aux organisations de la société civile et aux institutions académiques, en établissant des partenariats stratégiques avec des organisations nationales, régionales et internationales.

LPI est opérationnel en RDC depuis 2002 et a facilité ces deux dernières décennies des processus approfondis d’analyse et de transformation des conflits par le biais de méthodes collaboratives et participatives, telles que la recherche-action participative (RAP) en partenariat avec un ensemble d’organisations partenaires nationales spécialisées dans la consolidation de la paix.

En 2019-20, LPI a coordonné une évaluation collaborative sectorielle de dix années d’interventions de consolidation de la paix dans l’Est de la RDC. [1] Cette évaluation a permis à LPI, ses partenaires et d’autres organisations sœurs œuvrant dans la consolidation de la paix de tirer de multiples enseignements quant aux facteurs qui favorisent le ‘succès’ des processus de consolidation de la paix et aux lacunes et défis auxquels font face les acteurs nationaux et internationaux.

Récemment, la Division Paix et Droits Humains (DPDH) du Département Fédéral des Affaires Etrangères (DFAE) de la Suisse a mandaté LPI pour coordonner une évaluation de la cohérence, l’efficacité et la pertinence de son portefeuille au Sud-Kivu sur la période 2013-2021.

La DPDH a pour objectif depuis 2013 en RDC de contribuer avec ses partenaires nationaux et locaux à la réduction et à la prévention de la violence extrême à l’Est de la RDC (Nord et Sud Kivu). Elle a appuyé des processus de dialogue inclusif et de résolution de conflits locaux et a apporté un soutien aux mécanismes judiciaires nationaux de lutte contre l’impunité des crimes internationaux. Elle contribue également à la promotion et protection des droits fondamentaux notamment des défenseurs des droits de l’homme à plusieurs niveaux.

Au cours de ces dernières années, l’engagement de la DPDH a évolué, différentes pistes ont été explorées et des partenariats de longue durée ont été noués avec des organisations locales, ainsi qu’avec les autorités nationales et provinciales. La DPDH mène désormais des réflexions sur la pertinence de ses engagements géographiques, de l’impact de ses programmes de politique de paix ainsi que de la meilleure manière d’engager ses ressources. L’évaluation coordonnée par LPI et qui est l’objet de ces TdR vise ainsi à répondre à certaines de ces interrogations.

2. Objectifs

2.1. Objectif général

L’objectif général de l’évaluation est d’informer et orienter la programmation future de la DPDH à l’Est de la RDC sur la base d’une compréhension fine des facteurs favorisant sa plus-value dans la zone, l’efficacité et la cohérence de ses interventions, ainsi que la pertinence et durabilité des résultats atteints.

2.2. Objectifs spécifiques

Les objectifs spécifiques de l’évaluation sont les suivants :

i. Analyser de manière critique la cohérence et l’efficacité du portefeuille ‘réduction et prévention de la violence extrême’ de la DPDH, et la pertinence et durabilité des résultats atteints.

ii. Identifier des leçons apprises et formuler des recommandations afin d’informer l’engagement futur de la DPDH à l’Est de la RDC, en tenant compte de l’objectif d’engagement politique au niveau national ainsi que des ressources (financières, humaines) actuelles de la DPDH.

iii. Informer la formulation d’une Théorie du Changement qui articulerait la programmation future de la DPDH.

iv. Contribuer aux réflexions sur la pertinence des initiatives de paix à l’Est et l’amélioration de leur effectivité dans une perspective de transformation des conflits et de lutte contre l’impunité à travers le partage et la diffusion des résultats clés de l’évaluation.

3. Portée de l’évaluation

L’évaluation sera réalisée au niveau du portefeuille de la DPDH ‘réduction et prévention de la violence extrême’ spécifiquement sur la période 2013-2021 dans la province du Sud Kivu.

L’évaluation portera sur les critères de cohérence, d’effectivité, de pertinence et de durabilité du programme de la DPDH au Sud Kivu. En d’autres termes, l’évaluation ne portera pas sur les objectifs et résultats distincts des différents projets et interventions financés par la DPDH. Elle se fera au niveau du portefeuille de la division afin de mettre en lumière sa valeur ajoutée, sa ‘niche’ et son potentiel transformatif, tout en identifiant les résultats cumulés et liens entre les différents éléments clés du portefeuille (par exemple la mesure dans laquelle la vision politique de la DPDH est nourrie et informe à son tour la programmation opérationnelle sur le terrain).

Schématiquement, le portefeuille de la DPDH dans l’Est de la RDC est articulé autour de trois axes, à savoir interventions de dialogues inclusifs de paix, protection des défenseurs des droits humains et lutte contre l’impunité (incl. justice transitionnelle et traitement du passé). A cet égard, l’évaluation comprendra possiblement un exercice de formulation rétroactive de théorie du changement lors de l’atelier de conception méthodologique et sur la base des documents internes revus dans le cadre de la revue de littérature. (voir section 7. Méthodologie)

En outre, deux cas d’étude spécifiques d’initiatives de ‘dialogue inclusif et de paix’ financées par la DPDH pourront faire l’objet d’un zoom particulier dans la méthodologie de l’évaluation.

L’évaluation couvrira les zones au Sud Kivu où les interventions des partenaires financés par la DPDH sont concentrées. Les sites spécifiques visités lors de la collecte des données seront définis précisément lors de l’atelier de conception méthodologique en collaboration avec le Comité de Pilotage de l’évaluation et les partenaires de la DPDH, en fonction de l’accessibilité et de la pertinence à la lumière des objectifs de l’évaluation et du budget, entre autres critères de sélection.**

4. Questions clés et critères d’évaluation

L’évaluation sera articulée autour de trois grandes questions clés, à savoir :

1. Si et comment la DPDH a contribué à la réduction et prévention des violences et à la résolution de certaines des causes profondes aux conflits à travers ses approches de dialogues de paix, lutte contre l’impunité et protection des droits humains mises en œuvre en partenariat avec diverses parties prenantes, dont la société civile, les acteurs du secteur privé, les autorités et les confessions religieuses entre autres (en d’autres termes, la DPDH a-t-elle fait une différence).

2. Dans quelle mesure la DPDH a eu une influence d’ordre politique (directement et/ou avec ses partenaires – société civile, secteur privé et autorités) et à quels niveaux.

3. Quels sont les liens entre les interventions sur le terrain (au niveau dit ‘communautaire’ et provincial) et entre ces interventions et l’influence politique de la DPDH ?

Afin de répondre à ces questions, l’évaluation portera sur les critères d’efficacité, de cohérence, de pertinence et de durabilité. Les questions indicatives suivantes pour chacun de ces critères seront davantage priorisées, précisées et affinées par et avec l’équipe d’évaluation, notamment lors de l’atelier de conception méthodologique (voir section 7. Méthodologie pour plus de détails concernant cet atelier).

Critère

Questions directrices

Efficacité

1. Quels sont les principaux effets/changements (attendus et non-attendus, positifs et négatifs) auxquels les interventions du programme de la DPDH au Sud Kivu (niveau provincial et sub-provincial) ont contribué ?

1.1. Quels sont les principaux facteurs internes (eg types d’interventions, modalités de partenariat, petits financements, intégration et travail en réseau avec certains acteurs, eg secteur privé, inclusion) qui ont favorisé ces effets/changements ?

1.2. Quels sont les principaux facteurs qui ont limité ces effets/changements ?

1. Quelle a été l’influence politique de la DPDH au niveau provincial et national ?

Pertinence

1. Dans quelle mesure les interventions financées par la DPDH répondent-elles directement/explicitement aux dynamiques de paix et conflit, notamment au niveau régional, et aux besoins/priorités tels que définis par diverses populations affectées par les conflits au quotidien ?
2. Pertinence des partenariats et de leurs modalités –

4.1. Dans quelle mesure les partenaires (financés) de la DPDH sont-ils positionnés (thématiquement et géographiquement) de façon pertinente pour répondre aux causes et dynamiques conflictuelles ?

4.2. Dans quelle mesure la DPDH a intégré et su capitaliser sur le potentiel transformatif d’une diversité d’acteurs et partenaires stratégiques, notamment le secteur privé ?

Cohérence

1. Dans quelle mesure les différents axes d’intervention de la DPDH pour la prévention et réduction de la violence extrême – dialogue de paix, lutte contre l’impunité, justice et vérité, protection des droits humains – se renforcent-ils mutuellement ? Comment ?
2. Dans quelle mesure le portefeuille de la DPDH au Sud-Kivu est-il aligné et complémentaire avec les priorités stratégiques de la DPDH d’une part et de la DDC d’autre part en matière de paix et engagement politique ? Et dans quelle mesure s’inscrit-il dans une ‘whole-of-government approach’ (+ triple nexus) ?

6.1. Quelles sont les synergies existantes entre le portefeuille de la DPDH et celui de la DDC au Sud Kivu ?

Durabilité

1. Dans quelle mesure les approches et interventions financées par la DPDH ainsi que les modalités de financement et de partenariat promeuvent-elles des changements durables (eg ‘grands projets’ vs ‘petits financements’ ponctuels) ?

5. Méthodologie

L’évaluation se basera sur une méthodologie participative, qualitative et adaptée aux contextes complexes, telle que l’approche Outcome Harvesting (OH)[2]. La méthodologie spécifique pour la collecte des données primaires et secondaires et l’analyse sera détaillée lors de l’atelier de conception méthodologique qui se tiendra, si possible pour l’équipe d’évaluation, la semaine du 6 décembre 2021.

Cet atelier réunira la DPDH, ses partenaires, la DDC, LPI et sera facilitée par l’équipe d’évaluation. Il visera à :

1. Valider les besoins et objectifs de la DPDH sur la base de ces TdR, des consultations préliminaires avec la DPDH et de la revue de littérature.
2. Si possible, formuler a posteriori avec la DPDH une théorie du changement qui permettrait d’articuler son portefeuille depuis 2013 et qui serait ensuite testée par l’évaluation (en particulier autour de la question de la cohérence)
3. Mettre à jour l’analyse de paix et conflit des zones couvertes par la DPDH – dans les grandes lignes et sur la base de la revue de littérature
4. Définir plus précisément les questions d’évaluation et le scope thématique de l’évaluation
5. Définir précisément les sites pour la collecte des données sur la base de critères définis conjointement avec les différentes parties prenantes (eg accessibilité, pertinence à la lumière des objectifs et questions de l’évaluation, ressources requises, entre autres)
6. Identifier les parties prenantes à consulter dans le cadre de la collecte des données ; définir l’échantillonnage et les critères d’identification et sélection des groupes et personnes à consulter
7. Définir les méthodes de collecte des données et informer le développement des outils de collecte des données
8. Convenir des responsabilités des partenaires de la DPDH (eg introduire l’équipe d’évaluation auprès de leurs groupes cibles et communautés cibles plus largement, etc).

A ce stade, LPI anticipe que l’évaluation combinera plusieurs méthodes de collecte de données afin de favoriser la triangulation des données primaires et secondaires récoltées, notamment à travers:

· Une revue de littérature : littérature grise de la DPDH ; analyses et évaluations internes (par exemple les évaluations d’APC et de l’ILC) et externes existantes.[3]

· Une mission préparatoire menée par LPI pour présenter les objectifs et modalités de l’évaluation des diverses parties prenantes dans les sites et obtenir leur approbation.

· Une collecte des données primaires – possiblement sur la base de la méthodologie Outcome Harvesting – avec un ensemble d’entretiens semi-structurés et de focus groups (eg jeunes hommes et jeunes femmes ; femmes ; société civile ; groupe mixte – membres de la communauté ; autorités)

· Atelier d’analyse des données réunissant LPI, l’équipe d’évaluation, le Comité de Pilotage et les partenaires de la DPDH, ainsi que des représentants des autorités (probablement le dernier jour)

· Validation auprès des parties prenantes consultées et de leurs communautés et développement participatif de recommandations. Les séances de restitution/validation réuniront un échantillon représentatif des personnes consultées pendant la collecte des données (et non toutes les personnes consultées).

Une attention particulière sera accordée à la conception d’une méthodologie inclusive, participative et sensible au conflit, qui évite de créer de la fatigue au sein des parties prenantes et évite l’extraction abusive de données, notamment en assurant la validation des données et le développement participatif des recommandations.

En outre, la méthodologie proposée prévoira un plan de contingence dans le cas où la volatilité du contexte ou la pandémie de COVID-19 et les mesures de réponse constituent un obstacle à la collecte des données sur le terrain.

6. Livrables et calendrier provisoire

L’évaluation est prévue pour une durée maximum de 5 mois, de décembre 2021 à avril 2022.

Outre les activités menées par l’équipe d’évaluation – notamment l’animation d’un atelier de conception méthodologique et de l’atelier d’analyse des données ; la collecte des données ; le check-in avec le Comité de Pilotage et LPI ; l’animation de séances de validation et de développement des recommandations – les principaux livrables attendus de la part de l’équipe d’évaluation incluent :

1. Rapport d’inception présentant la méthodologie pour la collecte et l’analyse des données ; les drafts des outils de collecte des données ; les résultats émanant de la revue de littérature et des consultations initiales ; le plan de travail ; une évaluation des risques et mesures de mitigation

2. Premier draft du rapport final et recommandations pour informer la programmation future de la DPDH (maximum 25 pages) – version interne

3. Rapport final– version interne pour l’usage de la DPDH uniquement

4. Rapport final – version publique approuvée par la DPDH

L’équipe d’évaluateurs, en collaboration avec LPI, établira un plan de travail plus précis de l’évaluation, incluant les différentes étapes clés de l’évaluation et leurs échéances.

A ce stade, il est anticipé que l’évaluation se réalise selon le calendrier provisoire suivant :

Déc. 2021

Consultations initiales avec le Comité de Pilotage

Equipe d’évaluation (ET)

Revue de littérature

Atelier de conception méthodologique, incluant session pour mettre à jour l’analyse de conflit et paix (semaine du 6 décembre, si possible pour l’équipe d’évaluation)

Conception des outils de collecte des données

Livrable 1 : Rapport d’inception

Première mission préparatoire

Collecte des données pilote

Janvier 2 Missions préparatoires (suiteMICRO)

Collecte des données (suite)

Check-in avec le Comité de Pilotage

Fév. 2022

Atelier d’analyse

Visites de terrain pour validation et développement participatif des recommandations

Livrable 2 : Premier projet de rapport final (version interne)

Mars 2022

Revue du rapport par la DPDH (et autres parties prenantes, par exemple DDC)

DPDH/utilisateurs principaux

Livrable 3 : Rapport final (version interne)

Livrable 4 : Rapport final (version publique)

7. Rôles clés dans le processus d’évaluation

Equipe d’évaluation : l’équipe d’évaluation sera extérieure à LPI et aux autres principaux

utilisateurs. L’équipe d’évaluation préparera et guidera les principaux choix méthodologiques, en étroite consultation avec LPI et le Comité de Pilotage (voir ci-dessous). L’équipe d’évaluation sera la principale partie responsable de la collecte et documentation des données, de l’analyse participative, de la validation et de l’élaboration de recommandations de manière à créer des espaces de réflexion collaborative pour les utilisateurs visés et les acteurs impliqués. Les livrables attendus de la part de l’équipe d’évaluation sont décrits dans la section ci-dessus.

LPI : LPI sera en charge de la coordination de l’évaluation pour la DPDH. Cette coordination inclut notamment le recrutement de l’équipe d’évaluation, l’organisation logistique des ateliers et missions de collecte des données sur le terrain, la coordination et assurance qualité du processus d’évaluation, de collecte et d’analyse des données à chaque étape de l’évaluation ainsi que la soumission du rapport final à la DPDH.

Comité de pilotage : Afin de donner des orientations stratégiques quant au processus d’évaluation et d’en assurer la qualité et la pertinence, un Comité de pilotage sera également mis en place sous le leadership de la DPDH. Il sera constitué de représentants de la DPDH, de l’Ambassadeur suisse en RDC, de représentants du bureau de la DDC à Bukavu et de membres de LPI. Ce comité aura les responsabilités suivantes : valider les Termes de Référence de l’évaluation, valider la sélection de l’équipe d’évaluation, participer aux ateliers de conception de la méthodologie et d’analyse (pour certains des membres du Comité), valider le rapport final (version interne et version publique) et rédiger une réponse à l’évaluation (pour certains des membres du Comité, en particulier les représentants de la DPDH). Le Comité de Pilotage sera par ailleurs invité à échanger avec l’évaluateur lead à au moins deux reprises pendant le processus : consultations initiales visant à identifier plus précisément les besoins et attentes de la DPDH et des autres membres du Comité de Pilotage et check-in en amont de l’atelier d’analyse des données pour partager les observations initiales et orienter l’atelier d’analyse afin qu’il réponde dans la mesure du possible aux attentes du Comité.

8. Equipe d’évaluation

A ce stade, considérant le scope de l’évaluation, il est anticipé qu’une équipe composée de trois évaluateurs est nécessaire à la bonne réalisation de cet exercice. L’un-e de ces trois évaluateurs endossera le rôle d’évaluateur lead/consultant principal, possiblement un-e consultant-e international-e ou national en fonction de l’expérience, expertise et compétences en évaluation dans le domaine de la consolidation de la paix dans des contextes complexes. Les deux autres consultants endosseront le rôle d’assistants à l’évaluateur lead.

Les membres de l’équipe devront posséder une combinaison d’expériences, de compétences en évaluation et de connaissances thématiques comme suit.

L’évaluateur lead devra posséder les compétences et qualifications suivantes :

· Au minimum, master en relations internationales, ‘peace and conflict studies’, sciences sociales ou domaine apparenté;

· Minimum 10 ans d’expérience avérée dans la conception et la mise en œuvre d’évaluations complexes dans le domaine de la consolidation de la paix ;

· Compétences analytiques et connaissance fine du contexte de l’Est de la RDC ;

· Avoir déjà mené des évaluations complexes et similaires dans la région de Grands Lacs et si possible dans l’Est de la RDC

· Bonne connaissance du français, tant à l’oral qu’à l’écrit

· Indépendance, impartialité et objectivité par rapport aux objectifs et thèmes de l’évaluation

En outre, une expérience avérée en Outcome Harvesting constitue un atout.

Les co-évaluateurs devront posséder les compétences et qualifications suivantes :

· Master ou à défaut licence en relations internationales, sciences sociales, droit, ‘peace and conflict studies’ ou domaine apparenté ;

· Être résident et/ou être autorisé à travailler en RD Congo

· Expérience avérée avec des organisations œuvrant pour la transformation des conflits en RD Congo, en particulier au Sud Kivu et connaissance approfondie des dynamiques conflictuelles dans la province.

· Expérience avérée dans des processus d’évaluation ;

· Compétences en collecte des données qualitatives, transcription et analyse

· Expérience avérée dans l’intégration des approches sensibilité au conflit et sensibilité au genre dans des processus d’évaluation et/ou de consolidation de la paix

· Disponibilité pour des missions sur le terrain dans des zones difficilement accessibles et peu sécures

· Maitrise du français et du kiswahili

· Indépendance, impartialité et objectivité par rapport aux objectifs et thèmes de l’évaluation

Les modalités et la distribution des responsabilités au sein de l’équipe seront proposées par l’équipe même. LPI encourage une répartition complémentaire des responsabilités afin d’éviter toute duplication d’efforts. Par exemple, la/le consultant-e lead pourrait travailler à distance, hormis pour la facilitation de l’atelier de conception de méthodologique et de l’atelier d’analyse des données qui sera faite en présentiel sur Bukavu, RD Congo. Les évaluateurs assistants pourraient prendre le lead dans la collecte des données sur le terrain et la transcription des données.

9. Budget et honoraires

LPI paiera des honoraires journaliers pour un nombre préalablement convenu de jours payables pour les trois membres de l’équipe d’évaluation. Le nombre de jours sera convenu sur la base de la proposition technique de l’équipe d’évaluation.

Les honoraires pourront faire l’objet de négociations. Cependant, le budget total pour les honoraires pour l’équipe d’évaluation ne devrait pas dépasser 42,000 USD.

LPI couvrira ou remboursera les frais de voyage de l’équipe d’évaluation conformément à ses politiques et procédures. LPI couvrira également tous les coûts liés aux activités de l’évaluation telles que la collecte de données, les missions et les ateliers, conformément au contrat liant LPI et la DPDH.

[1] LPI, 2021, Rapport d’évaluation : Collaborative learning from the bottom-up: identifying lessons from a decade of peacebuilding in North and South Kivu through bottom-up evaluation (2009-2019), disponible sur le lien suivant: https://assets.ctfassets.net/jzxyrkiixcim/3M7VArysEEDnDhuLUkxn42/dd2370d5fea91fecd5a9a9021d428937/Evaluation_Report_DRC.pdf

[2] « La récolte des résultats est une approche de suivi et d’évaluation inspirée de la cartographie des résultats et de l’évaluation axée sur l’utilisation. Cette méthode recueille des preuves de ce qui a été réalisé dans le programme ou la zone du projet et travaille à rebours pour déterminer si et comment l’intervention a contribué au changement. Elle diffère des autres méthodes d’évaluation qui commencent par des résultats prédéterminés et mesurent les progrès accomplis dans leur réalisation. Voir : Wilson-Grau, R. (2015) Outcome Harvesting. Meilleure évaluation, http://betterevaluation.org/plan/approach/outcome_harvesting

[3] La DPDH recueillera et partagera avec l’organisation en charge de la coordination de l’évaluation et l’équipe d’évaluateurs un ensemble de documents pertinents à la lumière des objectifs de l’évaluation – notamment les propositions de projet de ses partenaires ; les évaluations existantes ; les documents internes définissant les orientations stratégiques de la Division, entre autres.