Evaluación Final GOAL Honduras: Proyecto: “Programación de la preparación de la respuesta en efectivo en América Latina” At GOAL

1.Introducción

1.1 Antecedentes

El proyecto tiene como objetivo aumentar las capacidades operativas de los actores de los Sistemas Nacionales para la Gestión del Riesgo de Desastres (SNGRD) en Honduras, Guatemala, EL Salvador y República Dominicana para implementar intervenciones de respuesta oportunas y de calidad basadas en efectivo en caso de emergencias/desastres en los países antes mencionados. El proyecto se implementó en colaboración con Cash Learning Partnership (CaLP), basado en la experiencia del programa de transferencia de efectivo de GOAL dirigido a 10,000 familias en la región del Corredor Seco de Honduras, implementado en 2016-2017. Este programa se basa en la iniciativa regional de programación de transferencia de efectivo de GOAL en Honduras, Guatemala, El Salvador y República Dominicana. La iniciativa actual de GOAL está evaluando las capacidades de los programas de protección social para responder durante las emergencias en coordinación con el Programa Mundial de Alimentos (PMA) en Guatemala, Honduras, EL Salvador y la República Dominicana.

GOAL inició un plan de acción para reforzar las capacidades de los diferentes actores de estos países, proporcionando la formación inicial necesaria para lograr el compromiso político y facilitando la identificación de cambios estratégicos en la política y la práctica en relación con la programación de las transferencias monetarias en cada país. Este proyecto propuesto fue seguido por el plan de acción para aumentar capacidades de preparación de los cuatro países.

Este proyecto fue diseñado para encajar con el proyecto implementado durante 2017-2018 en Guatemala, Honduras, El Salvador y La República Dominicana. Este proyecto incluyó la finalización de las evaluaciones de la Herramienta de Preparación Organizacional para el efectivo (OCR), programas de capacitación inicial en Programación de Transferencia de Monetaria (CTP) y Análisis y Mapeo de Mercado de Emergencia (EMMA)/ Análisis de Mercado Previo a la Crisis (PCMA). EL hallazgo de la OCR se utilizará para informar planes de trabajo anuales, objetivos de capacitación e identificar el apoyo técnico necesario para lograr la adopción de CTP.

El proyecto propuesto pretende lograr:

• El desarrollo de la capacidad de los grupos de trabajo para la programación de las transferencias de efectivo.
• Mejora de la sostenibilidad y el funcionamiento de los grupos de trabajo existentes.
• Evaluar las capacidades de SNGRD en la programación de transferencias de efectivo y las capacidades de los programas de protección social para reaccionar durante las emergencias.
• Aumentar las capacidades de SNGRD en la Programación de Transferencias de efectivo a través de la capacitación en Programación de Transferencia de Efectivo y EMMA/PCMA.
• Los SNGRD son capaces de realizar una programación de transferencia de efectivo oportuna y de calidad durante la respuesta a la emergencia como resultado del compromiso político y de los cambios en el entorno normativo, la estructura organizativa y la planificación de contingencia.

1.2 GOAL

GOAL es una organización internacional no gubernamental de desarrollo, fundada en Irlanda en 1977. GOAL ha respondido a la mayoría de las catástrofes a gran escala y ha invertido más de 190 millones de euros en programas humanitarios y de desarrollo en más de 50 países

GOAL lleva 23 años trabajando en América Latina, concretamente en Honduras desde su respuesta al desastre causado por el huracán Mitch, y posteriormente en Haití en respuesta al terremoto de 2009. GOAL se estableció en Honduras desde 1998, con el objetivo de apoyar al país y proporcionar asistencia humanitaria a las personas afectadas, especialmente a las que están impactadas o se están recuperando de la crisis y a las que viven en la pobreza crónica, en las comunidades más necesitadas del país.

A partir de 2002, GOAL ha reorientado su programación y estrategia de la atención primaria a las emergencias y la rehabilitación, hacia programas de desarrollo, trabajando principalmente en las áreas de Sistemas de Mercado, Resiliencia, Sistema de Alerta Temprana, Reducción de Riesgos y Gestión de Desastres, Cambio Climático, Gestión Integral de Recursos Hídricos y Seguridad Alimentaria y Nutricional. Promover el incremento de conocimientos, el cambio de comportamientos y actitudes y la implementación de prácticas en la vida de la población para promover el desarrollo humano integral. Realizar alianzas estratégicas con organizaciones gubernamentales y no gubernamentales, sociedad civil, agencias de cooperación internacional, con el fin de maximizar recursos y tiempo.

2. Alcance y Definiciones

2.1 Objetivos del Proyecto

Como parte de la estrategia del programa, estos objetivos se miden a través de los siguientes indicadores, así como una serie de indicadores de seguimiento y conteo:

Objetivo: Aumentar las capacidades de preparación de los actores de los sistemas nacionales de gestión de riesgos de Honduras, Guatemala, El Salvador y República Dominicana para implementar intervenciones de calidad y oportunas de respuesta en efectivo en situaciones de emergencia.

Resultados:

• Número de actores clave entre los SNGRD y la comunidad humanitaria que asignan recursos (fondos, recursos humanos, logística, etc.) para el desarrollo de los programas de transferencia de efectivo.
• Porcentaje de personas capacitadas que lideran y/o participan en el proceso de cambios estratégicos y/o coordinación o implementación de la Programación de Transferencia de Efectivo.
• Número o porcentaje de Sistemas Nacionales de Gestión del Riesgo de Desastres que han liderado cambios estratégicos para prestar asistencia humanitaria utilizando la programación de transferencias de efectivo.
• Porcentaje de programas de protección social adaptados y/o en proceso para aumentar la asistencia social de forma vertical (aumento del monto de las transferencias) u horizontal (aumento del número de población objetivo).

A continuación, se detallan los indicadores organizados por cada uno de los sectores que se trabajaron con el proyecto.

Sector 1:

Coordinación Humanitaria y Gestión de la Información

Objetivo:

Incrementar la capacidad de preparación y coordinación de la programación de transferencias de efectivo de los Sistemas Nacionales de Gestión del Riesgo de Desastres y los actores humanitarios no gubernamentales en 4 países.

Monto en dólares solicitado: USD $ 379,218

Número de personas objetivo: 82

No. De beneficiarios de PDI a los que se dirige: N / A

Areas Geográficas: El Salvador, Honduras, Guatemala, y República Dominicana

Palabras clave:

Efectivo; cupones. (Este proyecto implica la prestación de asistencia técnica para la programación de las transferencias de efectivo y los cupones en lugar de la asistencia directa en efectivo y en cupones, por lo tanto, no se utilizarán los indicadores de palabras clave).

Nombre de subsector:

Coordinación

Indicador 1:

Número de organizaciones humanitarias que se coordinan activamente.

Indicador 2:

Número de organizaciones humanitarias que participan activamente en los mecanismos de coordinación interinstitucional (p. ej., equipo humanitario de país, clústeres, etc.).

Indicador 3:

Número y porcentaje de organismos humanitarios que participan en evaluaciones conjuntas interinstitucionales.

Indicador de resultado personalizado:

Número de actores clave entre los SNGRD y la comunidad humanitaria que asignan recursos (fondos, recursos humanos, logística, etc.) para implementar la programación de las transferencias de efectivo.

Sector 2:

Política y práctica de gestión de riesgos

Objetivo: Mejorar las capacidades y habilidades para la programación de las transferencias de efectivo entre los Sistemas Nacionales de Gestión del Riesgo de Desastres y la comunidad humanitaria en los 4 países objetivo.

Cantidad de dólares solicitada: USD $ 1,340,611

Número de beneficiarios a los que se dirige:175

No. de beneficiarios de PDI a los que se dirige:N /A

Area(s) Geográfica:

El Salvador, Honduras, Guatemala, y República Dominicana

Palabras clave:

Efectivo; Cupones. (Este proyecto implica la prestación de asistencia técnica para la programación de las transferencias de efectivo y los cupones en lugar de la asistencia directa en efectivo y en cupones, por lo tanto, no se utilizarán los indicadores de palabras clave).

Nombre de Sub-sector

Desarrollo de capacidades y formación

Indicador 1:

Número de personas capacitadas en preparación, mitigación y manejo de desastres, según sexo.

Indicador 2:

Número de personas que aprueban los exámenes finales o reciben certificados, por sexo.

Indicador 3:

Porcentaje de personas capacitadas que conservan sus habilidades y conocimientos después de dos meses

Indicador de resultado personalizado:

Porcentaje de personas capacitadas que dirigen y/o participan en el proceso de cambios estratégicos y/o en la coordinación o el desarrollo de los programas de transferencia de efectivo.

Nombre de Sub-Sector

Política y Planificación

Indicador 1:

Número de planes de reducción de riesgos, estrategias, políticas, preparación para desastres y planes de contingencia desarrollados y en funcionamiento

Indicador 2:

Número de personas participando en debates sobre estrategias nacionales de reducción de riesgos como resultado del programa, por sexo

Indicador 3:

Evaluación de riesgos a nivel nacional y local, y datos sobre peligros y vulnerabilidad.

Información sobre la vulnerabilidad está disponible en las áreas objetivo (S/N)

Indicador de resultado personalizado:

Número o porcentaje de sistemas nacionales de gestión del riesgo de catástrofes que han dirigido cambios estratégicos para prestar asistencia humanitaria utilizando programas de transferencia de efectivo.

Indicador de resultado personalizado:

Porcentaje de programas de protección social adaptados y/o en proceso de aumentar la asistencia social de forma vertical (aumentar el monto de las transferencias) u horizontal (aumentar el número de población objetivo).

2.2 Propósito de la evaluación

El objetivo de esta evaluación es valorar el rendimiento de GOAL y la ejecución del proyecto financiado por BHA de acuerdo con los criterios de evaluación de la OCDE.

Se espera identificar el nivel de incremento de las capacidades operativas de los actores de los Sistemas Nacionales de Gestión de Riesgo de Desastres (SNGRD) en Honduras, Guatemala, El Salvador y República Dominicana, para realizar intervenciones de respuesta oportuna y de calidad en base a dinero en efectivo en caso de emergencias/desastres en esos países, evaluando los aprendizajes, las lecciones aprendidas, las buenas prácticas y las competencias que se han desarrollado.

La evaluación ayudará a GOAL y a las partes interesadas del SNGRD a mejorar su programación futura a través de las lecciones aprendidas y las mejores prácticas generadas a través de este proyecto.

2.3 Alcance de la evaluación

Se desarrollará una evaluación sumativa del rendimiento en torno a los criterios de evaluación de la OCDE, tal como se indica a continuación, con las preguntas de investigación sugeridas.

1. Pertinencia: ¿Cómo se fortalecieron las capacidades de preparación y coordinación de los actores clave dentro de los Sistemas Nacionales de Gestión de Riesgos de Desastres y de los actores humanitarios no gubernamentales para la implementación de los programas de transferencia de efectivo? ¿Qué factores internos o externos contribuyeron o limitaron la adopción de la programación de transferencias de efectivo? ¿En qué medida fue eficaz su enfoque para lograr el objetivo de la actividad?
2. Coherencia: ¿Cómo ha adaptado la dirección el diseño o la ejecución de la actividad basándose en la información de seguimiento y en los comentarios de los agentes humanitarios y en las diferentes necesidades de los actores clave del SNGRD?
3. Eficacia: ¿Cuál ha sido el rendimiento en relación con los indicadores establecidos? ¿Existen efectos negativos o imprevistos a causa de este proyecto? ¿Cómo ha adaptado la dirección el diseño o la ejecución del proyecto basándose en la información de seguimiento y en los comentarios de los agentes humanitarios?
4. Eficiencia: ¿Se desarrollaron/implementaron las herramientas para mejorar la eficiencia? ¿Cómo se gestionaron los problemas y desafíos?
5. Consecuencias imprevistas y lecciones aprendidas: ¿Cuáles fueron los cambios esperados e inesperados, positivos y negativos? ¿Qué factores parecen facilitar o inhibir estos cambios?
6. Sustainability: ¿Qué capacidades se fortalecieron a nivel nacional para la adopción de la programación de transferencias monetarias? ¿En qué medida se desarrollaron asociaciones/capacidades relevantes para garantizar la sostenibilidad?

2.4 Tareas de evaluación del proyecto

1. Afinar los objetivos de la evaluación y las preguntas de la evaluación primaria en consulta con los equipos técnicos y de gestión de GOAL.
2. Incorporar preguntas de evaluación específicas relativas a las áreas estratégicas del programa y a las actividades piloto realizadas durante el mismo.
3. Diseñar y probar una metodología y herramientas de evaluación para abordar los objetivos específicos y las preguntas de investigación individuales de la evaluación.
4. Llevar a cabo la recopilación de datos secundarios y la investigación, incluyendo el uso de los datos de seguimiento de proyectos existentes de GOAL, para identificar las lagunas en la cobertura de datos y el conocimiento.
5. Recoger datos primarios para establecer y cuantificar el rendimiento de GOAL en relación con los indicadores y criterios del programa seleccionados que se han señalado anteriormente.
6. Proporcionar un proyecto de informe a la dirección del programa que se incorporará a la planificación y evaluación del programa en curso, así como recomendaciones para maximizar el impacto social.
7. Facilitar un taller para validar los resultados de la evaluación con GOAL y las partes interesadas.
8. Incorporar los comentarios de GOAL en un borrador del informe y preparar un informe final (que incluya un resumen ejecutivo que pueda utilizarse como documento independiente). El informe final debe describir los resultados de la evaluación y ofrecer recomendaciones prácticas para mejorar el programa de GOAL.

3.Metodología

A continuación, se presenta una metodología recomendada, aunque las herramientas y la metodología final serán determinadas por el evaluador y se ajustarán a las tareas mencionadas que serán revisadas y aprobadas por GOAL.

GOAL recomienda un enfoque de métodos mixtos que pueda cuantificar el impacto y el logro frente a los objetivos e indicadores.

3.1 Planificación

El equipo de evaluación hará lo siguiente:

• Revisar los principales documentos internos y externos.
• En colaboración con el coordinador de MEAL, el gerente del proyecto y la directora de programas del país, perfeccionar y ultimar las preguntas específicas de evaluación que deben explorarse a partir del ámbito descrito anteriormente.
• Proponer al Coordinador de MEAL y al equipo del programa la metodología adecuada que debe desarrollarse en el contexto para evaluar el proyecto y abordar los criterios de evaluación de la OCDE.
• Preparar un esquema de los métodos de recopilación de datos necesarios, las plantillas de encuestas pertinentes y las guías de recopilación de datos participativas que se utilizarán para la recopilación de datos.
• Desarrollar un plan de trabajo que conste de los hitos clave necesarios para la recogida de datos a fin de que el coordinador de MEAL pueda organizar la logística.
• Celebrar una breve reunión de planificación con todos los miembros del equipo de evaluación, incluido el coordinador de MEAL y los equipos de programa pertinentes, para revisar y modificar las preguntas según sea necesario para las herramientas de recopilación de datos.
• Celebrar un breve taller con el coordinador de MEAL para comunicar los métodos, objetivos y resultados de la evaluación. Esto incluirá una breve descripción de las preguntas y los métodos de evaluación propuestos.
• Análisis de los datos, elaboración del informe, preparación del resumen de las conclusiones, seminario web y difusión

Tabla 1: Plan de trabajo tentativo de la evaluación final (externa)

#

Actividad

Mes 1

Mes 2

Mes 3

Observación

Planificación

1 Revisar los principales documentos internos y externos.

2 Afinar y finalizar las preguntas específicas de evaluación que se explorarán a partir del alcance descrito anteriormente

3 Presentar la metodología actualizada.

4 Preparar un esquema de los métodos de la recopilación de datos necesarios y las plantillas de encuestas pertinentes y las guías de recopilación de datos participativos que se utilizarán para la recopilación de datos.

5 Revisión y aprobación de los instrumentos de consulta.

Ejecución

6 Recopilación de datos de campo entrevista/grupos focales

7 Análisis y tabulación de los resultados.

8 Preparación del primer borrador del reporte

9 Revisión del borrador

10 Ediciones al informe final

11 Revisión final y entrega de informe.

12 Presentación de los resultados a las partes interesadas.

3.2 Recolección de datos primarios

Las zonas de recolección de datos primarios incluyen Honduras, Guatemala, El Salvador y República Dominicana.

Si bien los métodos cuantitativos, como las entrevistas, las listas de comprobación de la observación y las pruebas físicas, son deseables para la medición de los indicadores, GOAL espera un equilibrio de métodos cuantitativos y cualitativos para comprender mejor los mecanismos que producen determinados resultados o que pueden impedir la obtención de mayores resultados.

3.3 Análisis de Datos

GOAL espera que todos los datos cuantitativos se analicen rigurosamente y sean representativos del área del proyecto dentro de los límites y restricciones razonables del contexto. Los datos cualitativos también deben ser analizados rigurosamente y deben centrarse en el desarrollo de una comprensión más profunda sobre la relevancia del programa, y proporcionar recomendaciones para mejorar o fortalecer la eficacia, la eficiencia y la sostenibilidad de los resultados del programa.

4. Presentación y Documentación de Hallazgos y Recomendaciones

Esta consultoría se llevará a cabo al final del período de subvención, no antes del 25 de noviembre de 2022, y el informe final aprobado se presentará no más tarde del 25 de febrero de 2023.

Los resultados de la evaluación deben compartirse con GOAL en los siguientes formatos:

• Taller de clausura con el personal de GOAL para presentar las conclusiones y recibir retroalimentación:
  • Lecciones aprendidas y mejores prácticas acordadas que pueden incorporarse en la programación de sectores relevantes.
  • Recomendaciones acordadas que informarán y mejorarán la futura estrategia programática de GOAL, con puntos de acción y plazos acordados.
• Borrador del informe de evaluación presentado al coordinador de MEAL, al gerente del proyecto, a la directora programa del país y al director del país para que aporten sus opiniones y comentarios, dos semanas después de la conclusión de la visita de campo.
• En formato digital e impreso (1 copia en inglés y español) Informe final de evaluación- El informe debe ser claro y conciso (formato de 1 a 30 páginas sin contar los anexos) y se deben incluir como mínimo las siguientes secciones:

1. Portada
2. Índice de contenidos
3. Resumen ejecutivo (máximo 3 páginas, redactado de forma que pueda utilizarse como documento independiente para compartirlo con las partes interesadas)
4. Introducción/antecedentes
5. Revisión de la literatura sobre la programación de la preparación para la respuesta en efectivo,
6. Metodología,
7. Resultado organizado en torno a los criterios de evaluación de la OCDE
8. Para cada sistema y otros de carácter general:
9. Análisis de los resultados
10. Lecciones aprendidas
11. Buenas prácticas
12. Recomendaciones.
13. Anexos:
14. Términos de referencia
15. Plan de trabajo de la evaluación
16. Lista de personas consultadas
17. Declaración de la documentación revisada,
18. Fotografías del proceso de evaluación
19. Resultados estadísticos (si procede)
20. Plantillas de herramientas de recogida de datos utilizadas,
21. Resumen de los resultados de las encuestas (incluyendo algunas frases contextuales sobre la ejecución del proyecto por parte de las personas consultadas)
22. Cualquier otro material relevante

• Desarrollar un seminario web en coordinación con el equipo técnico de GOAL para compartir los resultados con los actores clave.
• Anexos: Términos de referencia, cronograma de la respuesta, lista de personas entrevistadas, plantillas de los instrumentos de recolección de datos utilizadas, descripción de los métodos empleados, y cualquier otro material pertinente.

5. Difusión de los resultados

Los resultados y las recomendaciones se pondrán a disposición de las partes interesadas a discreción de USAID/BHA y de la dirección local de GOAL. El informe final y los datos primarios recopilados serán propiedad de USAID/BHA.

Tras la aprobación del informe final, el equipo consultor desarrollará un seminario web en coordinación con el equipo técnico de GOAL para compartir los resultados con los actores clave.

Si determinadas secciones de la evaluación se consideran útiles o informativas para la comunidad humanitaria en general, como lecciones aprendidas u oportunidades para mejorar la programación, el informe completo se hará público en el Development Experience Clearinghouse. Tal y como establecen las directrices de USAID, antes de ponerse a disposición del público, los informes de evaluación deben ajustarse para eliminar la información que entra dentro de una de las “excepciones de principio a la presunción a favor de la apertura” establecidas en el Boletín 12-01 de la OMB, “Guidance on Collection of U.S. Foreign Assistance Data” (Guía para la recopilación de datos de ayuda exterior de Estados Unidos).

16. Consideraciones Éticas

El equipo de evaluación dejará claro a todas las partes interesadas participantes que no tienen ninguna obligación de participar en el estudio de evaluación. Se asegurará a todos los participantes que no habrá consecuencias negativas si deciden no participar. El equipo de evaluación obtendrá el consentimiento informado de los participantes. El equipo de evaluación se asegurará de que se reciba el permiso previo para la toma y el uso de imágenes visuales fijas o en movimiento para fines específicos, es decir, “para el informe de investigación y las presentaciones”.

El equipo de evaluación garantizará el anonimato y la confidencialidad de los participantes y se asegurará de que los datos visuales estén protegidos y se utilicen únicamente para los fines acordados. En particular, el equipo de evaluación empleará medidas sólidas de seguridad de datos para garantizar aún más la confidencialidad y el anonimato de los participantes.

El equipo de evaluación es responsable de determinar si su metodología propuesta requerirá o no la aprobación de la Junta de Revisión Institucional (IRB) y será responsable de aprobar el proceso y la capacitación si se requiere dicha aprobación.

GOAL exige que los consultores conozcan y trabajen de acuerdo con las normas de protección de datos pertinentes. Asimismo, el proceso de evaluación debe desarrollarse de acuerdo con las pautas establecidas en las directrices éticas para la recogida de datos y los formularios de consentimiento de GOAL.

7. Supuestos y requisitos

• Los evaluadores tendrán acceso a toda la documentación y podrán participar en las reuniones y viajes de campo pertinentes en Honduras y en las reuniones virtuales con los representantes de Guatemala, la República Dominicana y El Salvador.
• GOAL proporcionará un punto focal dentro del personal de GOAL en el sitio de campo para la coordinación de la planificación y la realización de la evaluación.
• Los evaluadores tendrán acceso al personal clave de las oficinas de GOAL que responden en Honduras.
• El equipo de evaluación tendrá acceso a los representantes de las instituciones gubernamentales para realizar entrevistas.
• Los evaluadores tendrán en cuenta la confidencialidad y la objetividad durante el proceso.
• GOAL proporcionará las instrucciones de seguridad pertinentes y organizará los permisos de viaje correspondientes si es necesario
• Los problemas de seguridad podrían afectar al cronograma y al alcance de la evaluación. Es importante que el equipo sea flexible. Deben estar abiertos a realizar cambios en el calendario y el itinerario, como visitar lugares alternativos, realizar revisiones y entrevistas a distancia, etc.
• GOAL proporcionará todo el transporte y el alojamiento en Honduras (si procede).
• GOAL brindará apoyo logístico.

1. Equipo de evaluación

La propuesta para el desarrollo de la evaluación puede ser presentada por individuos (ver perfil del consultor), quienes definirán el tamaño del equipo que brindará asistencia técnica para la recolección y análisis de la información. Se recomienda que el equipo de evaluación esté compuesto por un evaluador principal y dos asistentes de recolección y análisis de datos.

Se recomienda que el equipo técnico que apoyará al consultor principal tenga conocimientos en el área de la investigación social, o de la evaluación humanitaria con experiencia en la reducción del riesgo de desastres en contextos urbanos, y con un conocimiento profundo de los métodos de investigación cuantitativos y cualitativos y una experiencia verificable de más de cinco años en el área de la evaluación preferiblemente de USAID / BHA LAC.

9. Perfil del consultor

Para los fines de esta evaluación, GOAL da la bienvenida a los evaluadores internacionales y nacionales.

El perfil del consultor principal es

• Personas o empresas del mundo académico, de la investigación social o de la evaluación humanitaria con experiencia en ayuda humanitaria, incluida la intervención basada en el dinero en efectivo, métodos de investigación u otros campos relacionados
• Entre 3 a 5 años de experiencia en la realización de evaluaciones aplicando los criterios de evaluación de la OCDE, incluidos los proyectos financiados por USAID/BHA, idealmente dirigiendo un equipo de evaluación y con experiencia en el diseño de la metodología/herramientas de evaluación, análisis de datos, etc.
• Experiencia de trabajo en contextos humanitarios y buena comprensión del trabajo de respuesta humanitaria, tanto en programas como en operaciones.
• Conocimiento exhaustivo de los métodos de investigación cuantitativos y cualitativos.
• Competencia en el uso de paquetes estadísticos para análisis cuantitativos y cualitativos.
• Excelente capacidad de presentación y redacción.
• Capacidad para trabajar en colaboración con múltiples partes interesadas.
• Excelente capacidad de análisis y redacción en inglés y español, preferiblemente.