Consultancy Evaluation of the Seminario Program / Consultoría Evaluación del Seminario At EarthRights International

Statement of Work

Evaluation of the Seminario Program

(Spanish translated copy below)

Program: Seminario

Type: Ex Post Evaluation

Purpose: To measure the program’s effectiveness and identify felt or observed outcomes of Seminario Trainees themselves

Primary Methodology: Performance and outcome evaluation

Period of Performance: 12 August – 10 November 2024

EarthRights International is a non-governmental, non-profit organization that combines the power of law with the power of people in defense of human rights and the environment. EarthRights is a team of community leaders, campaigners, and legal strategists who challenge the powerful corporations, governments, and financial institutions that violate peoples’ rights and destroy our planet for profit. It has offices in Washington D.C., Peru and Southeast Asia.

EarthRights International is seeking a Program Evaluator for its Seminario Program.

1. Background

The Seminario Program was implemented in seven (editions) with three editions (Edition Five to Seven) funded by the Sida. The Program aimed to strengthen the capacities of indigenous defenders and lawyers to exercise, demand and defend the rights of indigenous peoples in Latin America against states and transnational corporations. Specifically, the Program focused on strengthening indigenous defenders’ and lawyers’ (1) knowledge of the rights of indigenous people; (2) knowledge and skills in national and international strategic litigation; and (3) skills in the use of tools and instruments for demanding and protecting rights.

The Seminario Program started in 2015 and was implemented annually until 2023, with pauses in 2016 and in 2020 due to various reasons. The Seminario has reached a total of 130 alumni from 10 countries in Latin America, including Bolivia, Brazil, Chile, Colombia, Ecuador, Guatemala, Honduras, Mexico, Paraguay, and Peru. The last three editions of the Program were implemented in 2021, 2022 and 2023 with a total of 55 indigenous defenders and lawyers in Latin America as cohorts with full completion of the trainings.

Table 1. Seminario Alumni per Country, 2015-2023 – See link

2. Evaluation Purpose, Scope and Objectives:

The evaluation is commissioned by EarthRights International’s Amazon Regional Office to measure the program’s effectiveness and its outcomes in terms of changes in individual confidence to apply what they have learned, ability to apply what knowledge and skills they trained on, and observable or felt results or changes individually, in their communities, or in the organizations they work in.

The evaluation is commissioned to support institutional learning and future programming. Primary users of this evaluation is EarthRights and where feasible, its trainees and partners.

The ex post evaluation will cover trainings from 2015 to 2023 to the extent possible (given data limitations) and will adopt a training performance evaluation approach using mixed methods to assess outcomes of Seminario training. The evaluation is anticipated to use both online and in person data collection tools to respond to the evaluation questions.

Observable or felt results that may be identified by trainees may require verification with their stakeholders. The approach for the evaluation therefore should include methods for responsible data collection in some communities.

3. Deliverables
All deliverables must be written and presented in Spanish. The final report must be written in both Spanish and English. Certain presentations and discussions may need to be conducted in English.

Deliverables include the following:

• An inception report / work plan prepared in consultation with EarthRights’ Senior MEL Manager that includes the evaluation design and methodology, data collection activities, tools and methods for analysis.
• Draft evaluation report that responds to the evaluation questions, includes preliminary findings, conclusions and recommendations. EarthRights International’s review team will review and submit comments and suggested revisions.
• A final evaluation report, including an executive summary, an explanation of the evaluation methodology with its limitations, the findings, conclusions and recommendations, appendices that contain the data analysis collection and analysis tools used.
• An evaluation briefer (3-5 pager) and Q&A session with EarthRights International team. The presentation must include findings, conclusions and recommendations of the evaluation.
• Databases with machine-readable information that have the quantitative data collected in the evaluation, mostly created from surveys carried out during the evaluation. This may redact PII depending on sensitivity of information.

4. Qualifications:
The consultant should be proficient in conducting performance and outcome evaluations using mixed methods.

The evaluator must have:

• At least a master’s degree social or political science, training evaluation or program evaluation, or other related field with no less than seven years of experience conducting program evaluation OR a bachelor’s degree in these same fields with more than 10 years of experience in conducting program evaluations
• Must have previous experience in conducting evaluation in Latin America; experience conducting evaluations with the legal sector is a plus
• Must have excellent Spanish communications and writing skills; Excellent English communications and writing skills is a plus
• Must demonstrate proficiency in the use of MS Office and other applications for online surveys and data analysis.
• Must have the ability to collect quantitative and qualitative data in-person, should there be a need for interview.
• Must be willing to travel to a reasonable number of localities.

The consultant must be based in Latin America, preferably in one of the countries where the alumni came from.

5. Supervision of the consultant’s work

The consultant will report directly to the Senior Monitoring, Evaluation and Learning Manager based in Washington D.C. and the Amazon Office Regional Director based in Peru. The consultant must provide all deliverables defined in these terms of reference. At the request of the program lead, the consultant may be required to deliver intermediate milestones (such as notes, outlines, drafts for review, etc.) in addition to deliverables that are listed.

Payment will be tied to successful completion of deliverables according to acceptable quality standards.

—————-

Descripción del Trabajo

Evaluación del Programa de Seminario

Programa: Seminario

Tipo: Evaluación ex-post

Objetivo: Medir la efectividad del programa e identificar los resultados percibidos u observados por los propios alumnos del Seminario.

Metodología primaria: Evaluación de desempeño y resultados

Período de ejecución: 12 Agosto – 10 Noviembre 2024

EarthRights International es una organización no gubernamental sin fines de lucro que combina el poder de la ley con el poder de las personas en defensa de los derechos humanos y el medio ambiente. EarthRights es un equipo de líderes comunitarios, activistas y estrategas legales que desafían a las poderosas corporaciones, gobiernos e instituciones financieras que violan los derechos de los pueblos y destruyen nuestro planeta con fines de lucro. Tiene oficinas en Washington D.C., Perú y el Sudeste Asiático.

EarthRights International está buscando un evaluador de programa para su programa de Seminario.

1. Antecedentes

El Programa Seminario se implementó en siete (ediciones) con tres ediciones (Ediciones Cinco a Siete) financiadas por Sida. El Programa tenía como objetivo fortalecer las capacidades de defensores y abogados indígenas para ejercer, exigir y defender los derechos de los pueblos indígenas en América Latina frente a estados y corporaciones transnacionales. Específicamente, el Programa se centró en fortalecer el conocimiento de los defensores y abogados indígenas (1) sobre los derechos de los pueblos indígenas; (2) conocimientos y habilidades en litigio estratégico nacional e internacional; y (3) habilidades en el uso de herramientas e instrumentos para exigir y proteger derechos.

El Programa Seminario inició en 2015 y se implementó anualmente hasta 2023, con pausas en 2016 y 2020 por diversos motivos. El Seminario ha llegado a un total de 130 exalumnos de 10 países de América Latina, entre ellos Bolivia, Brasil, Chile, Colombia, Ecuador, Guatemala, Honduras, México, Paraguay y Perú. Las últimas tres ediciones del Programa se implementaron en 2021, 2022 y 2023 con un total de 55 defensores y abogados indígenas en América Latina como conjunto, que completaron completamente las capacitaciones.

Tabla 1. Exalumnos del Seminario por país, 2015-2023 – Ver link

2. Propósito, alcance y objetivos de la evaluación:
La evaluación es encargada por la Oficina Regional del Programa Amazonía de EarthRights International para medir la efectividad del Seminario y sus resultados en términos de cambios en la confianza individual para aplicar lo que han aprendido, la capacidad de aplicar los conocimientos y habilidades en los que se capacitaron y los resultados o cambios observables o percibidos. individualmente, en sus comunidades o en las organizaciones en las que trabajan.

La evaluación se encarga de apoyar el aprendizaje institucional y la programación futura. Los usuarios principales de esta evaluación son EarthRights y, cuando sea posible, sus participantes y socios.

La evaluación ex post cubrirá las capacitaciones de 2015 a 2023 en la medida de lo posible (dadas las limitaciones de los datos) y adoptará un enfoque de evaluación del desempeño de la capacitación utilizando métodos mixtos para evaluar los resultados de la capacitación del Seminario. Se prevé que la evaluación utilice herramientas de recopilación de datos tanto en línea como en persona para responder a las preguntas de la evaluación.

Los resultados observables o percibidos que puedan ser identificados por los participantes pueden requerir verificación con sus partes interesadas. Por lo tanto, el enfoque de la evaluación debería incluir métodos para la recopilación responsable de datos en algunas comunidades.

3. Entregables
Todos los entregables deben estar escritos y presentados en español. El informe final deberá estar escrito tanto en español como en inglés. Es posible que algunas presentaciones y debates deban realizarse en inglés.

Los entregables incluyen lo siguiente:

• Un informe inicial/plan de trabajo preparado en consulta con el Gerente Senior de MEL de EarthRights que incluye el diseño y la metodología de la evaluación, las actividades de recopilación de datos, las herramientas y los métodos de análisis.
• Borrador del informe de evaluación que responde a las preguntas de evaluación, incluye hallazgos preliminares, conclusiones y recomendaciones. El equipo de revisión de EarthRights International revisará y enviará comentarios y revisiones sugeridas.
• Un informe final de evaluación, que incluya un resumen ejecutivo, una explicación de la metodología de evaluación con sus limitaciones, los hallazgos, conclusiones y recomendaciones, apéndices que contengan la recolección de datos y las herramientas de análisis utilizadas.
• Un informe de evaluación (de 3 a 5 páginas) y una sesión de preguntas y respuestas con el equipo de EarthRights International. La presentación debe incluir hallazgos, conclusiones y recomendaciones de la evaluación.
• Bases de datos con información legible por una máquina, que contengan los datos cuantitativos recolectados en la evaluación, en su mayoría creados a partir de encuestas realizadas durante la evaluación. Esto puede redactar la PII dependiendo de la sensibilidad de la información.

4. Calificaciones:
El/la evaluador/a debe ser competente en la realización de evaluaciones de desempeño y resultados utilizando métodos mixtos.

El/la evaluador/a debe tener:

• Al menos una maestría en ciencias sociales o políticas, evaluación de capacitación o evaluación de programas, u otro campo relacionado con no menos de siete años de experiencia en la realización de evaluaciones de programas O una licenciatura en estos mismos campos con más de 10 años de experiencia en la realización de evaluaciones de programas
• Debe tener experiencia previa en la realización de evaluaciones en América Latina; Se valorará experiencia realizando evaluaciones con el sector legal.
• Debe tener excelentes habilidades de comunicación y redacción en español; Excelentes habilidades de comunicación y escritura en inglés son una ventaja.
• Debe demostrar competencia en el uso de MS Office y otras aplicaciones para encuestas en línea y análisis de datos.
• Debe tener la capacidad de recopilar datos cuantitativos y cualitativos en persona, en caso de que sea necesario realizar una entrevista.
• Debe estar dispuesto a viajar a un número razonable de localidades.
• El/la evaluador/a debe tener su base en América Latina, preferiblemente en uno de los países de donde provienen los egresados.

5. Supervisión del trabajo del/a consultor/a
El consultor reportará directamente al Gerente Senior de Monitoreo, Evaluación y Aprendizaje con sede en Washington D.C. y a la Directora Regional de la Oficina del Programa Amazonía con sede en Perú. El consultor debe proporcionar todos los entregables definidos en estos términos de referencia. A petición del líder del programa, es posible que se le solicite al/a consultor/a que entregue hitos intermedios (como notas, esquemas, borradores para revisión, etc.) además de los entregables que se enumeran.

El pago estará vinculado a la finalización exitosa de los entregables de acuerdo con estándares de calidad aceptables.