Hacia un entendimiento común…
Sobre elementos vinculados a la Planificación Estratégica y el Marco de Efectividad de Plan
Equipo de programas de ROA
Junio, 2011
Contenido I. Introducción ..................................................................................................................... 2 ¿A quién está dirigido?: ...................................................................................................... 3 Objetivos del documento: ................................................................................................... 3 II. Antecedentes: ................................................................................................................. 4 III. Elementos conceptuales claves ..................................................................................... 7 IV. Preguntas frecuentes ................................................................................................... 10
Hacia un entendimiento común...
Página 1
I. Introducción Plan es una organización internacional con presencia en 48 países en desarrollo, cuya producción oficial de documentos se genera principalmente en inglés para luego ser traducida a otros idiomas, entre ellos, el español. Dependiendo de la naturaleza del documento la traducción se realiza a nivel global; no obstante, existe un gran número de documentos cuya traducción ha sido realizada, según su grado de urgencia y necesidad, en los mismos países donde Plan implementa sus programas.
Aunque este hecho tan operativo pareciera un aspecto de menor importancia, en realidad no lo es. La calidad de las traducciones en los distintos países no es similar y ha empezado a generar algunas confusiones con su respectivo impacto en la comprensión o entendimiento de asuntos claves para la organización.
Para reducir el efecto del diferente uso de términos que se suscita como producto de las traducciones, la Oficina Regional para América Latina y El Caribe (ROA) ha asumido el compromiso de generar un documento de clarificación centrado en algunos elementos que se estima son relevantes y están vinculados tanto a la planificación estratégica como a medición de la efectividad programática.
Esta propuesta busca consolidar las distintas comprensiones que se han observado durante el proceso de planificación estratégica en la región y aproximar dichas diferencias, para facilitar -a través de un proceso participativouna mejor comprensión y un entendimiento común. Hacia un entendimiento común...
Página 2
¿A quién está dirigido?: En principio, este documento está dirigido principalmente al personal de programas de distintos niveles, de los países de la región de América Latina y EL Caribe, que están directamente vinculados al ciclo de planificación estratégica y la medición de la efectividad programática.
Objetivos del documento: 1. Propiciar un entendimiento común entre el personal de Plan en la Región de América Latina y El Caribe en torno a varios conceptos e ideas vinculados a la efectividad programática y la formulación de los elementos de la lógica de la intervención ,en el marco de la planificación estratégica. 2. Apoyar los ejercicios de formulación de objetivos, resultados, indicadores y metas, en distintos niveles, desde la perspectiva de su contribución al manejo y medición de la efectividad programática. 3. Reforzar las habilidades del staff en el ámbito de los sistemas de planificación, monitoreo y evaluación que son parte del ciclo de planificación organizacional y del compromiso de la región con la efectividad programática.
Hacia un entendimiento común...
Página 3
II. Antecedentes: La reciente publicación de la Guía de Programación (durante el año 2010 en su versión oficial en inglés) es el resultado de la aprobación, en 2009, del Marco de Programas por parte del Consejo Internacional. La Guía de Programación integra el Marco de Programas de Plan, el Marco para la Efectividad de los Programas y el Sistema de Redición de Cuentas y Aprendizaje Programático (PALS) en un documento único de fácil manejo, cuyas versiones están disponibles en inglés y español. La Guía de Programación describe al DCCN como el enfoque de derechos que orienta las acciones de Plan y muestra cómo éste contribuye a la mitigación de la pobreza y al cumplimiento de los derechos de la infancia. Asimismo, identifica ocho áreas de impacto del trabajo de Plan y describe cómo Plan evalúa la eficacia de sus programas, identificando los resultados fundamentales que se persiguen a través de su enfoque de DCCN. En el marco general de su enfoque de DCCN, y en sus documentos corporativos Plan define la efectividad de un programa como “la medida en la cual los programas de Plan contribuyen al fortalecimiento de la capacidad de los titulares y los garantes de derechos para crear un medio entorno duradero en el que se respeten, se protejan y se cumplan los derechos de los niños y las niñas.” Al establecer unos objetivos de programación complementarios y claros para cada instancia de la organización, Plan está aprovechando su potencial para lograr cambios entre los diferentes actores y en diferentes niveles, desde lo local a lo global. El concepto de ámbitos/esferas de control, influencia e intereses utilizado por la organización ayuda a ilustrar los espacios de responsabilidad individual y compartida así como sus implicaciones para medir y evaluar la Hacia un entendimiento común...
Página 4
eficacia de los programas de Plan. Junto al contenido de la Guía de Programas (que como ya se dijo, incluye varios documentos
de
carácter programático),
los
procesos
de
planificación,
seguimiento y evaluación de los países se encuentran detallados en el Sistema de Rendición de Cuentas y Aprendizaje Programático – PALS (por sus siglas en inglés).
Desde el punto de vista de las orientaciones para el personal, PALS ha sido descrito y presentado en tres niveles: Nivel uno: Lineamientos Básicos: Proveen una visión general de las cuatro etapas de PALS, especificando los procesos obligatorios para cada etapa. Nivel dos: Guías de “Cómo…”: Brindan mayor orientación sobre cómo llevar a cabo los procesos fundamentales. Nivel tres: “Caja de Herramientas”: (Se desarrollará a lo largo del tiempo) Contiene herramientas, metodologías y ejemplos de buenas prácticas relacionadas con el trabajo de Plan y el mundo del desarrollo en general, para apoyar varios procesos de planificación, monitoreo y evaluación.
El ciclo programático planteado en PALS abarca las siguientes etapas: 1.
Análisis de Situación Participativa desde la Perspectiva de los Derechos de la Niñez.
2.
Planificación Estratégica y Programática.
3.
Implementación programática a través de proyectos .
4.
Monitoreo, evaluación e investigación programática.
Hacia un entendimiento común...
Página 5
La etapa de planificación estratégica incluye el diseño de:
Plan Estratégico
Describe
de País (CSP)
correspondencia con el análisis de situación realizado.
la
respuesta
estratégica
de
Plan
en
Muestra cómo Plan enfocará su trabajo para tener mayor impacto en las vidas de los niños y las niñas. Identifica los Programas de País a través de los cuales se implementará esta estrategia, así como las Metas Programáticas que se buscan alcanzar.
Planes de Largo
Muestra como los Programas de país se implementarán
Plazo
de
en el contexto local (distritos / municipios) y nacional.
Unidades
de
Describe los objetivos específicos de los Programas de
Programas (PULTP
la PU, y la descripción de cómo se monitoreará y que
evaluará el progreso de la intervención.
incluyen línea de
Establece la ejecución de un estudio Línea de Base el
base)
mismo que se llevará a cabo después de que los objetivos
Programáticos
de
las
PU
hayan
sido
identificados. La Línea de Base describe el estatus inicial de los indicadores claves que serán utilizados para monitorear el progreso de dichos indicadores y de los objetivos propuestos. Plan
Anual
de
Describe el trabajo del siguiente año del Plan de Largo
Unidades
de
Plazo de las Unidades de Programa y los objetivos a
Programa
(PA
alcanzar durante el año.
PU)
Hacia un entendimiento común...
Página 6
Según se anticipó, PALS cuenta con varias Guías “How to” (nivel 2); algunas de ellas concebidas para dar mayor claridad en torno a la formulación de objetivos, estrategias, resultados e indicadores, considerando la jerarquía de objetivos y los distintos niveles de intervención de las operaciones programáticas de Plan.
Varios de los documentos a los cuales se ha hecho referencia en este documento, particularmente,
las guías “How to” de PALS, aún no han sido
oficialmente traducidas. De ahí que, a continuación, se presenten algunos elementos conceptuales que requieren clarificación y una expresión de entendimiento común en la región.
III. Elementos conceptuales claves
The spheres of Plan’s control, influence and interest and strategic planning
Project results that are directly attributable to Plan’s efforts
Activities
[1]
Outputs Adapted from .........
Project/ PA PU
©
Plan
Plan’s Sphere of influence
Plan’s Sphere of control
Processes
Input
Outcomes: Changes among rights holders and duty bearers
These results can be directly attributed to Plan’s activities.
Hacia un entendimiento común...
Impact: Respect, protection and fulfilment of the rights of children
Plan’s Sphere of interest
Outcomes
CP/ PULTP
Plan’s programme will influence these outcomes, but will not be solely responsible for achieving them. This is the main level at which programme objectives are set and against which programme effectiveness is assessed.
Impact
Log Frame: Objectives, Results, indicators
Plan´sCSP “goal” contribution to impact
This is the desired impact that motivates Plan’s work and to which Plan intends to make a significant contribution through the changes effected at outcome level.
Página 7
El gráfico “The spheres of Plan’s control, influence and interest & strategic planning” ilustra de forma combinada la relación entre algunos elementos conceptuales básicos establecidos en el marco de efectividad y el ciclo de planificación estratégica.
Es a partir de este gráfico que se estima relevante iniciar el esclarecimiento respecto a algunas diferencias de uso terminológico: Término
Otros
Traducción
Significado para el entendimiento
más usado
términos
más
común, español
en Plan,
usados, inglés
frecuente,
inglés Impact
español Ultimate res ult.
Cons ecuencia –en principio- positiva a la
Impacto
Great effect or
cual contribuye el logro de objetivos y
influence
resultados de largo plaz o de múltiples actores en diversos niveles. Corresponde al ámbito o esfera de interés de
Plan
(Respeto,
protección
y
cumplimient o de los derechos del niño), aquello
en
donde
se
encuentra
la
motivación al trabajo de la organiz ación. Corresponde
t ambién
al
área
de
desarrollo en la que la organización quiere hacer una contribución significativa (ejercicio
de
derechos/
derechos
realizados). Goals
Overall
Meta
objective
desarrollo)
Development
Objetivo
objective
país
Long
Term
(de
Objetivo de desarrollo de país, de largo plazo,
de
de
impacto.
Establece
la
perspectiva de la intervención de un país. Se refiere a aquella definición de lo que se desea alcanzar en el largo plazo y
objective
corresponde al nivel más estratégico. (En
Impact
plan se han utilizado los términos “country
objective
goals” u objetivo de país -en españolpara este nivel). Es el tipo de objetivo mayor en orden
Hacia un entendimiento común...
Página 8
jerárquico y al cual el objetivo de un proyecto cont ribuye sólo de forma parcial. Objectives
Goals
Objetivos
Es aquella definición que claramente
(usualmente
explica para los distintos niveles (impact,
asociado
Outcomes
Intermediate
a
outcome,
output)
lo
que
se
quiere
objetivos
alcanzar o lograr a través de programas y
específicos)
proyectos.
Resultados
Cambios (resultados estratégicos de nivel
results
intermedio) en diferent es dimensiones
Effects,
(Des empeño
Changes.
actitudes,
prácticas,
mejoradas),
alcanzados
Theory
of
mejorado
según
rol,
capacidades por
distintos
change’s
actores
representation
corresponsables), que resultan de una o un
(garantes,
conjunto
titulares,
de
intervenciones
programáticas. En la lógica programática de
Plan
corresponden
a
cambios
asociados a los “P rogramme Goals”, e intervenciones en el nivel de los CP nacionales y los PULTP. Output
Results first
from
Productos
order
Productos
tangibles
(Ej.
Personas
capacitadas) atribuibles o derivados de
activities
un proyecto. E n la lógica de intervención
Products
de Plan se refiere a los “result ados” de la
Deliverable
“esfera
de
control”,
principalmente-
y
en
definidos
los
–
proyectos
diseñados en el nivel de las P U. No reflejan
o
representan
cambios
sustantivos en la población objetivo. Activities
Actions
Actividades
Actividades o acciones llevadas a cabo en el marco de un programa o proyecto para alcanzar un result ado según su nivel de implementación.
Inputs
Resources
Insumos
Recursos
e
Process, Action
Medios
invertidos
en
insumos una
necesarios
actividad
a
e ser
desarrollada. Otros términos asociados a la planificación estratégic a
Hacia un entendimiento común...
Página 9
Target
Level
of
Meta
Establecimiento del nivel o grado de
achievement
“ambición” con respecto a los resultados
Milestones
que se desean alcanz ar (puede ser
(interim targets)
especificado en términos cualitativos o cuantitativos, pero siempre medible en forma objetiva). En la lógica programática de Plan se deben definir metas para los objetivos de los PULTP.
Indicator
Factor
Indicador
Variable, factor que refiere información
Variables
cualitativa o cuantitativa específica que
Measure
(comprueba) “da cuenta” de la medida en la que se han provocado o no cambios conectados
a
intervenciones
programáticas. Implica c ontar con datos de referencia. SMART
S - specific
“Inteligente”
S – Específico, sencillo
M - measurable
M - Medible
A - appropriate
A - Apropiado
(technically
R - Realista
correct,
T – Limitado en el tiempo, aquello
important)
que se quiere alcanzar en un
R - realistic
período de tiempo.
T - time-limited
IV. Preguntas frecuentes ¿Se puede medir el grado de contribución individual de la organización en términos del impacto en el cumplimiento de los derechos de la niñez y adolescencia? Resulta muy complejo y, muchas veces, requiere una gran inversión de recursos con resultados poco precisos en torno a la explícita contribución institucional. Consecuentemente, éste no es el nivel, en el que la organización ha decidido medir su efectividad.
Hacia un entendimiento común...
Página 10
El impacto se asocia con problemas sociales y éstos con las brechas existentes en el ejercicio de los derechos. Ello supone reconocer que existen ámbitos de acción distintos y un abordaje de causas de diversa índole y magnitud por parte de diversos actores y en distintos niveles. La relación de las intervenciones programáticas institucionales -en el ámbito de interés organizacional- con los vacíos en el cumplimiento de los derechos no es “lineal” y, consecuentemente, la medición es más viable y transparente en función de objetivos planteados a través de programas y proyectos cuya secuencia es más controlada y medible.
Hacia un entendimiento común...
Página 11
Por ejemplo: Brecha en el
Un objetivo
Variables
Un
Una meta
Contribución
Nota.
cumplimiento
de
asociadas
indicad
establecida
desde la
de derechos
desarrollo
or de
en un Plan
planificación
en un país X.
de un país
impact
Nacional de
estratégica de
X.
o de
un país X.
Plan: Posibles
monitor
Indicadores de
eo en
resultado
un país X. Alta incidencia
Disminuir la
Desnutrición
Tasa de
Reducir
de mortalidad
tasa
crónica
mortalid
en menores de
mortalidad
cinco años.
infantil
de
Analfabetismo en
Déficit
de
% de familias que
Desde la teoría de
mortalidad
han
cambio que vincula el
ad
infantil de 8%
prácticas
infantil.
a 5% en los
alimenticias superar
menores de
infraestructura
próximos
cinco años.
hospitalaria
años.
Bajo
control
prenatal, etc. (Análisis
multi
la
5
crónica
la
nivel intermedio), las
zonas
de
Plan
intervención
de
reducir la
%
los
(especialmente en el
intervenciones
Plan.
en
de
contribuyen tasa
a de
mortalidad de un país de
clínicas
comunitarias
que
junto
a
otras
intervenciones;
esto
han mejorado su
es, que no son sólo
capacidad
atribuibles a Plan.
para
asegurar el control prenatal
según
estándar establecido,
en
áreas de influencia de Plan.
Algunas veces, entre los documentos de planificación estratégica de Plan, e incluso en los requerimientos corporativos se solicita la especificación de resultados asociados al impacto. Es importante tener la claridad de que aunque se realicen estas definiciones siempre se harán desde la intención de querer contribuir a un impacto mayor, cuyo resultado y medición depende de las Hacia un entendimiento común...
con
resultados
las
evidencia investigación)
impacto para
desnutrición
causal basado en e
mejorado
Página 12
intervenciones de distintos actores en distintos ni veles, y no son ni pueden ser atribuibles “exclusivamente” a la intervención de Plan.
¿Es necesario definir objetivos para los distintos niveles de la planificación estratégica? Si. Los lineamientos básicos de PALS (Core Pals, nivel 1), establecen que tanto los CP de país como los PULTP y los proyectos deben definir claramente sus objetivos.
¿Todos los objetivos deben ser SMART? PALS hace referencia a la importancia de definir objetivos SMART. Ello implica que las descripciones contemplen algunas condiciones básicas: Simplicidad, posibilidad de medición, grado en el que el objetivo es apropiado a la problemática identificada, definición de la ambición en términos realistas y tiempo definido. Considerando que la organización debe ser capaz de rendir cuentas respecto a su respuesta estratégica para abordar los vacíos en el cumplimiento de los derechos de la infancia, sería sugerido que las definiciones de los objetivos de la cadena programática sean SMART. No obstante, puede que no siempre se cumplan todas las condiciones y ello no refleja una inadecuada formulación. Por ejemplo, no es necesario repetir innumerablemente el dato de tiempo para los objetivos de CP o de los PULTP, puesto que institucionalmente éstos han sido concebidos para un período de cinco años. Si se hubiera establecido un período diferente (ejemplo, 2 o 3 años), este aspecto debiera ser incluido en la descripción. Por otro lado, cuando se trabaja bajo el enfoque de derechos, debido a la cantidad de variables que puede involucrar el abordaje de una situación, no siempre resulta fácil hacer una definición SMART “perfecta”; por ello se ha recomendado “corporativamente” que estas definiciones se hagan en el nivel de mayor especificidad (PULTP y, obviamente, proyectos de nivel de PU). Esta
Hacia un entendimiento común...
Página 13
recomendación no exime la posibilidad de hacerlo también para el nivel nacional (que puede resultar de la consolidación de los PULTPs). ¿Qué diferencia existe entre objetivos de nivel de impacto, de outcome y de output? En pocas palabras: Country Goals/Overall objectives/Objetivos de desarrollo (CSP): Establece el enfoque y la “elección” justificada de las intervenciones en el largo plazo. Programme Goals/Programme Objectives/Objetivos de Programas (CP/PULTP): Describe la razón / justificación de una elección estratégica (en el nivel de “outcome”. Establece un carácter más sostenible para los actores involucrados. Es la principal referencia para las intervenciones de monitoreo y evaluación de la organización. Project Objectives /Objetivos de proyecto (PU): La descripción más específica en la cadena de intervención cuyos beneficios deseados están más asociados al tiempo de duración del proyecto e incluso podrían no continuar luego de su finalización (en la cadena de intervención, en este nivel, ya se especifican los “output”).
¿Cuántos objetivos pueden definirse en cada nivel? La Guía “Cómo definir objetivos e indicadores” de PALS, enfatiza la importancia que tiene para cada país el definir un enfoque claro para su operación, defini do a través de un número limitado de programas. Una vez logrado esto, se pueden definir un número limitado de Objetivos de Programas (los denominados “Programme Goals”, para CP y PULTP). No se especifican cuántos objetivos deben elaborarse según nivel; sin embargo, se destaca la importancia de limitar el número de objetivos ya que ello torna muy complicados los sistemas de monitoreo, evaluación y reporte.
¿Qué dice PALS sobre objetivos y resultados para cada nivel y su relación con los procesos de monitoreo y evaluación? Hacia un entendimiento común...
Página 14
EL documento PALS, en el Apéndice 7 sobre la Jerarquía de Objetivos, se refiere principalmente a la definición de objetivos en los distintos niveles. A continuación, la versión original en inglés y en español: Goal/Objective
19
Document
Describe s
Asse ssment
Country Goal
Country
The specific changes that the strat egy
The Country Strategy
(Impact)
Strategic Plan
is focusing on to contribute to the
E valuation assesses
creation
Plan’s
of
a
lasting,
enabling
contribution
environment in which children’s rights
towards
are fulfilled and in which children and
achievement
youth realize their full pot ential. The
Country Goals.
the of
combination of Plan’s work and the work of other actors will contribute to these changes in the long term. Programme Goal
Country
The changes that each Programme is
Progress
(Outcome)
Programmes
working
contribute
Programme Goals is
(appendix 1 of
towards the Country Goals identified.
assessed by looking
the
Development is informed by the levels
at
(rights
PUs
Country
Strategic Plan)
towards
holders,
(Outcome)
civil
towards
PU
participation, policy, etc.) of change
Objectives during the
described
APPR process.
in
t he
Programme
Framework.
the
starting
identification
Objective
bearers,
across
Programme
provide
Programme
duty
progress
society) and dimensions (awareness,
Effectiveness
PU
t hat
towards
of
point
PU
in
They
The Country Strategy
the
E valuation assesses
Programme
achievement
of
Objectives.
Programme Goals.
PU Long-Term
Describe the specific (SMART) targets
An
Plan
that the P U is working t owards as its
progress towards PU
contribution towards the Programme
Programme
Goal.
Objectives is made in
PU
P rogramme
Objectives
assessment
of
include specific indicators of change
the APPRs.
which
The Country Strategy
will
help
to
show
if
the
programme implementation at the P U
E valuation
level is achieving t he planned for change or not.
Traducción al español que ha sido difundida: Hacia un entendimiento común...
Página 15
Meta/Objetivo 1 Documento
Describe
Valoración
Meta de País
Plan
Los cambios específicos en La Evaluación de
(Impacto)
Estratégico
lo
de País
estrategia
que
se
enfoca
de
país
la la Estrategia de para País
valora
contribuir con la creación contribución de un ambiente duradero y Plan propicio
en
el
que
la de
hacia
el
se logro de las Metas
cumplan los derechos de la de País. niñez, y en el que la niñez y la juventud desarrollen su pleno potencial. El trabajo de Plan junto al de otros actores contribuirá a que estos cambios se den en el largo plazo. Meta
Programas
Los
Programática
de
Programa
(Resultado)
(Apéndice 1 conseguir del
País
cambios
que
cada El Progreso hacia
procura las y
Metas
que Programáticas se
Plan contribuyen a las Metas de valora al observar
Estratégico
País
de País)
desarrollo es orientado por todas los
identificadas.
niveles
(sujetos
derecho, sociedad
El el
progreso las
de hacia
de PUs los
garantes, Objetivos civil)
y Programáticos de
dimensiones
la PU durante el
(concienciación,
proceso
de
la
participación, política, etc.) APPR. de cambio descritos en el La Evaluación de
1
Hacia un entendimiento común...
Página 16
Marco
de
Efectividad la Estrategia de
Programática. determinan
Ellos País
el
punto
valora
el
de cumplimiento
de
partida para la identificación las de
los
Metas
Objetivos Programáticas.
Programáticos de las PU. Objetivo
de Plan
de
Describe
las
metas Una
Programa de la Largo Plazo
específicas (SMART) que la del
PU
PU busca conseguir y su hacia
de la PU
(Resultado)
contribución
hacia
valoración progreso los
las Objetivos
Metas Programáticas. Los Programáticos se Objetivos Programáticos de realiza
en
el
la PU incluyen indicadores APPR. específicos de cambio que La Evaluación de ayudarán a demostrar si la la Estrategia de implementación
País
programática en la PU está logro
valora
el
de
los
logrando o no los cambios Objetivos planificados.
Programáticos de la PU.
Como se puede observar, la referencia principal es a los objetivos asociados a los ámbitos de “impact” y “outcome”, que en la traducción al español correspondería a “impacto” y “resultados. La definición de esos objetivos (que en la traducción utiliza el término meta) hace referencia a “cambios” que se procuran conseguir en distintos niveles; pero no se menciona de forma explícita la importancia o la posibilidad de definir” resultados esperados” relacionados con los objetivos, en los distintos niveles. No obstante, no sólo no es incorrecto sino que es útil definir “resul tados esperados” para una mejor orientación en el proceso de planificación y una mayor concreción /desagregación de los cambios que se procuran conseguir. Hacia un entendimiento común...
Página 17
De ahí que en la región, se esté recomendando también definir resultados de nivel estratégico tanto para el CSP como para los CP.
Entonces, ¿Es necesario definir resultados en los distintos niveles? En la etapa de “planificación” estratégica, cuando definimos “resultados”, realmente estamos formulando “hipótesis de resultados esperados”. Aclarado esto, los resultados se plantean en función de los objetivos que se desean
alcanzar
en
los
distintos
niveles
(considerando
también
la
correspondencia de éstos con los productos y las actividades) para responder a los vacíos en el cumplimiento de derechos que ha n sido identificados y analizados durante la fase de análisis situacional contemplada en el ciclo PALS. Como ya se mencionó en la pregunta anterior, los lineamientos básicos de PALS proponen para el nivel estratégico un marco general que incluye básicamente la definición de objetivos y de estrategias. Sin embargo, a nivel global y regional existe una marcada tendencia a recomendar que se definan resultados de país por programa, especialmente, porque ello contribuye a enfocarse en el impacto que se quiere lograr, facilita el monitoreo de resultados (outcome), orienta mejor a las PU durante sus elecciones programáticas y apoya la formulación de la lógica de la intervención para lograr un mayor alineamiento en el nivel local. También vale decir que, aunque los lineamientos PALS plantean básicamente la definición de objetivos (CP y PULTP) e indicadores para el nivel estratégico, los conceptos de “objetivos” y “resultados”, al menos en español, no son sinónimos.
¿Cómo se relacionan los objetivos y resultados (output/outcome) según niveles con los procesos de monitoreo y evaluación?
Output: Es importante recordar que aunque no reflejan cambios en la población objetivo de las intervenciones,
son importantes para las
acciones de monitoreo y la gestión de proyectos y programas. El monitoreo se preocupa principalmente de analizar los componentes de Hacia un entendimiento común...
Página 18
la gestión interna para conocer sobre los insumos, actividades, procesos y su relación con los productos. Outcome: Reflejan cambios en las condiciones o el comportamiento del grupo objetivo involucrado en programas y planes de largo plazo (titulares, garantes, corresponsables). Estos resultados se encuentran en el ámbito de influencia de Plan, de responsabilidad y rendición de cuentas “compartida”. Este es el nivel de CP y PULTP en el que se va a “evaluar” la efectividad programática del trabajo institucional con énfasis en la relación entre productos, resultados y objetivos (cambios provocados en el ámbito externo).
En el ámbito de los indicadores, ¿qué conceptos facilitan claridad para su definición? Considerando que la organización ha adoptado y ajustado en su Marco de Efectividad Programático el concepto de efectividad de la OCDE/CAD, también se sugiere asumir su definición de indicadores: “una variable o factor cualitativo o cuantitativo que provee un medio sencillo y fiable para medir logros y reflejar los cambios vinculados a una intervención o para ayudar a evaluar el desempeño de un actor del desarrollo”. A manera de referencia, también se puede mencionar la definición de indicador de USAID: “una variable cuyo propósito es el de medir cambios en un fenómeno o proceso”; o la definición de la Comisión Europea: “una descripción referida a los objetivos programáticos en términos de cantidad, calidad, grupo objetivo, tiempo y lugar”. En todo caso, téngase presente que los indicadores son unidades de información que permiten hacer mediciones en el tiempo y documentar los cambios provocados. Es vital que se pueda ver la lógica (a través de investigación y evidencia) de relación entre el indicador y el efecto deseado (por ejemplo, peso y talla indican el estado nutricional).
Hacia un entendimiento común...
Página 19
Los indicadores proveen “evidencia” sobre cómo ha sido alcanzado o no lo que se ha planificado, pero no son ni deben convertirse en objetivos, metas o resultados; esto es, no especifican ningún nivel de logro por lo que no debe iniciarse su definición con frases como “se ha mejorado”, “incrementado”, etc. Los indicadores deben ser neutros (sin mostrar dirección alguna) a diferencia de los resultados que si deben expresarse en términos de mejoras favorables “se ha mejorado” etc.
¿En qué momentos de la planificación estratégica se deben especificar los indicadores? Los
indicadores
pueden/deben
acompañar
distintas
etapas
del
ciclo
programático definido en PALS. 1.
Análisis de Situación Participativa desde la Perspectiva de los Derechos de la Niñez: No es una fase de “formulación” de indicadores, pero siguiendo los lineamientos de PALS, éstos juegan un rol central en el análisis de situación ya que se utilizan indicadores cuya información permite –por ejemplo- valorar el contexto social, económico, político, ambiental; las brechas en el cumplimiento de derechos, etc. 2. La calidad del análisis depende en gran medida de los indicadores seleccionados, la fiabilidad de los datos que éstos aportan y el grado de desagregación disponible que permite hacer comparaciones por grupo etario, sexo, regiones, -e incluso- nivel. Además, muchas veces estos datos se convierten en línea de base cuando la información es validada y existen datos en el contexto local.
2.
Planificación Estratégica y Programática:
Esta es la fase de
formulación de los indicadores de “planificación”. La Guía “Cómo definir objetivos e indicadores” de PALS establece que “es posible” definir indicadores para toda la cadena de resultados (input, process, output, outcome and impact). También se destaca que para el “Country Level” no 2
Se recomienda revisar la sugerencia de indicadores definida en el “Flow Chart del proceso CSP/PULTP” acordado para la región. Ahí se podrán encontrar indicadores para el análisis de contexto.
Hacia un entendimiento común...
Página 20
es
requerido
formular
indicadores
para
soportar
los
Objetivos
programáticos/programme goals/programme objectives; sin embargo, deja abierta la posibilidad de hacerlo para que ciertos indicadores puedan ser utilizados por las PU. Bajo el acuerdo de que los indicadores pueden ser formulados tanto para el objetivo de desarrollo (impact country goal) como para los objetivos programáticos (CP outcome goals) y los resultados esperados (en los distintos niveles) porque proveen un mayor detalle; con base en las necesidades identificadas, a nivel global y regional existe una marcada tendencia a recomendar que se definan indicadores por programa de país, dado que ello orientaría mejor a las PU durante la formulación y elección de sus indicadores (nivel que PALS sí enfatiza la importancia de la definición de indicadores). 3.
Implementación programática a través de proyectos: Durante esta fase, las actividades de monitoreo y evaluación proveen información central, en la que los indicadores, también juegan un rol relevante. Obviamente, los indicadores de planificación son una referencia importante para valorar el progreso; sin embargo, en esta etapa, se toman decisiones respecto a aspectos específicos de la intervención enfocados en indicadores de “input (tiempo utilizado, presupuesto, personal involucrado, recursos, etc.)” y “output”. Algunos indicadores de proceso también son observados en esta etapa, por ejemplo, frecuencia de reportes, eficacia del proceso, entre otros.
4.
Monitoreo, evaluación e investigación programática: Con énfasis en la evaluación, en esta etapa y dependiendo de los criterios de evaluación que se hayan predefinido durante la etapa de planificación,
se
desarrollan más indicadores asociados a la eficacia, efectividad, relevancia, pertinencia, sostenibilidad, impacto, etc. Obviamente, los indicadores definidos en la planificación son la principal referencia para los ejercicios de evaluación.
Hacia un entendimiento común...
Página 21
Hacer formulaciones SMART, ¿aplica sólo para objetivos o sólo para indicadores? Aplica para ambos; sin embargo, no se espera que dicha aplicación sea simultánea. Es decir, si el énfasis para hacer una definición SMART está en los objetivos, los indicadores se presentan sólo como variables. Si está en los indicadores, éstos deben ser más específicos incluyendo información del “target group” y de lo que se desea alcanzar. PALS enfatiza una definición SMART en los objetivos y, básicamente, para los Objetivos de Programa de PU.
¿Cómo se deben redactar los objetivos, resultados, indicadores? Dependiendo del enfoque de planificación, existen varias y diferentes (incluso contrarias) recomendaciones sobre cómo
redactar objetivos, resultados,
indicadores y metas como parte de la lógica de la intervención programática. Los lineamientos básicos PALS no ofrecen una recomendación explícita sobre cómo redactar estos elementos. En cualquier caso, debe tenerse presente que más importante que la forma, es la claridad y el mayor grado de concreción que proveen estas descripciones al ciclo de planificación. De todas formas, dado que este aspecto también parece aportar a descripciones poco estandarizadas que contribuyen a un mayor o menor grado de confusión, se plantea a manera de sugerencia –con base en el análisis de las tendencias relativamente constantes sobre la forma de redactar estos elementos a nivel global y regional, lo siguiente:
(Nota: La tabla siguiente está pensada para una lectura vertical, no se encontrará ninguna relación entre las columnas, sólo hay ilustraciones respecto a la sugerencia de redacción. El ejemplo de una secuencia entre objetivos resultados e indicadores por niveles, podrá ser encontrado en archivo adjunto)
Hacia un entendimiento común...
Página 22
Descripción Sugerencia para redacción
la
Objetivos
Resultados
Indicadores
Uso de verbos “activos”,
Uso de verbos en
No
que son medibles y se
participio
“absolutos”. Su definición
expresan en infinitivo.
(terminaciones
puede
ado/ido).
compleja, según el nivel y
pasado
hay
principios
s er
simple
o
los requerimientos. Ejemplo
“Contribuir
al
mejoramiento
de
capacidades
y
habilidades
cognitivas,
motoras,
psicosociales,
afectivas y
de lenguaje
“Funcionarios entidades han
de
estatales
mejorado
conocimient os
sus y
“Tasa
de
escolar.” “%
de
implementación
situaciones de violencia o
de
años.”
en
centros
sostenible
al
han
declarado ser testigos de
abuso
acceso
que
capacidades para la
las políticas públicas
el
NNA
escolarizados
de NN menores de 5 “Aumentar
deserción
las
zonas
intervención.”
de
sexual
en
sus
escolares
en
zonas de intervención de Plan”.
agua
potable” Comentarios
La descripción anterior no invalida
propuestas
redacción como
indicadores
objetivos
estratégico
siguiente:
objectives
“Capacidades habilidades menores
de
nivel (“impact
and
impact
results”) son unidades de
de
NN
medida sobre situaciones
5
años
mejoradas”.
que
están
alcance elaboraciones
proponen
los
y
de
Algunas
Generalment e
de
de la
NA
iniciar
fuera de
intervenciones
del las
de
los
los
programas o proy ectos,
objetivos a partir de los
se obtienen de fuentes
sujetos:
niños,
secundarios y tienen una
adolescentes y jóvenes
formulación simple. Los
alcanzan
las
indicadores para el nivel
competencias necesarias
de outcome deben ser
para
más
“Niñas,
ejercer
derechos”.
Hacia un entendimiento común...
sus
det allados
en
cantidad, calidad, tiempo
Página 23
(especialmente
cuando
se trata de los PULTP ). con
“Al finalizar el proyecto,
características
NN menores de cinco
funcionamiento
SMART
años de las zonas de
finalizar el proyecto”.
intervención
% de NNA de grupos
Ejemplo
seleccionadas, sus
NA
mejoran
capacidades
cognitivas…”
“%
de
letrinas
en al
organizados funcionando, de
las
comunidades
seleccionadas proyecto, mantienen
en que
se
participando
activamente, asambleas
el
en
las
comunitarias
durante los procesos de toma de decisión sobre aspectos
que
les
competen.
¿Existe diferencia entre meta/”target” e indicador? Cuando se formulan indicadores bajo las características SMART, quiere decir que los indicadores se tornan más específicos y, por lo tanto, incluyen o se completan con información sobre tiempo y valores -que pueden ser- tanto de la línea de base como la meta que se ha establecido y se busca alcanzar. Lo importante es reconocer que e xiste una clara diferencia entre meta e indicador. Por ejemplo: “80% de niñas y niños entre 0 y 24 meses, en las áreas de intervención seleccionadas, cuentan con el esquema completo de vacunación para la edad” (este tipo de formulación hace referencia al término “Meta indicador/indicador objetivamente verificable descrito en el enfoque del marco lógico”). Indicador: % de niñas y niños entre 0 y 24 meses que cuentan con el esquema completo de vacunación para la edad. Meta: 80% Hacia un entendimiento común...
Página 24
¿En qué nivel se deben definir las metas? Los lineamientos de PALS no lo mencionan explícitamente para el nivel de impacto sino para el nivel de PU. No obstante, a nivel global se ha requerido que junto a los CSP (en los documentos de resumen), se describan resultados estratégicos (“High Level results”). Este requerimiento supone plantear desafíos pero –al mismo tiempo- pretende que seamos
realistas, tomando en consideración las
contribuciones
específicas que se pueden hacer desde las definiciones en el nivel de los CP y los PULTP (enfoque de abajo a arriba).
En todo caso, debe dejarse claramente expresado que dicha definición inicial de resultados de alto nivel (“High Level Results”) hace referencia a la esfera de interés y, las metas, se han establecido principalmente en función del potencial alcance/ cobertura de nuestras intervenciones programáticas en las zonas territoriales donde Plan opera; no obstante, el ajuste final de metas, que sigue la cadena lógica de la planificación, se hará luego de haber levantado la línea de base en el marco de los PULTP.
Hacia un entendimiento común...
Página 25