Metodologías de Monitoreo y Evaluación en proyectos de Telemedicina
Mtro. César Rentería Profesor-Investigador Asociado Centro de Investigación y Docencia Económicas (CIDE) Congreso de Telesalud Región de las Américas 5 de septiembre de 2014
Agenda 1. Cuatro tipos de evaluación en Telemedicina 2. Componentes de un sistema de monitoreo y evaluación 3. Construcción de indicadores 4. ¿Cómo utilizar esta información para la toma de decisiones?
Introducción • Se abordará una propuesta desde la perspectiva de admistración pública (Modelo de Marco Lógico)
• Pretende ser una demostración aplicada de SM&E y no una discusión teórica
• La propuesta es un trabajo en proceso, cuya metodología no se detallara por cuestiones de tiempo
• La propuesta se ilustrará con el caso de Sistema de Telemedicina de Nuevo León (STNL)
1 5
Tipos de evaluaci贸n de Telemedicina
Existen diferentes aspectos a evaluar en un Sistema de Telemedicina, dependiendo del objetivo de la evaluación •
¿Qué se quiere evaluar?
Evaluación de impacto
Evaluación tecnológica
Evaluación económica
Evaluación de desempeño
La evaluación tecnológica puede ser formativa para obtener retroalimentación o sumativa para demostrar beneficios • Formativa: para mejorar el aprovechamiento de tecnología bajo evaluación, proveyendo de información a los desarrolladores o implementadores • Sumativa: trata de demostrar los beneficios no económicos de una tecnología específica en los servicios médicos
•
Algunas preguntas que conducen las evaluaciones tecnológicas: • ¿Qué TI debe ser seleccionada e instalada? • ¿Cómo mejorar la adopción y usabilidad de la TI?
Evaluación de impacto mide el efecto del programa en una variable de interés; método muy usado Randomised Controlled Trials (RTC)
• RCT, muy utilizado en medicina, tiene una gran aceptación en las políticas públicas. • El poder de la selección aleatoria • Contribución del programa en las condiciones de vida de los beneficiarios
• Fundamentales para demostrar beneficio de una intervención y para el diseño de evaluación de desempeño
Fuente: Friedman, 1996
Las evaluaciones económicas proveen información sobre la eficacia y costo de la telemedicina frente a otras alternativas
▪ Principales tipo de evaluación económica: –Análisis de costos (CA). compara recursos utilizados versus los costos de oportunidad asociados (el valor monetizado de la mejor alternativa para el uso de los recursos). –Análisis costo-efectividad (CEA). Comparación costos económicos versus resultados no monetizables (p. ej. morbilidad reducida) –Análisis costo-beneficio (CBA). Comparación de costos con resultados monetizados. 9
2 10
Evaluaci贸n de desempe帽o
Evaluación del desempeño: basada en el Sistema de monitoreo y evaluación (M&E) • La evaluación de desempeño permite transitar de una gestión tradicional: • Busca adecuarse a los recursos, funciones y normas existentes
• A una gestión enfocada en el desempeño • Se determinan los productos y actividades en función de los resultados
Busca dar respuesta a preguntas como:
• ¿El programa ha producido los resultados esperados? • ¿Cuál es el nivel de avance del programa en un momento determinado? • ¿Cómo distinguir el éxito del fracaso en la implementación?
El monitoreo y la evaluación son actividades complementarias •
Monitoreo • Recolección periódica de datos que informen sobre el grado de avance y logros de un programa. • Detección temprana de focos rojos en términos de calidad en la prestación de servicios médicos
•
Evaluación
• Determinar la relevancia de los objetivos, la eficiencia o eficacia con que se logran, el impacto del programa, etc. • Consistencia del programa con los objetivos: ¿el diseño del programa permite alcanzar los objetivos? ¿o es necesario modificarlo?
¿Cómo diseñar un Sistema de M&E para Telemedicina? Modelo de Marco Lógico. Método para organizar actividades y productos con resultados deseados. Difundido por PNUD, CEPAL, BID, Hacienda, etc.
• Cuatro pasos para la construcción del Sistema de M&E en Telemedicina:
1.Diagnóstico de la situación A. Análisis de la población objetivo B. Análisis de la teoría causal C. ¿Cómo opera el programa?
2.Elaboración de una Matriz de Marco Lógico A. Separación analítica de las líneas de acción del programa
3. Construcción de indicadores clave para el monitoreo y la evaluación
4. Planificar: ¿cómo se mejorará el SM&E? Ajustar la teoría causal Mejorar los indicadores
La teoría causal. Comienza estudiando lo que se sabe del problema público y la forma en que se ha intentado resolver ▪ ¿Cuál es el problema? – Ejemplo STNL: la poca accesibilidad a servicios médicos de tercer nivel en zonas rurales genera una alta tasa de morbimortalidad
▪ Revisar evidencia empírica sobre: – ¿Cuáles son las causas de la alta tasa de morbimortalidad? – ¿Qué problemas genera en la sociedad una alta tasa de morbimortalidad?
– ¿Cómo se ha tratado de resolver en otros lugares? ¿Y qué resultados han tenido? 14
▪
¿Qué tipo de evidencia revisar? Jerarquía de calidad de evidencia
Revisión sistemática RTC
Estudios cuasiexperimentales Estudios no experimentales Estudios cross-sectional Estudios de caso / estudios cualitativos
Opinión de expertos Fuente: Davies, 2011
Árbol de problemas: es una herramienta analítica que ayuda a visualizar la teoría causal de un problema ▪ Permite visualizar las causas y los efectos del problema focal
Esquema de árbol de problemas Efectos del problema focal
▪ Contextualiza sobre lo que puede y no puede contribuir el Sistema de Telemedicina al problema analizado
▪ Permite evaluar la consistencia: si las actividades del Sistema de Telesalud están asociadas al problema
Problema focal
Causas del problema focal
15
El Sistema de Telemedicina atiende una causa del problema focal; el problema focal tiene diversas consecuencias Menor calidad de vida
Bajo potencial productivo local
Menor ingreso disponible en pacientes
Mayor costo de producci贸n
Menores remuneraciones
Menor rendimiento
Mayor inasistencia laboral
Elevados gastos en salud
Deficiente calificaci贸n laboral Mayor inasistencia escolar
Alta tasa de morbimortalidad en la localidad (zona rural) PACIENTES Malos h谩bitos de higiene
Deficiente acceso servicios de tercer nivel Telemedicina (STNL)
Ambiente contaminado e insalubre
Mecanismos de acción: ¿cómo Telemedicina resuelve este problema? Deficiente acceso servicios de tercer nivel
Telemedicina
Máxima cobertura Telemedicina
Hospitales Regionales conectados al Centro de Telecomando (CT)
Especialidades disponibles en Teleconsulta
Promoción adopción y uso de Teleconsultas
Capacidad instalada en CT (salas de consulta, equipos, etc.)
Adopción actores: -Especialistas -Médicos -Pacientes
Conocimiento y valoración del servicio
3 18
Construcci贸n de indicadores
Un indicado es una medida específica que, cuando es observada a lo largo del tiempo, indica el progreso (o no) de una tarea específica • Indicadores endógenos. Mide únicamente elementos pertenecientes al ámbito de gestión del programa • Indicadores exógenos. Relacionados con los resultados de la implementación del programa • Importancia de una buena teoría causal: Si la teoría causal no es adecuada, habrá desconexión entre indicadores endógenos y exógenos, ¿qué implica? • P. ej. el desempeño puede ser excelente y no alterar los resultados Secuencia de proceso del programa
Insumos
Actividades
Productos
Resultados
Impacto
Recursos necesitados
Cómo se utiliza el recurso
Bienes o servicios entregados
Beneficio directo observable del programa
Efecto en el mediano o largo plazo
Indicadores endógenos
Indicadores exógenos
Es importante comenzar respondiendo preguntas clave para después traducirlo a formas de medirlo Ejemplo STNL: Mejorar la provisión de servicios de salud en lugares alejados
Resultados
¿Cuál es el objetivo general de la organización?
Productos
¿Cuáles son los objetivos específicos?
1. Aumentar la cobertura de Telemedicina 2. Fomentar la adopción y uso
Actividades
Para lograrlo: ¿Cómo se debe hacer?
1.1 Capacitar personal para Teleconsultas 1.2 Que el paciente experimente una consulta satisfactoria
¿Qué se necesita?
1.3 Equipo de videoconferencia 1.4 Aceptación de tecnología por parte de médicos
Insumos
¿Cómo aterrizar los indicadores exógenos? (Resultados e Impacto) Menor calidad de vida
Bajo potencial productivo local
Menor ingreso disponible en pacientes
Mayor costo de producción
Elevados costos de atención en salud
Menores remuneraciones
Menor rendimiento
Mayor inasistencia laboral Alta tasa de morbimortalidad en la localidad (zona rural) PACIENTES
Deficiente calificación laboral
Mayor inasistencia escolar
Indicadores exógenos: efectos esperados en pacientes
Sub-grupo
Efectividad Médica
Situación laboral
Acceso a servicios de salud
Costos de atención en salud
Indicador
Fuente
Tasa anual de morbilidad en zonas rurales
SIS
Tasa anual de mortalidad en zonas rurales
SIS
Ingreso familiar mensual promedio en zonas rurales
ENIGH
Tasa de inasistencia laboral por problemas de salud
Evaluación de impacto
Tasa de inasistencia escolar por problemas de salud
Evaluación de impacto
Índice de accesibilidad a servicios de salud
Evaluación de impacto
Costo evitado promedio de viajes de salud de pacientes atendidos por Telemedicina
Encuesta de Costos
Gasto familiar promedio en servicios de salud de la población en general en zonas rurales
ENIGH
Indicadores exógenos: efectos esperados en Gestión del Hospital
Sub-grupo
Gestión de Hospital
Indicador
Fuente
Tasa de hospitalizaciones de pacientes foráneos
Administrativo
Tasa de readmisiones en hospital de pacientes foráneos
Administrativo
Tasa de llegadas a urgencia de pacientes foráneos
Administrativo
Tasa de referencias de pacientes foráneos
Administrativo
Tasa de adherencia médica de pacientes en zonas rurales
Administrativo
Índice de percepción de transferencia de conocimiento entre médicos
Encuesta a Médicos
¿Cómo aterrizar los mecanismos de acción en indicadores? (Productos, Actividades e Insumos) Telemedicina
Promover adopción y uso de Teleconsultas
Máxima cobertura
Hospitales Regionales conectados al Centro de Telecomando (CT)
Especialidades disponibles en Teleconsulta
Capacidad instalada en CT (salas de consulta, equipos, etc.)
Adopción actores: -Especialistas -Médicos -Pacientes
Conocimiento y valoración del servicio
Indicadores endógenos: cobertura de Telemedicina Tipo
Cobertura geográfica
Cobertura de especialidades
Recursos humanos para administrar Teleconsultas (insumos)
Fiabilidad de conexión a Internet y de equipos
Recursos físicos del C.T. (insumos)
Indicador
Fuente
Número de H.G. con equipo de Teleconsulta activo durante más del 90% del mes
Administrativo
Población cubierta por H.G. con equipo de Teleconsulta durante más de 90% del mes
Administrativo
Horas totales semanales que médicos especialistas tienen disponible para Teleconsultas
Administrativo
Número de especialidades disponibles para Teleconsulta durante el mes
Administrativo
Número de médicos de H.G. capacitados para uso de Teleconsultas
Administrativo
Número de personal administrativo en H.G. disponible para operar Teleconsultas
Administrativo
Horas totales semanales que médicos pasantes laboran en el C.T.
Administrativo
Horas totales semanales que se dispone de un técnico en telecomunicaciones para reparación de equipos física o remotamente
Administrativo
Promedio de velocidad de descarga de Internet en los H.G.
Prueba de velocidad
Promedio de velocidad de carga de Internet en los H.G.
Prueba de velocidad
Número total de días al mes sin operar equipos de videoconferencia por falla o descompostura
Administrativo
Número de desconexiones o problemas técnicos durante las Teleconsultas por falla del equipo o de Internet.
Administrativo
Número de equipos de cómputo por personal laborando en el C.T.
Administrativo
Número de Salas disponibles de Teleconsulta independientes con conexión a internet y equipo de videoconferencia
Administrativo
Indicadores endógenos: apropiación y uso de Telemedicina Tipo
Uso de Teleconsultas
Experiencia del paciente en Teleconsulta
Indicador
Fuente
Número de citas de Teleconsulta otorgadas en el mes
Administrativo
Número de citas hechas efectivas en el mes
Administrativo
Número de pacientes atendidos por Teleconsulta en el mes
Administrativo
Número de pacientes de seguimiento atendidos por Teleconsulta
Administrativo
Tiempo de espera promedio del paciente entre la solicitud de la cita y el día agendado de la cita
Administrativo
Tiempo de espera promedio entre la hora agendada de consulta y el inicio de ésa
Administrativo
Número de citas no efectuadas por cancelación o inasistencia del médico
Administrativo
Número de citas no efectuadas por cancelación o inasistencia del paciente
Administrativo
Índice de satisfacción de usuarios de Teleconsulta (pacientes)
Encuesta de Calidad
Índice de satisfacción de usuarios de Teleconsulta (médicos)
Encuesta Médicos; Encuesta Especialistas
El éxito del Sistema de M&E depende mucho de la eficiencia de los indicadores Número de indicadores por tipo de fuentes
•
Sólo incluir los indicadores necesarios para construir la lógica vertical:
2
1 1 1
2
•
Actividades -> productos -> resultados -> impacto
•
Evitar indicadores difíciles de medir
•
Revisar que no existan dos o más indicadores que midan algo similar
•
Ejemplo: la metodología propuesta consta de 38 indicadores, de los cuales 25 son registros administrativos
Fuente: elaboración propia
2 2 3
25
Administrativo
Evaluación de impacto
SIS
Encuesta a Médicos
Prueba de velocidad
ENIGH
Encuesta de costos
Encuesta a Médicos
Encuesta de calidad
¿Cómo recolectar la información de fuentes no administrativas? Sistema de Información en Salud
• •
Es administrativa Periodicidad anual
Evaluación de impacto
• • •
Encuestas a Médicos
•
Medir nivel de satisfacción con el Sistema, retroalimentación Muy económicas y ágiles para la administración Periodicidad trimestral o cuatrimestral
• •
Encuestas a Especialistas
•
Encuesta de costos a Pacientes
• • •
Capturar los costos evitados por ser tratados desde Telemedicina Selección sistemática (p. ej. cada 10 consultas) Periodicidad trimestral
Muy costosa de implementar Se pueden usar proxy como estadísticas de INEGI Periodicidad anual o multianual
Igual que Encuestas a Médicos
Encuesta de calidad
• • •
Capturar el nivel de satisfacción de pacientes con Teleconsultas Selección sistemática (p. ej. cada 10 consultas Periodicidad trimestral
Un indicador debe cumplir tres elementos mínimos de calidad para procurar que su uso sea de utilidad
•
Especificar: • La fuente de la información • La periodicidad con que se actualizará • La persona responsable de administrarlo Ejemplo de construcción de un indicador Indicador
Fuente
Frecuencia de actualización
Quién es responsable
Número de citas de Teleconsulta otorgadas en el mes
Registro administrativo
Mensual
Prestador de servicio social
Los servicios de Telemedicina se enfocan en el cumplimiento de metas de calidad y no cantidad Metas orientadas a cantidad
Por lo tanto, el enfoque de la evaluación es sobre la calidad de los procesos, por ejemplo: – Equipos de videoconferencia en funcionamiento – Velocidad de Internet suficiente
Meta
Resultados
▪
Línea base
– Tiempos de espera entre solicitud de cita y fecha asignada corto
Tiempo
– Experiencia de consulta del paciente excelente
Metas orientadas a calidad Línea base
▪
30
Contraejemplo: Teleeducación (planificación de cuántas personas capacitadas al año, cuántos talleres, etc.) Fuente: elaboración propia
Resultados
Meta
Tiempo
4 31
Evaluaci贸n 驴C贸mo utilizar esta informaci贸n para la toma de decisiones?
Los indicadores del monitoreo son un insumo para generar evaluaciones en cuatro dimensiones diferentes. Relaci贸n entre dimensiones de evaluaci贸n y de monitoreo 1er nivel: Monitoreo
2do nivel: Evaluaci贸n
Resultados
Eficacia
Productos
Calidad
Eficiencia Procesos
Econom铆a Insumos
32
Son indicadores de “segundo nivel”, normalmente construidos a partir de los indicadores del Sistema de Monitoreo •
Normalmente requieren de cálculos (razón, porcentaje, etc.) entre dos o más indicadores de “primer nivel.”
•
Se contrasta la línea base con un corte en el tiempo para observar la evolución
Ejemplos: Tipo
Indicador
Cálculo
Calidad
Porcentaje de cancelación o inasistencia de médico a las citas
Número de citas no efectuadas por cancelación o inasistencia del médico / Número de citas de Teleconsulta otorgadas en el mes
Cobertura
Porcentaje de población atendida
Población cubierta por H.G. con Teleconsulta en funcionamiento / Población objetivo total
5 34
Recapitulaci贸n
Recapitulación
• SM&E una herramienta estratégica para la gestión
• El diseño es la parte más difícil • Teoría causal • Construir indicadores
• SM&E requiere de mejora continua • No es costoso implementarlo
Metodologías de Monitoreo y Evaluación en proyectos de Telemedicina César Rentería Marín cesar.renteria@cide.edu @TelecomCIDE