ESTUCTURA DE UN ANÁLISIS DE CASO MENCIÓN EVALUACIÓN DE APRENDIZAJES Elaborado por Paola Marchant y Carla Förster Este trabajo tiene como objetivo dar orientaciones acerca de los aspectos operativos de un proceso de análisis de casos en el marco de la evaluación de aprendizajes de instituciones educativas. Con este objeto, se define que se entenderá por caso y se incluyen los pasos y elementos básicos para configurarlo, realizar el análisis y hacer una propuesta de mejora. Cinco son los pasos que considera el Análisis de Caso para Evaluación de Aprendizajes I. Contextualización II. Configuración del Caso III. Relevancia del Caso IV. Análisis del caso V. Propuesta de mejora.
Pero antes de todo…. ¿Qué es un Caso de análisis en el contexto de la evaluación de aprendizajes? Un caso de análisis tiene la característica particular de ser la exposición de hechos, datos, circunstancias, contexto de una situación exitosa o problemática, que ha enfrentado o se encuentra enfrentando un grupo de persona, organización escolar, un(unos) profesor(es), estudiantes, entre otros; y la respuesta o acciones que estos han dado a la situación, de modo de plantear al analista la posibilidad de reflexionar acerca de las particularidades del caso, sus causas, consecuencias o efectos y singularidades, a partir de teoría, conocimientos y herramientas metodológicas que disponga. Lo distintivo de un caso como ejercicio de análisis consiste en que analiza un fenómeno en su contexto y como una totalidad, en lugar de dividirlo en variables para examinar cómo se correlacionan unas con otras (Ragin, 1989). En general, un caso puede ser una persona, organización, programa de enseñanza o acontecimiento presente o pasado. En educación, puede ser un alumno, profesor, aula, proyecto, programa, colegio, o experiencia, entre otros. Un alumno con dificultades de aprendizaje puede constituir un caso. Un caso puede ser una experiencia de cambio organizacional, o la implementación de una nueva política. El currículum de un establecimiento educacional puede configurar un caso, así como pueden serlo los métodos de evaluación de aprendizajes usados por los profesores de un determinado departamento en un liceo.
1
Es fácil confundir la noción de caso con la de unidad de análisis. La unidad de análisis es el elemento sobre el cual se reúnen datos o se hacen observaciones, por ejemplo, un currículum, o el comportamiento de los niños en el aula, o la situación financiera de una escuela. La unidad de análisis (por ejemplo, situación financiera) no es lo mismo que el dato (por ejemplo, la deuda de la escuela), o la fuente de los datos (la contabilidad). De hecho, típicamente en el análisis de casos se reúnen datos u observaciones de múltiples fuentes, pero relativos a la misma unidad de análisis, y esa es una de las fortalezas de utilizar el análisis de caso como método. El caso y la unidad de análisis pueden coincidir o no (un caso puede tener más de una unidad de análisis, como cuando se analiza una situación en varios niveles que van de lo micro a lo macro—el niño con dificultades de aprendizaje, su familia, sus profesores, la escuela). Los siguientes apartados dan cuenta de la estructura del análisis de casos y se detallan los elementos que se deberían considerar. I. Contextualización Da cuenta del ambiente en el que se inserta el caso que se analizará con posterioridad. Corresponde a la descripción de la “unidad” que será estudiada (institución, programa, clase, etc.) considerando aspectos tales como: tipo de institución, ubicación geográfica, recursos, cantidad de estudiantes y profesores, nivel de logro de aprendizajes en mediciones estandarizadas, clima del establecimiento, estructura organizacional, tiempo, entre otros. Se refiere a aspectos que permiten situar al lector en el caso, pero que son externos a este. Se describe en párrafos que van de lo general a lo particular, intentando dejar al final del contexto lo que pueda tener directa relación con el caso: Ejemplos de enlace entre contexto y caso: -
-
-
-
Terminar el contexto describiendo los resultados de Aprendizaje de los estudiantes, si el foco es la descripción de una estrategia evaluativa, instrumentos aplicados, implementación de la evaluación, reportes de evaluación, entre otros. Terminar el contexto describiendo las características de los profesores del establecimiento, si el foco es la descripción de la práctica evaluativa de una docente. Terminar el contexto describiendo los programas y proyectos que se implementan en un establecimiento, si el foco es la descripción de un programa específico asociado a evaluación. Terminar el contexto describiendo las características y dinámicas de una organización de apoyo a los establecimientos, si el foco es una intervención evaluativa realizada por una fundación u organización en un establecimiento determinado.
2
II. Configuración del Caso Se refiere a la descripción del caso propiamente tal. Este se construye a partir de la recolección de un conjunto de evidencia, cuantitativa y/o cualitativa, que da cuenta a nivel descriptivo de sus características principales, dinámicas, contradicciones, intervenciones evaluativas en curso, estrategia innovadora, procesos de cambio, logros de proceso y final, fortalezas, debilidades, éxitos y/o fracasos. Decisiones tomadas y fundamentación de las mismas, entre otras. La descripción del caso debe integrar datos que permitan su análisis posterior. En el caso de las evidencias cualitativas, están deben estar apoyadas en párrafos que dan cuenta del discurso de los entrevistados. También puede considerar información documental, de carácter oficial de los establecimientos o programas, debidamente citada. La evidencia que se incluya en este apartado debe ser pertinente y focalizada, cumpliendo criterios tales como: -
Se relacione con Evaluación de/para el aprendizaje Tenga un carácter descriptivo. Cuenta con evidencia objetiva, valida y confiable No incorpora juicios u opiniones de sentido común del autor/a. Redactado en tercera persona. Siga un hilo conductor, lógico, que permita seguir una línea argumentativa. Sea suficiente, lo que contribuya al análisis.
Para la construcción del caso es necesario definir con anterioridad un plan de recogida de información, con los instrumentos y/o procedimientos a utilizar para tal efecto. Siguiendo los criterios de medición e investigación pertinente. Dicho plan supone, selección de la información relevante. Al finalizar esta construcción, se sugiere responder la siguiente pregunta: ¿La información presentada permite una comprensión acabada de la situación, sin dejar aspectos ambiguos o con falta de información? III. Relevancia del caso que hace necesario el análisis Hace referencia a la descripción de la importancia del caso, como tal. Esto significa que los casos presentados, deberán cumplir con aspectos tales como: 1.
2.
Caso singular y único: tiene una particularidad que lo constituye como caso de interés no solo para quien lo construye. Dicha importancia puede estar en el aporte que este constituye como experiencia exitosa o problemática, que lo convierten en único, o ejemplar. Importancia para la institución: considera que en esencia el análisis del caso sea relevante para la institución donde se inscribe o instituciones similares, de modo que sirva como ejemplo paradigmático ya sea de éxito o fracaso.
3
3.
Importancia como tópico de evaluación de aprendizajes; en especial hace referencia al hecho que el caso sea un aporte en cuanto análisis de evaluación de aprendizajes y no en el plano de la gestión organizacional, la didáctica o el curriculum. Por lo que su elección, configuración y desarrollo, debe considerar los tópicos centrales de la evaluación educacional y su desarrollo teórico, focalizada preferentemente en el aula.
III. Análisis del caso Esta sección corresponde al análisis propiamente tal del caso y considera relevar la evidencia clave desde el caso. Comprende cuatro partes: Elaboración de preguntas orientadoras del análisis, Análisis FODA, Discusión de la evidencia a la luz de los referentes teóricos y la literatura especialista en el tema y finalmente la configuración del núcleo problemático que surge del análisis y que es necesario abordar para mejorar la situación. a) Preguntas orientadoras: Son preguntas que guían el análisis de la evidencia presentada en el caso, por tal motivo debe redactarse siguiendo una estructura que se oriente a poner en cuestionamiento la evidencia. Para ello las preguntas deben permitir ir desde los concreto y evidente, hacia lo latente y abstracto, que no siempre se encuentra descrito sino que es descubierto por el analista, dado su experiencia y manejo teórico de la evaluación para el aprendizaje. Deben cumplir con los siguientes requisitos: La respuesta supone una elaboración compleja que no se responden con un Sí o No. Deben responderse con la información presentada en el caso. Deben estimular una reflexión crítica y no solo una descripción del caso, deben ser tensionantes para el análisis. Deben estar asociadas a la temática de evaluación de aprendizajes. Sin el propósito de intentar mecanizar su construcción sino que solamente orientar la misma, se presentan algunas preguntas elaboradas para casos particulares. Ejemplos: 1. ¿Cómo se justifican las decisiones de la profesora en cuanto a los instrumentos de evaluación seleccionados y aplicados en el aula? 2. ¿Cuánta coherencia existe entre la planificación y la implementación de la estrategia evaluativa utilizada por la profesora, para el contexto de los niños del curso? 3. ¿Porqué las decisiones evaluativas tomadas por una directora, a pesar de estar centradas en resultados y no considerar procesos, pueden mejorar los rendimientos de los estudiantes generando la satisfacción de profesores y estudiantes?
4
4. ¿Qué aspectos de la cultura de la escuela pudieron favorecer el cambio evaluativo instalado por la dirección, y frenar las resistencias propias de un proceso de cambio? 5. ¿En qué medida las decisiones tomadas por parte del profesor dan cuenta de una estrategia planificada de evaluación de aprendizajes, o sólo una secuencia de actividades por cumplir, para los niños del nivel? 6. ¿cómo se explican los efectos que la evaluación estandarizada implementada en el colegio ha provocado en la cultura escolar y en la dinámica de las decisiones estratégicas, en torno al desarrollo de los aprendizajes de los estudiantes? b) Análisis FODA: Este tipo de análisis permite describir la situación interna y externa en la que se encuentra un caso, desde el punto de vista de la evaluación de aprendizaje. -
Las Fortalezas (F), son aquellos aspectos o hechos positivos, ventajas que se constituyen en recursos, habilidades, actitudes, entre otros, que se destacan en su contribución al logro de los objetivos, según sea el caso. La formulación de las fortalezas debe cumplir con los siguientes criterios de redacción y presentación: Se levantan de la información del caso, no se infieren. i) ii) Se explicita porqué constituyen una fortaleza, el solo nombrar el hecho no constituye una fortaleza en si misma, es necesario desarrollar la idea y justificar porque ese hecho puntual constituye una fortaleza en términos evaluativos. iii) Se relacionan directamente con la evaluación de aprendizajes y con las preguntas orientadoras del análisis. Ejemplo de Fortaleza: Existen variados instrumentos de evaluación que permiten recoger distintos tipos de evidencia de los aprendizajes de los estudiantes, favoreciendo así la objetividad de los juicios que emiten los docentes acerca de los niveles de logro alcanzados.
-
Las Debilidades (D), son aquellos aspectos “negativos”, áreas o aspectos que no se desenvuelven bien o son necesarios mejorar, barreras que impiden avanzar hacia el logro de los objetivos según sea el caso. La formulación de las debilidades debe cumplir con los siguientes criterios de redacción y presentación: i) Se levantan de la información del caso, no se infieren. ii) Se explicita porqué constituyen una debilidad, el solo nombrar el hecho no constituye una limitación en si misma, es necesario desarrollar la idea y
5
iii)
justificar porque ese hecho puntual constituye una debilidad en términos evaluativos. Se relacionan directamente con la evaluación de aprendizajes y con las preguntas orientadoras del análisis.
Ejemplo de Debilidad: Los docentes cuentan con una visión castigadora de la evaluación, que genera un clima atemorizante en los estudiantes, afectando sus ganas de asistir a clases y de aprender. Es clave en este punto que los elementos seleccionados deben estas ESTAR OCURRIENDO EN EL CASO y ser claves en términos de la evaluación de aprendizajes y no de un proceso pedagógico general. La identificación de los componentes del FODA debe estar relacionada con las preguntas orientadoras. -
Las Oportunidades (O): son aquellas aspectos favorables tanto a nivel interno del caso como del entorno ambiental o contexto que podrían ser aprovechados para mantener o mejorar las condiciones del caso. Constituyen hechos o condiciones que de seguir presentes en el futuro resultarían positivas para el caso en cuestión.
La formulación de las oportunidades debe cumplir con los siguientes criterios de redacción y presentación: i) Se levantan de la información del caso, realizando inferencias hacia el futuro. ii) Se explicita porqué constituyen una oportunidad, el solo nombrar el hecho no constituye un beneficio en si misma, es necesario desarrollar la idea y justificar porque ese hecho puntual constituye una oportunidad en términos evaluativos. Debe ser evidente la distinción respecto de que no está ocurriendo en la actualidad porque entonces sería una fortaleza. iii) Se relacionan directamente con la evaluación de aprendizajes y con las preguntas orientadoras del análisis. Ejemplo de Oportunidad De seguir la intervención evaluativa contando compromiso de padres y estudiantes, puede oportunidad de mejora de los aprendizajes estandarizadas observables y no sólo a nivel de específicos.
con la adhesión y constituirse en una reflejado en cifras resultados en cursos
La existencia en la actualidad de nuevas iniciativas realizadas desde el municipio (sostenedor) en torno a la evaluación de los aprendizajes,
6
puede constituirse en oportunidad de recursos vía proyectos orientados a apoyar a los docentes en evaluación1. -
Las Amenazas (A): Corresponde a aspectos desfavorables que se generan en torno al caso y que podrían atentar en contra de la situación, poner en riesgo o agravar los problemas. Aspectos que pueden afectar adversamente al caso. Dado esto es necesario disminuirlas o hacerlas desaparecer al igual que las debilidades.
La formulación de las amenazas debe cumplir con los siguientes criterios de redacción y presentación: i) Se levantan de la información del caso, infiriendo razonablemente sus consecuencias. Es decir, no se inventan sino que surgen a partir de la evidencia conocida. ii) Se explicita porqué constituyen una amenaza, el solo nombrar el hecho no constituye un perjuicio en si mismo, es necesario desarrollar la idea y justificar porque ese hecho puntual constituye una amenaza en términos evaluativos. Debe ser evidente la distinción respecto de que no está ocurriendo en la actualidad porque entonces sería una debilidad. iii) Se relacionan directamente con la evaluación de aprendizajes y con las preguntas orientadoras del análisis. Ejemplo de Amenaza De continuar, el establecimiento, utilizando la información de los resultados de la evaluación como una medida de comparación y competencias entre los estudiantes, se pondrá en riesgo la calidad de los aprendizajes de los mismos deteriorando el proceso formativo.
c) Análisis: Analizar es una habilidad cognitiva de jerarquía superior, que consiste en estudiar una fenómeno en sus diversas partes en busca de una comprensión o explicación del mismo, en su contexto particular. En el análisis de un caso por lo tanto, se debe establecer una relación entre las preguntas que provocan el análisis, los elementos relevantes del caso, descritos en el FODA y las claves conceptuales de la evaluación educacional. Para esto se debe hacer dialogar los aspectos teóricos de la evaluación de/para el aprendizaje con la evidencia, para dar mayor fuerza al análisis, haciendo referencia a autores. En el relato debiesen aparecer las tensiones del caso, situación de crisis o por el contrario, aspectos que configuraron el éxito del caso seleccionado.
1
Este tipo de oportunidad es más difícil de definir dado que los contextos que estamos realizando en el contexto del curso son internos y no consideran aspectos del ambiente, por lo que se sugiere sólo considerar el primer caso).
7
El análisis es un relato descriptivo, en tercera persona, que cumple las reglas de las formalidades para cualquier texto y normas de citas acordadas. d) Definición de la problemática: Al finalizar el análisis se debe describir el foco problemático del caso, aquello que es necesario enfrentar, mejorar, reparar, o resolver. O por el contrario, la explicación principal del éxito. Esta descripción no debe ser lo que parece evidente, no es una debilidad relevada, o una secuencia de hechos, sino que aquello que se encuentra latente en el caso y que constituye su explicación principal. Dicha explicación, refleja la mirada del experto que en su definición integra la experiencia, la evidencia y su manejo conceptual. Así también, el foco deberá estar acompañado de la descripción de los actores que participan y las consecuencias que provoca el problema detectado en forma precisa. IV. Propuesta de Mejora La propuesta de mejora es una alternativa que presenta el analista para enfrentar o potenciar la problemática del caso. Se traduce en una Matriz con diferentes componentes que orientan al lector acerca del curso de acción de dicha propuesta. Esta, debe estar en el marco de la evaluación de los aprendizajes, y debe responder a los siguientes criterios: Factibilidad: Que se pueda llevar a cabo en el establecimiento o aula determinada. Validez: que corresponda al problema central del análisis y no a uno colateral o inexistente. Novedad: que no se tenga conocimiento de haber sido implementada con anterioridad; que sea diseñada para este caso, marcando el sello diferenciador desde la mirada de especialistas en evaluación. Se espera que la propuesta presente coherencia entre sus distintos aspectos: a) Propósito: propuesta? ◦ ◦
¿Qué busca solucionar la propuesta?, ¿cuáles son los objetivos de la
Este apartado tiene por objeto establecer lo que se busca como resultado de la propuesta. Los objetivos orientan las acciones a seguir para lograrlo.
b) Actividades: ¿Qué actividades permiten el logro de las metas u objetivos trazados para la etapa?, ¿su nivel de complejidad permite alcanzar la conducta deseada? 8
◦ ◦ ◦
Deben ser acordes con los objetivos. Puede haber más de una acción por objetivo. Deben ser factibles de realizar en el contexto específico del caso.
c) Medios de Verificación: ¿Cuál es la evidencia que puede testimoniar la realización de las acciones planificadas? ◦ ◦
Tiene que ver con la fidelidad de la implementación de la propuesta. Son evidencias concretas que muestren que la actividad se realizará y la calidad de esa realización.
d) Recursos: ¿Qué medios materiales se requieren para el desarrollo de las actividades? ◦ Corresponde a un listado de los recursos que ser requieren para llevar a cabo la actividad propuesta. e) Responsables: ¿Qué actores involucrados en la situación problemática lideran la realización de la actividad? ◦ Es fundamental para la realización de cada acción que se defina una persona que sea la encargada de gestionarla, y que sea responsable de la implementación. f) Indicadores: ¿Cómo podemos darnos cuenta que se logra el propósito definido? ◦ Aspectos medibles u observables que se tomarán en cuenta para evaluar el nivel de logro de las acciones propuestas. ◦ Son formas de operacionalizar el resultado esperado. ◦ Cada indicador (puede haber más de uno para cada acción) establece en forma concreta algún comportamiento que debe ser observado. ◦ Tiene relación directa con el propósito establecido para el componente estudiado.
NOTA: El Informe que presenta el análisis del caso debe considerar además. Aspectos formales: Hoja tamaño carta, con portada señalando el título del análisis, nombre del autor y profesor guía. Letra Arial 11 o Times New Roman 12, el texto final no debe exceder las 20 mil palabras, sin contar las referencias y anexos. Se debe utilizar norma APA para el registro de citas, tablas, gráficos y referencias. Introducción: Esta sección da cuenta de la presentación del trabajo y es la primera entrada del lector al tema, por tanto, debe permitir una visión general del informe, el propósito de realizar este análisis la metodología utilizada para recoger las evidencias del caso, su proceso de análisis para configurarlo como tal y la estructura que tiene el escrito.
9
En esta sección se debería responder a las siguientes preguntas: b) ¿Cuál es el propósito de hacer este análisis? c) ¿Qué metodología y análisis se realizaron para configurar la evidencia del caso?
Por la naturaleza metodológica el objetivo siempre será Analizar…. Explicitar a partir de los conocimientos aprendidos en los cursos metodológicos respectivos según sea el caso, poniendo el foco en las técnicas para recoger información y para su análisis. d) ¿Cómo se estructura el escrito que está a Introducir al lector en lo que va a encontrar continuación? en el trabajo. Ej. Tres partes, una referida a la configuración del caso, otra referida al análisis del mismo y, por último, una propuesta de mejora al problema identificado.
10