Modelos evaluacion centros educativos

Métodos alternativos de evaluación

Mtra. Patricia Trujillo Villafañe

Tres grupos de m茅todos 1. Pseudoevaluaci贸n 2. Cuasievaluaci贸n 3. Verdadera evaluaci贸n

1. Pseudoevaluación Se dice que los mentirosos imaginan cosas y que las imaginaciones mienten. Del mismo modo los charlatanes y los manipuladores utilizan a menudo la evaluación de una manera inadecuada para lograr sus objetivos.

Puede que recopilen información rigurosamente, pero no revelan las verdaderas conclusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engañando tanto a la gente como a sí mismos.

Dos tipos de pseudoevaluaci贸n Investigaciones encubiertas.

Estudios basados en las relaciones p煤blicas.

Investigaciones Encubiertas Investigaciones encubiertas o también llamada “evaluación políticamente controlada”.

La intención del cliente al encargar una investigación encubierta es conseguir asistencia para obtener, mantener o incrementar una esfera de influencia , poder o dinero.

Los problemas que plantea son los que interesan al cliente y a ciertos grupos que comparten sus intereses.

MĂŠtodos tĂ­picos AnĂĄlisis de documentos Vigilancia de los implicados Estudios simulados Investigaciones privadas Expedientes secretos

La información El cliente quiere que la información sea tan sólida técnicamente como sea posible pero también que se le garantice la posibilidad de controlar la revelación de la información.

La información puede ser revelada selectivamente para crear una falsa imagen del valor de un objeto, o incluso no revelada, para ocultar una situación.

Estudios basados en las relaciones públicas Se trata de un estudio planificado, realizado y utilizado para satisfacer propósitos que tengan que ver con las relaciones públicas.

Las necesidades informativas del propagandísta y la intención del estudio es ayudar al cliente a crear una imagen positiva de una institución, un programa, un sistema y similares.

Buscan información que pueda ser de ayuda para asegurar el apoyo del público.

Métodos típicos Inspecciones.

Pruebas.

Utilización de asesores “expertos”.

Utilización de métodos dudosos por parte de este tipo de evaluadores en su propensión a crear una buena imagen del objeto de la evaluación.

2. Cuasievaluación Aparecen especificados porque existe la evidencia de que a veces pueden ser utilizados para enjuiciar el valor o el mérito de un objeto, mientras que en otros casos su alcance es demasiado estrecho o solo tangencial a las cuestiones del mérito y el valor.

Estos estudios empiezan con un problema concreto y luego buscan la metodología apropiada para solucionar ese problema.

Usos de la información obtenida Que la información obtenida sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente , una cuestión secundaria.

Los estudios cuasievaluativos poseen otros usos muy legítimos, aparte de su relación con la evaluación.

La principal cautela que hay que adoptar ante este tipo de estudios es NO considerarlos equivalentes a la evaluación.

Dos modelos de estudio cuasievaluativo Estudios basados en objetivos. (Tyler) Estudios basados en la experimentaci贸n.

(Suchman) Existen otros m茅todos cuasievaluativos, descritos por Stufflebeam y Webster y son los estudios de responsabilidad, los programas de pruebas y los sistemas de informaci贸n administrativa.

Estudios basados en objetivos Estos han sido la principal fuerza que ha impulsado el movimiento para sistematizar el trabajo evaluativo.

El estudio suele basarse en algĂşn informe sobre los objetivos, estos pueden ser determinados por los clientes, establecidos por las personas cuyo trabajo se estĂĄ valorando, formulados por el evaluador o fijados conjuntamente por todos aquellos que participan en la evaluaciĂłn.

Prop贸sito El prop贸sito de los estudios basados en objetivos es determinar si estos han sido alcanzados y, de acuerdo con esto, concluir si se ha tenido 茅xito en el trabajo que se ha valorado.

Las audiencias m谩s frecuentes son los creadores de programas, los patrocinadores, los administrativos y los proveedores de servicios.

Métodos utilizados La recopilación y análisis de datos sobre el trabajo en cuestión, relativas a objetivos específicos.

Ralph Tyler es el pionero de este tipo de estudios.

Muchos han ido más allá que Tyler al desarrollar variaciones sobre su modelo evaluativo basado en los objetivos (Bloom, Hammond, Metfessel y Michael, Popham y Provus).

Sigue siendo el que más frecuentemente se utiliza con el nombre de evaluación.

Estudios basados en la experimentación Es muy importante en evaluación, se incluye como cuasievaluación porque incluye cuestiones y metodologías a veces relacionadas, pero a veces no, con el juicio de valores.

Se basa en la exposición de problemas, las hipótesis y el estudio de las cuestiones.

Propósito Determinar o demostrar vínculos casuales entre ciertas variables dependientes e independientes , como por ejemplo un método de enseñanza y una ejecución profesional y documentada, o un test con calificaciones.

驴De d贸nde proceden los problemas?

De los investigadores De quienes desarrollan los programas de educaci贸n De los editores de publicaciones

驴De d贸nde NO proceden?

De los implicados De los participantes De los promotores financieros

MĂŠtodos utilizados Planes experimentales Planes cuasiexperimentales Algunos pioneros son: Linquist (1953), Campbell y Stanley (1963), Suchman (1967) y Cronbach y Snow (1969).

La principal ventaja

Proporcionan m茅todos s贸lidos para la determinaci贸n de relaciones causales entre el programa y los resultados.

Los problemas Consisten en que el método, a menudo, no resulta factible a la hora de señalar los límites de la especialidad y proporciona una información mucho más restringida de la que es necesaria para evaluar programas de educación, salud y bienestar. Además los estudios experimentales tienden a proporcionar una información final que no resulta útil como guía para el proceso de desarrollo.

3. Verdadera evaluaci贸n Se oponen a las pseudoevaluaciones y subrayan la necesidad de evitar los estudios tendenciosos, y , en contraste con las cuasievaluaciones, recomiendan la realizaci贸n de investigaciones de conjunto basadas en cuestiones de valor y m茅rito.

Cuatro modelos de verdaderas evaluaciones Estudios de orientaci贸n de la decisi贸n.

Estudios centrados en el cliente.

Estudios pol铆ticos.

Estudios basados en el consumidor.

Estudios de orientación de la decisión Esta evaluación se utiliza para el perfeccionamiento de un programa y para enjuiciar su valor.

Está concebido casi siempre para los niveles administrativos, ya que existe más autoridad decisoria en los niveles más altos.

Las decisiones a tomar Ya sea por un administrador, Un consejo político, Un personal de programación o Un electorado Proporcionan organizadores previos para los estudios de orientación de la decisión, básicamente la intención de estos estudios es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones.

La procedencia de los problemas planteados en este tipo de estudios Incluye a todos aquellos que toman decisiones: Administadores, ciudadanos, estudiantes, profesores, mĂŠdicos, juntas polĂ­ticas, votantes y cualquiera que decida cĂłmo planificar, dirigir y utilizar servicios

Cuestiones que plantea ¿qué es lo que hay que conseguir? ¿cuál debe ser la planificación de una empresa determinada? ¿cómo debe llevarse a cabo el plan? ¿cuándo y cómo debe ser modificada la empresa?

M茅todos utilizados Inspecciones Valoraci贸n de las necesidades Estudios de casos Series de recomendaciones Observaciones estructurales Planificaciones cuasiexperimentales y experimentales

Cronbach (1963) introdujo la idea de que la evaluación debía ser reorientada y que, de basarse en objetivos, debía pasar a ser una ayuda para que los educadores tomaran decisiones más acertadas acerca de cómo educar.

Stufflebeam (1966, 1967) introdujo una conceptualizaci贸n de la evaluaci贸n que se basaba en la idea de que 茅sta deb铆a ayudar a los educadores a tomar y justificar decisiones que pudieran satisfacer mejor las necesidades de los estudiantes.

Otros autores son: Alkin (1969) Reinhard (1972) Taylor (1974) Guba (1978) Webster (1975)

La principal ventaja Anima a los grupos de profesionales, así como a las organizaciones gubernamentales, a utilizar la evaluación contínua y sistemáticamente para planificar y llevar a cabo los servicios que satisfacen las necesidades de los clientes.

Proporciona una base lógica que ayuda a los profesionales a responder de las decisiones tomadas en el curso de un servicio.

Su principal limitación Es que la colaboración imprescindible entre el evaluador y el que toma las decisiones puede conducir a una distorsión de los resultados.

La metaevaluación externa (la evaluación de la evaluación) se emplea para contrarrestar esas posibles desviaciones.

Estudios centrados en el cliente Está concebido más en el personal de una organización, se preocupa más de “dónde está la acción”.

Los estudios relacionados con este enfoque se centran principalmente en ayudar a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus contribuciones.

Los organizadores previos son las preocupaciones y problemas del programa del servicio.

Prop贸sito Ayudar a la gente que forma parte de un servicio local a comprender c贸mo funcionan las actividades de su servicio y el grado en que estos servicios son respetados por los expertos y valorados por los clientes.

Los problemas Proceden de la comunidad De grupos locales De expertos ajenos al caso

M茅todos utilizados Estudio de casos Informes contrapuestos Sociodramas Evaluaci贸n respondente (Stake)

Stake (1967) es el pionero de este tipo de estudios y su mĂŠtodo ha sido desarrollado por MacDonald (1975) en Inglaterra, Rippey (1973) , y mĂĄs recientemente Guba (1978).

La principal virtud Es que se trata de una investigaci贸n activa en la que se ayuda a la gente que realiza programas a dirigir sus propias evaluaciones.

Su principal defecto Su ausencia de credibilidad externa y la posibilidad de ser manipulado por ciertos elementos locales que, en efecto, ejercen un gran control sobre la evaluaci贸n.

Estudios Políticos Sirve para identificar y valorar los méritos de varias políticas que compiten en una sociedad o segmento social.

El organizador previo de un estudio político es una determinada cuestión política, como por ejemplo, ¿cuál es el mejor o, al menos, el método más efectivo de satisfacer las directrices federales en lo que a igualdad de oportunidades educativas se refiere?

Prop贸sito Describir y valorar los costos y beneficios potenciales de diversas pol铆ticas aplicables a una instituci贸n determinada o a la sociedad.

Plantean las cuestiones Los legisladores Las asociaciones polĂ­ticas Los grupos especialmente interesados

Pregunta principal ¿Cuál de entre dos o más políticas distintas logrará con mayor éxito resultados válidos a un costo razonable?

M茅todos utilizados Estudios pol铆ticos La planificaci贸n experimental y cuasiexperimental, Los guiones, Los pron贸sticos y Los procedimientos judiciales.

Joseph Rice Puede ser considerado el pionero en esta รกrea, otros fueron Coleman, Campbell, Hobson, McPartland, Moor, Weinfeld y York (1966). Jenks, Smith, Adand, Bane, Cohen, Gintis, Heynes y Mikelson (1972). Clark (1965), Owens, Wolf y Weiss (1972).

La principal ventaja

Resultan esenciales como guĂ­a de las instituciones y de la sociedad.

Principal inconveniente Pueden corromperse por el ambiente polĂ­tico en el que se desarrollan.

Estudios basados en el consumidor En este tipo de estudios el evaluador es el “inteligente sustituto� del consumidor.

Los organizadores previos son los valores y necesidades de la sociedad.

Prop贸sito Un estudio basado en el consumidor tiene como prop贸sito juzgar los valores relativos de los bienes y servicios alternativos y, como consecuencia, ayudar a los contribuyentes y clientes a saber elegir en sus adquisiciones de esos bienes y servicios.

Lo problemas Estรกn relacionados con la sociedad, con los que forman parte de los servicios institucionales y especialmente con las premisas del evaluador.

Pregunta Principal ÂżCuĂĄl de los muchos objetos de consumo alternativos es mejor comprar dado su costo, las necesidades del grupo consumidor y los valores de la sociedad en general?

Métodos utilizados Listas de control La valoración de las necesidades Evaluación de los objetivos La planificación experimental y cuasiexperimental El análisis de modus operandi El análisis de los costos

Scriven (1967) fue el primero en aplicar este tipo de estudio a la educaci贸n.

Glass ha desarrollado en茅rgicamente el trabajo de Scriven.

Principales ventajas Se trata de una valoraci贸n s贸lida e independiente concebida para proteger a los consumidores de productos y servicios de muy baja calidad.

El m茅todo goza de gran credibilidad entre los grupos de consumidores.

Desventajas Puede llegar a independizarse tanto de quienes lo practican que quizรก no pueda ayudarles a la hora de servir mejor a los consumidores.

Este tipo de estudio requiere de un experto que sea competente y en el que se pueda confiar, ademรกs de los recursos suficientes que le permitan realizar un estudio minucioso.

Desventajas Este mĂŠtodo, es demasiado costoso como para ser llevado a cabo.

A menudo, da como resultado datos imperfectos y poco fiables.

Conclusiones Los evaluadores tienen que tomar en cuenta que quizá se encuentren con dificultades considerables si su concepción del estudio que están llevando a cabo difiere de la de sus clientes o audiencias.

Con frecuencia los clientes desean un estudio políticamente ventajoso (pseudoevaluación), mientras que los evaluadores prefieren realizar estudios basados en cuestiones concretas (cuasievaluación), puesto que ello les permite aplicar la metodología para la que se han preparado.

Conclusiones Los consumidores de los servicios que se estĂĄn valorando desean, por lo general, estudios basados en los valores (verdadera evaluaciĂłn), que les ayuden a determinar el valor de los bienes y servicios o juzgar el mĂŠrito y el valor de un programa.