Tema 4

TEMA 4 EVALUACIÓN Y SEGUIMIENTO DEL PROCESO FORMATIVO CONFORME A LA FORMACIÓN PRSENCIAL Y EN LÍNEA. 1. ESTABLECIMIENTO DE CRITERIOS E INDICADORES DE EVALUACIÓN. Cuando se evalúa en educación, sea para niños, jóvenes o adultos; de tipo formal o no formal; es necesario determinar qué criterios y qué indicadores vamos a utilizar de manera que estos nos permitan medir la buena marcha del proceso o el buen desempeño de las personas involucradas; docentes, alumnos, administrativos y padres de familia.

Para elaborarlos y construirlos se parte de los objetivos o misión del centro o del programa a ejecutarse. A partir de aquí se deciden los criterios que se van a utilizar. Para el caso de educación para adultos, debemos asumir que los objetivos y la misión están definidos pensando en sus características, necesidades y demandas.

Así, por ejemplo, si un programa o centro tiene por misión “preparar a los adultos en el manejo de nuevas tecnologías educativas a fin de que estén actualizados para participar en el desarrollo del país”, podremos hablar en este caso de elaborar criterios como: -

identificación o reconocimiento de nuevas tecnologías

-

disposición para el manejo de las nuevas técnicas

-

valoración del dominio de las nuevas tecnologías

-

reconocimiento como instrumento de desarrollo

-

participación, contribución…

Partiendo de este ejemplo podemos definir entonces Criterios de evaluación como aquellas condiciones o efectos que se deben cumplir en el proceso para lograr los objetivos del proyecto o de la actividad educativa. (DEFINICIÓN) Las características que deben tener los criterios son: -

deben ser claros en expresar lo que se pretende

-

deben ser conocidos y aceptados por los involucrados. Es deseable que todos los implicados los acepten y que se comprometan a alcanzarlos.

-

Deben ser comprensibles, todos deben entender exactamente lo mismo.

-

Deben ser flexibles, capaces de adaptarse a cambios.

-

Deben ser elaborados en lo posible de manera participativa.

De otro lado, los indicadores son construidos a partir de los criterios. Y son definidos como medidas de los sucesos del proceso que a su vez permiten evaluar si se está cumpliendo o no, o en qué medida, con los criterios que se han elaborado. (DEFINICIÓN) Para seguir con el ejemplo dado en la definición anterior de Criterio, podríamos construir los siguientes indicadores: -

grado de observación y aplicación de los nuevos procesos tecnológicos

-

grado de exploración y descubrimiento de los comandos e instrucciones.

-

Grado de interpretación y de identificación de la información obtenida y de sus alcances.

-

Grado de reconocimiento y relación con otras actividades en la sociedad.

-

Grado de comunicación y empatía, etc.

Las características que deben tener los indicadores son las siguientes: -

Representan una medida cuantitativa o cualitativa.

-

Deben revelar los propósitos de los criterios elaborados.

-

Deben ser comprensibles para que puedan ser interpretados por todos los involucrados en el proceso

-

Deben ser verificables.

-

Deben servir para orientar futuras decisiones para mantener o modificar acciones.

Muchas veces se confunden criterios con indicadores, o a la inversa. Para evitar esto lo importante es que al elaborarlos y construirlos se tenga presente que los criterios deben representar lo sustantivo de los propósitos del proyecto, y que las medidas de los indicadores deben permitir evaluar si se están cumpliendo esos criterios.

Así, por ejemplo, el término o acción “comunicación” puede ser lo sustantivo para los objetivos de un taller para adultos en artes y su indicador “facilidad de representar la realidad”, mientras que para un taller para fomentar la cooperación en adultos, la medida de “comunicación” puede ser un indicador para un criterio como “participación”.

Un criterio es un objetivo de calidad respecto del que puede ser valorado un programa de intervención psicopedagógica. Ese criterio puede establecerse en forma de normas o estándares y en forma de criterios no estándares. (DEFINICIÓN) Las normas (estándares) son unidades de medición. Las que se manejan en el sistema educativo proceden de dos fuentes principales: -

Legislativa: las disposiciones legales establecen multitud de “declaraciones de expectación” obligatorias en cuanto a su cumplimiento. Reciben el nombre específico de normas legales.

-

Epistemológica: los especialistas y profesionales en un determinado área de las Ciencias de la Educación han llegado a una serie de conclusiones que sirven para elaborar las directrices con las que guiar los procesos educativos.

Fijar normas o estándares de evaluación requiere de un importante nivel de consenso social, para que sean reconocidas tienen que ser aceptadas colectivamente. Los estándares admiten diferentes gradaciones, desde un mínimo exigible hasta un óptimo deseable. Esta característica permite conducir el proceso de evaluación a través de estándares que matizan la frecuencia o el grado de aproximación de la realidad evaluada. La cualificación métrica del estándar puede ser: -

por presencia/ausencia

-

por frecuencia de aparición del mismo, como se representaría en una escala del tipo Nunca… Siempre.

-

Por valoración cualitativa, en escalas del tipo: Deficiente…Excelente.

Los criterios no estándares adoptan la forma de argumentaciones o “razones” en las que se

fundamentan las valoraciones sobre los componentes de un programa. Ejemplos de criterios de evaluación serían: “atender las necesidades de los alumnos mediante la orientación y regulación de los procesos de enseñanza y aprendizaje”, “difundir los criterios y procedimientos de evaluación para democratizar su aplicación”… Por supuesto, que establecer criterios no estandarizados requiere previamente de un acuerdo intersubjetivo.

Aplicar este tipo de criterios exige familiaridad con lo que representan los juicios y valoraciones, habilidad para proveerse de razones que justifiquen esos juicios y, por supuesto, entender porqué unos criterios y no otros resultan relevantes para juzgar el programa que se evalúa.

Entonces aplicar criterios no estandarizados es una empresa intelectualmente mucho más compleja que aplicar una norma.

Normas y criterios no estándares, para ser aplicados en un proceso de evaluación, tienen que concretarse bajo la forma de un conjunto de variables empíricamente observables y que proporcionen información cuantitativa o cualitativa pertinente sobre el programa objeto de evaluación, es decir, mediante indicadores.

Cuando el indicador tiene una expresión numérica se le conoce con el nombre de índice. La ratio, la tasa, la frecuencia… son ejemplos típicos de índices numéricos utilizados en la evaluación de programas. Cuando el indicador no traduce una expresión numérica sino que se define en forma escalar o aparece como valoración o argumentación se le denomina descriptor.

Un descriptor puede, por tanto, indicarnos la presencia /ausencia de un elemento a evaluar, el grado de consecución del mismo o un juicio de valor /una argumentación sobre el elemento objeto de evaluación.

Formalización de indicadores de evaluación.

Un indicador supone una forma de concretar un criterio de evaluación. Lógicamente, lo que buscamos no son manifestaciones accidentales sino esenciales de aquello que pretendemos evaluar. Por tanto, un indicador debe acercarnos a las manifestaciones significativas de la realidad, debe guiarnos en los detalles básicos que nos llevan al conocimiento más fidedigno y profundo de las cosas.

La realidad que evaluamos puede aparecer bajo formas externas controlables y observables o bajo otras que están implícitas en un modo de actuar cotidiano. Pues bien, el indicador debe hacer referencia tanto a lo externo como a lo interno; así, indicar es dar a entender o significar, a través de indicios o señales, el conocimiento de lo oculto, o al menos, de lo desconocido.

Pero, además, el indicador no sólo informa del presente sino que −como señala Lázaro, 1992:480− puede convertirse en el vestigio o huella de algo que ha sucedido; el indicador

localiza situaciones del presente con referencia a lo que ocurre en este momento como si son restos del pasado.

Pero, sobre todo, el indicador debe definir el objeto al que se refiere. Lo que implica una relación de dependencia del indicador respecto al objeto referido (el indicador adscribe propiedades a aquellos objetos que indica), relación que supone objetividad. Esa objetividad no implica totalidad sino complementariedad, dado que el indicador se refiere tan sólo a una parte de lo que podría estudiarse y desde luego esa referencia está asociada a un espacio y un tiempo determinados.

Características y requisitos en la formulación de indicadores.

Un punto de partida en el tratamiento de este tema es el que establece Lázaro (1992), que identifica tres grandes dimensiones en torno a las que se agrupan las características y requisitos a tener en cuenta en la elaboración de indicadores: las características del constructo, las condiciones de medida y las condiciones formales.

Las características del constructo aluden a la relación entre el indicador y el objeto al que se refiere, es decir, estudian hasta qué punto el indicador es una guía o señal adecuada hacia un referente. Desde este punto de vista, el contenido del indicador debe responder a las siguientes condiciones: •

Significatividad de la relación entre el indicador y las propiedades del objeto que señala. En esencia, el indicador debe recoger alguna propiedad del objeto evaluado.

Por ejemplo: si el referente a evaluar dentro de un programa son los procesos de enseñanza, un indicador como tiempo dedicado a la coordinación y revisión de la enseñanza debería tener que ver con algún aspecto de los procesos de enseñanza; efectivamente, en este ejemplo de indicador ese aspecto es la coordinación de la enseñanza.

•

Relevancia del indicador. La propiedad recogida por el indicador puede ser esencial o accidental, siendo el indicador más relevante cuanto mejor represente (lo dice es más atribuible) al objeto con el que se relaciona. Por ejemplo: con el referente anterior, un indicador como ratio de asistencia a las clases puede ser menos relevante que otro como número de horas dedicadas a la docencia en el curso en relación con las previstas.

•

Teleologicidad del indicador. La congruencia descriptiva del indicador debe estar en función de los objetivos y fines pretendidos, siquiera para un momento o época

determinada en el que se desarrolla un programa. Un indicador puede ser válido para valorar la eficacia de un programa pero no para valorar las posibilidades de mejora que introduce. Así, el indicador tiempo dedicado a la coordinación y revisión de la enseñanza podría ser adecuado para evaluar la eficacia de los procesos de enseñanza en el desarrollo de un programa, mientras que un indicador como la descripción de los sistemas establecidos para efectuar el seguimiento de la docencia y la revisión de las enseñanzas parece más adecuado para evaluar las posibilidades de mejora de un programa en lo que respecta a los procesos de enseñanza.

•

Utilidad del indicador. Cualquier indicador ha de reclamar una información que contribuya a la definición del objeto de evaluación, describa sus situaciones, defina los problemas que le atañen y permita establecer predicciones. Un indicador como tasa de egresados en relación con los matriculados permite definir el objeto de evaluación −los resultados de un programa− y establece una relación que puede permitir conocer aspectos claves relacionados con las exigencias académicas, la dedicación de los estudiantes, la calidad de la docencia, etc.

•

Complementariedad−totalidad. Cada indicador no puede ser interpretado aisladamente, sino que se le debe relacionar con el sistema de indicadores al que pertenezca. A partir de esa relación puede determinarse la potencia relativa que posee cada indicador, es decir, el sentido de progreso en el conocimiento de las cosas que se alcanza gracias a la organización y normalización de un sistema de indicadores.

Utilidad de los indicadores en la evaluación de programas.

Existe una curiosa paradoja en relación con el uso de indicadores en la evaluación de programas educativos. Mientra se concede cada vez más importancia a la formulación de indicadores como elemento clave en la evaluación educativa éstos no terminan por incorporarse a los procesos reales de evaluación. El desconocimiento sobre el modo en que deben utilizarse los indicadores en un proceso de evaluación y la propia formulación a posteriori (una vez desarrollado el programa) y no a priori (al tiempo que se redactan los objetivos del programa) de los indicadores puede explicar esta paradoja.

Una primera consecuencia que podría extraerse de lo dicho es que la eficacia e idoneidad de los indicadores dentro de un proceso de evaluación está en buena medida condicionada por el modo −ver apartado 3 de este tema− y por el momento en que se formulen. Así, para que los indicadores sean útiles deberían definirse a priori, en función de cada uno de los objetivos que pretenden lograrse con el programa. Hecha estas salvedades, hagamos referencia a algunas

de las recomendaciones que pueden realizarse para utilizar de un modo más apropiado los indicadores en un proceso de evaluación: •

A partir de un marco teórico, desarrollar un sistema de indicadores basado en medidas múltiples con el fin de que posibilite obtener y contrastar la información sobre un aspecto por diversas vías.

•

Avanzar en la construcción de indicadores compuestos y de índices que nos aporten información más compleja y decisiva para las decisiones.

•

Complementar la información que aportan los indicadores con la que nos pueden facilitar otras fuentes (especialmente los expertos).

•

Construir y utilizar indicadores sobre todas la fases del proceso de la evaluación Y no sólo sobre los resultados o productos.

•

Evitar los juicios de valor durante la fase de elaboración de los indicadores a fin de no condicionar las etapas siguientes del proceso.

•

Buscar el mayor grado de consenso entre la audiencia respecto a los indicadores a utilizar y dar la máxima publicidad a la información obtenida.

Ventajas que ofrece el uso de indicadores.

La recomendación del uso de indicadores en la evaluación educativa en general y en la evaluación de programas en particular está justificada porque ofrece al evaluador las siguientes ventajas: •

Aportan información válida, verificable y relativamente neutral.

•

Posibilitan establecer comparaciones en función de diversos criterios.

•

Permiten que los juicios de valor −valoraciones− se apoyen sobre datos bastante objetivos. Facilitan el consenso entre la audiencia implicada.

•

Otorgan credibilidad a la toma de decisiones.

•

Añaden transparencia a todo el proceso evaluador.

Principales dificultades en el uso de indicadores.

Cuando utiliza indicadores el evaluador se enfrenta igualmente a una serie de dificultades e inconvenientes, entre los que cabría citar los siguientes: •

Con frecuencia se elaboran a partir de modelos teóricos muy sencillos por lo que el indicador ofrece una información muy simple y limitada.

•

En algunos casos, muchos indicadores se utilizan por razones políticas y con un determinado sentido, introduciendo sesgos en la evaluación.

•

Habitualmente existen problemas en la recogida y análisis de los datos, especialmente los referidos al nivel de agregación, lo que cuestiona la objetividad y viabilidad del indicador.

•

La falta de homogeneidad en los criterios −dado que en cada contexto se entienden de forma diferente− impide obtener medidas comparables.

•

Problemas derivados de sus costos y ámbito de aplicación frecuentemente determinan que muchos indicadores se utilicen de forma distorsionada.

•

Finalmente cabe señalar que pueden orientar toda la ejecución de los programa

2. APLICACIÓN DE TÉCNICAS CUALITATIVAS Y CUANTITATIVAS DE RECOGIDA DE INFORMACIÓN.

La elección de una determinada técnica o, mejor; de un conjunto de ellas estará en función de los objetivos y de las circunstancias que rodeen a la evaluación; algunos indicadores son: los propósitos, el grado de estructuración, la amplitud de la evaluación, los recursos disponibles, el tiempo disponible, las personas implicadas, la obtención de los datos, el proceso de análisis, etc.

La elección de una determinada técnica o la combinación de varias determinará no sólo el proceso y la metodología de la evaluación (cualitativa, cuantitativa, mixta), sino también su validez y fiabilidad, por no hablar de cientificidad u objetividad. Es responsabilidad del evaluador o del equipo seleccionar las técnicas más apropiadas para cada caso. De una elección correcta dependerá en alto grado el éxito de la evaluación.

LA OBSERVACIÓN La observación directa, continuada y sistemática de la actividad educativa, en general y didáctica en particular, es un procedimiento básico para la obtención de información necesaria para evaluar. Una observación aislada u ocasional puede encerrar algún valor, pero carece del rigor y de la cientificidad de la observación que es producto de un diseño evaluatorio más o menos flexiblemente planificado, en función del modelo a seguir.

Knapp (1965) define la observación como "un conjunto de registros de incidentes de comportamiento que tienen lugar en el curso normal de los acontecimientos y que son destacados como significativos para describir modelos de desarrollo" (DEFINICIÓN). Si nos circunscribimos al mundo escolar; la observación es una técnica muy adecuada para obtener

información acerca de los alumnos y de los profesores respecto a sus comportamientos habituales o no, relaciones, actividades, discusiones, decisiones, participaciones, reacciones.

Aunque el campo más trabajado en las investigaciones sobre la evaluación es el de los aprendizajes del ámbito cognoscitivo, gracias a los tests estandarizados, las pruebas objetivas y los exámenes orales y escritos, existen otros muchos más campos que deben ser evaluados y cuya técnica de acceso a la información más efectiva es la observación.

Rodríguez Diéguez (1980) nos proporciona una lista de exigencias que debe reunir todo instrumento de observación para que sea científico, según los criterios cuantitativos: •

«Definición estricta y concreta de los comportamientos elegidos para ser observados, de tal modo que no quepa incertidumbre sobre la procedencia de recoger o no cierto tipo de acontecimientos».

•

«Indicación de las condiciones en las que la observación debe realizarse». Se alude al lugar, al tiempo, a los sujetos observados, a los observadores, a los instrumentos precisos.

•

«Posibilidad de un tratamiento cuantitativo, de algún tipo de expresión que sea homogénea con las calificaciones convencionales».

•

«Significado y posible inferencia a efectuar sobre lo observado, es decir; la validez de la observación.

•

«Por último, el problema de la estabilidad de las valoraciones, su fiabilidad».

En el paradigma cualitativo, las observaciones igualmente requieren unas exigencias, si bien sus planteamientos son más flexibles aunque no menos necesarios; así, no es preciso que puedan ser cuantificadas, sino cualificadas e interpretadas; en cuanto a las condiciones, que en las cuantitativas vienen totalmente prefijadas por el planteamiento y el diseño de la evaluación,

en los modelos cualitativos las observaciones pueden generarse o cambiarse a medida que se va desarrollando la evaluación.

En síntesis los requisitos de toda observación, además de cumplir los de validez y de fiabilidad, tienden a responder satisfactoriamente a las siguientes preguntas: ¿Necesitamos información respecto a...? ¿En qué condiciones debemos acceder a esa información? ¿Poseemos los instrumentos o procedimientos y registros necesarios? ¿Qué objetivos cubre o puede cubrir? ¿Se cubren las expectativas iniciales? ¿Qué nuevas vías se abren?

La observación está especialmente indicada para obtener información a la que no se puede acceder por otros medios: exámenes, cuestionarios, tests,... para abordar aspectos en su ambiente más natural también se realizan observaciones en los laboratorios o en situaciones con variables controladas, pero no son estas las situaciones más abundantes en educación), para complementar informaciones recogidas por otras técnicas tanto observacionales como de otro tipo, para acceder a contenidos informativos, actitudinales... Igualmente es una técnica eficaz para descubrir los efectos del curriculum oculto.

Las técnicas más habituales son: •

Los anecdotarios: Sirven para recoger de forma episódica los hechos más sobresalientes que se producen en el desarrollo de una determinada acción relativa al campo de las aptitudes, de las actitudes, de los intereses, de las reacciones temperamentales, de sociabilidad o de cualquier otro tópico que nos interese. No debe recoger opiniones ni juicios de valor debe exclusivamente describir los hechos o las acciones. Los pasos a seguir serían: seleccionar al campo de observación (clase, taller; oficina, relaciones informales, bar, hogar...), seleccionar los observados (todos, sólo algunos), tiempo (un día, una semana, un mes), elaborar una ficha de registro más o menos estandarizada, registrar las observaciones, archivarlas. Cada anécdota debe plasmarse en una ficha.

Cada una de estas fichas pueden ser agrupadas en los correspondientes archivos bien por personas, por tipo de conducta, por fechas, etc. Un documento vĂĄlido puede ser el registro acumulativo por personas. En ĂŠl se registran de forma resumida los acontecimientos particulares:

•

Los diarios y los informes constituyen unos instrumentos de recogida de información que pueden ser más o menos sistematizados. Pueden oscilar desde una simple relación o enumeración de actividades realizadas o pueden estar ya estructurados y referidos a campos concretos e incluir valoraciones, pensamientos, reflexiones.

Lo ideal al trabajar con diarios es la cotejación de los mismos, es decir, que exista la posibilidad de contraste, en este caso sería muy conveniente contar con unos diarios elaborados por distintos miembros de un grupo miembros de los grupos.

•

Listas de control. Son listados enumerativos, la mayoría de las veces bastante largos, de conductas abiertas o ya determinadas con las que el observador debe estar habituado. En ellas debe anotar si tal conducta, comportamiento, hábito, costumbre,... aparece, se manifiesta, o no. Exigen una buena preparación por parte del observador; grandes dotes de observación y mucho tiempo, no admite matizaciones. Pueden dirigirse las observaciones y las anotaciones tanto a grupos como individualmente.

•

Escalas de valoración

Estas escalas son prácticamente las mismas que las de control, si bien en ellas se pueden incluir matizaciones respecto al grado de acuerdo o desacuerdo, existencia o no de una determinada cuestión, comportamiento, etc. Son clásicas las escalas de Likert, Thurstone, Osgood y Guttman.

•

Escalas de Likert o de puntuaciones sumadas. Permiten la cualificación y la cuantificación, su presentación puede ser descriptiva, gráfica o numérica. La escala en su totalidad sería un listado de ítems, preguntas o gráficos referidos a todos los aspectos contemplados en dicha escala.

La misma escala presentada de forma numérica: Puntúe entre 0 y 10 dependiendo de si está en franco desacuerdo o muy de acuerdo con lo que se señala en cada ítem. El 0 expresa el máximo grado de desacuerdo y el 10 el máximo grado de acuerdo.

•

Las escalas de Thurstone suponen, para quien las elabore -normalmente por criterio de jueces-, realizar una lista de rasgos respecto a un aspecto, persona o fenómeno, en la que el primer ítem encierre una descripción o calificación excelente y el último una descripción o calificación muy negativa y en medio unos quince o veinte niveles intermedios ordenados progresivamente. La lista así elaborada se da para ser respondida a las personas escogidas por la muestra. Su respuesta se limita a señalar la frase con la que está más de acuerdo, una vez leídas todas. Su construcción es

bastante complicada, redacción de ítems, graduarlos, nivelarlos, estudio por criterio de jueces, retirar los ítems en los que no hay acuerdo, pretest, redacción definitiva.

•

Las escalas de Osgood, fundamentadas en el diferencial semántico, se utilizan para obtener información respecto a un tópico o varios. Al igual que las anteriores sirven para acceder a determinadas informaciones, que por otros medios serían difícil de alcanzar; sus datos pueden ser analizados comparativamente, para establecer procesos de seguimiento o evolución, etc. Al igual que las escalas de Likert, pueden presentar distintos grados o niveles en las matizaciones. Normalmente se establecen grados impares (3, 5 ó 7 posibilidades de respuesta) para mejor ajuste a las curvas de normalidad (Gauss), aunque también pueden establecerse niveles pares (2, 4, 6 u 8 opciones

de

respuesta)

si

nos

interesa

detectar

informaciones

fácilmente

dicotomizables, del tipo «buenos» «malos», «cumplidores» «incumplidores», «rápidos» «lentos», etc.

Su construcción es también muy fácil. Supone escoger un tópico o varios tópicos, fenómenos o personas objeto de estudio. Sobre estos tópicos se elabora una lista de adjetivos calificativos y sus antónimos (diferencial semántico) que tengan relación cualitativa con el objeto de estudio. Esto se traslada a la escala (ver modelo), se aplica y se extrae la información para posterior tratamiento.

•

Las escalas de Guttman, son otro tipo de escalas, apropiadas para evaluar actitudes, aunque también pueden ajustarse a otros requerimientos. Son escalas acumulativas, puesto que la primera respuesta debe incluir a las restantes. Son bastante complicadas de formular si se quiere respetar esa condición en algunos casos. Pueden dirigirse a varios campos de estudio o ser monográficas.

•

Las escalas de producción. Evaluar por escalas de producción supone llevar a cabo comparaciones de trabajos realizados con modelos o escalas graduados lo cual posibilita la localización de un determinado trabajo en un nivel determinado que le es adjudicado en función de las coincidencias o similitudes con un nivel de esa escala. Por ejemplo, algunos modelos existentes para valorar la escritura. En algunos casos, existen escalas de producción publicadas e incluso tipificadas, pero en otros deben construirse a partir de las propias producciones de los alumnos de acuerdo con unos criterios.

Veamos por ejemplo una escala con cuatro niveles de producción para valorar un bodegón pintado al óleo por un grupo de alumnos:

LA ENTREVISTA La entrevista es una técnica de acceso a la información muy empleada en la evaluación y en procesos de orientación; si bien, tiene otras aplicaciones. La entrevista, al igual que otras técnicas,

debe

entenderse

como

una

técnica

complementaria,

nunca

deben

considerarse como instrumentos ni únicos ni excluyentes. Es una técnica propia de los estudios cualitativos, naturalistas de corte etnográfico. Al ser una actividad compartida y de relación entre el entrevistado (evaluado) y el entrevistador, (evaluador) toda entrevista debe realizarse dentro de un ambiente agradable, natural, honrado, confiado y sincero; la artificialidad, la incomodidad, la desconfianza y la insinceridad son los peores enemigos de la entrevista.

Cuanto hagamos para mitigar disminuir o hacer desaparecer lo anteriormente mencionado redundará en una más provechosa información para ambas partes.

Bajo el término entrevista se acogen diferentes manifestaciones de relación comunicativa, desde las más abiertas e informales a las más cerradas e inflexibles. Una clasificación de las variadas formas que puede adoptar la entrevista es la siguiente: •

Entrevistas dirigidas, estructuradas directivas. Son entrevistas en las que los objetivos los contenidos de las mismas y las técnicas modos de actuar están claramente determinados y previstos de antemano. La iniciativa es totalmente del entrevistador, en la mayoría de los casos el entrevistado se limita a responder a las preguntas formuladas, sin apenas lugar para otras incursiones. Son propias de situaciones formalizadas, solemnes y cargadas de artificialidad; como ejemplo pueden citarse los exámenes orales, los cuestionarios orales, las entrevistas de selección de personal... Tanto entrevistado como entrevistador tienen muy bien definidos sus papeles y se deben circunscribir a ellos, lo que provoca rigidez, formalismo y una cierta restricción a la hora de formular las preguntas y de elaborar las respuestas. Tanto la preparación como la realización, su registro y su evaluación se ajustan a pautas predeterminadas. Su finalidad primordial es la de conseguir información, siendo la interrogación la técnica más apropiada. En el registro pueden utilizarse los más variados medios –grabaciones audio, grabaciones audiovisuales, protocolos, notas,Tras su evaluación se toman decisiones: aprobar, suspender, aceptar a tal o cual candidato, continuar o no un contrato o una relación, etc.

•

Entrevistas semiestructuradas, semidirigidas. En estos casos las entrevistas no están sujetas a la rigidez y formalidad propias de las anteriores. Su característica

esencial es la flexibilidad. Los objetivos no están predeterminados y cerrados de antemano, la responsabilidad es más compartida, si bien corresponde en mayor parte al entrevistador, los ambientes son más distendidos, su formalización es menor. Suelen utilizarse para realizar exploraciones, para recopilar informaciones previas y estudiar las posibilidades de intervención en contextos educativos, para los procesos de orientación escolares, vocacionales y personales, etc.

•

Las entrevistas no directivas, no estructuradas, abiertas o libres. Si bien el primer término tiene unas connotaciones específicas (véase la obra de Carl Roger; 1975), este tipo de entrevistas se caracteriza por no tener determinados ni los objetivos ni los contenidos a tratar. La finalidad esencial de este tipo de entrevistas se centra en la propia realización, en la propia entrevista. Debe realizarse en las condiciones más naturales posibles huyendo de la artificialidad. Es apropiada para situaciones no controladas (experimentales), se emplean en investigaciones cualitativas. Los papeles de entrevistador y entrevistado no están tan definidos, por situarse ambos en un plano de mayor igualdad, las preguntas pueden ser formuladas por lo dos, se admiten todas las ideas y las transacciones o cambios de temas no son bruscos y diferenciadores de preguntas anteriores. El discurso es más fluido. Son especialmente indicadas para establecer primeros contactos, indicar puntos de vista, alcanzar primeros acuerdos, dar a conocer inquietudes, intereses, etc.

Independientemente del tipo de entrevista que se vaya a realizar el entrevistador se debe preocupar de su preparación, de su realización, de su financiación, de su registro y de su evaluación.

En el primer caso, además de su preparación personal fruto de sus estudios y experiencia, se ha de preocupar por preparar los objetivos, los contenidos, las técnicas específicas a emplear, la forma de registro, la preparación de las condiciones ambientales...

La realización de la entrevista debe considerar unas determinadas técnicas, que deben utilizarse de forma flexible; tan negativo puede resultar el ceñirse demasiado a ellas como «pasar» de ellas o desconocerías. Algunas de estas técnicas son las siguientes: -

Técnicas de concordancia. Se denomina así al «conjunto de elementos que permiten establecer una relación personal de cordialidad con el entrevistado y un clima de mutua confianza. Su finalidad es facilitar la actitud de apertura, facilitar la comunicación y

construir vías de relación interpersonal». Los medios para conseguirlo son: a) Iniciar la entrevista de forma natural y cordial, llamándolo por su nombre, evitar los silencios, romper la inseguridad con un tema agradable, intranscendente, facilitar la colocación, en una palabra, facilitar el sentirse cómodo. El tema introductorio debe ser breve, para evitar largas derivaciones intrascendentes. b) El lugar y la disposición deben ser acogedores, cómodos y no distractivos para facilitar la comunicación. c) Las actitudes de condescendencia y aceptación son fundamentales. Al entrevistado se le debe dejar escoger la hora e incluso el lugar o la oportunidad para llevar a cabo la entrevista.

-

Las técnicas de aceptación se preocupan por la viabilidad, el progreso y el avance de la entrevista, es decir que la entrevista sea aceptada por el entrevistado. En ello intervienen: la expresión facial, las conductas motoras, las manifestaciones fisiológicas -sudor; rubor. -la verbalización -tono, intensidad, modulación... a veces, importa más el cómo se dice que lo que se dice-, la distancia y posición del cuerpo, una posición demasiado relajada puede ser interpretada como una falta de interés.

-

Las técnicas de estructuración hacen referencia al contenido, la naturaleza, los límites y los objetivos de la entrevista. Se ha de escoger aquella que se ajuste más a la finalidad, tiene mucho que ver con el nivel de estructuración o de directividad.

-

Técnica del silencio. Deben distinguirse e interpretar los silencios del entrevistado y los del entrevistador. En el primer caso diferenciar si los silencios significan aceptación, rechazo o indiferencia. En el segundo, y como técnica específica, el silencio puede emplearse para facilitar y posibilitar la expresión del entrevistado, aumentar su capacidad de reflexión, como muestra de nuestro interés, preocupación, como indicativo de que no tenemos prisas, que estamos a su disposición. Es conveniente acompañar los silencios del entrevistador con gestos de asentimiento, de duda, de cierta sorpresa.

En síntesis, en una entrevista se debe evitar: -

Hablar demasiado y querer controlar la situación.

-

Someter al interlocutor a un interrogatorio.

-

Aparentar prisa y preocupación.

-

Tratar de conseguir demasiado en una entrevista.

-

Hacer juicios prematuros como por ejemplo pensar que no servirá de nada nuestra entrevista, especialmente al principio. O en las primeras entrevistas.

-

Evitar que el sujeto diga cosas, las cuales, después, quisiera no haber dicho.

Se debe procurar: -

Que el entrevistado esté relajado.

-

Que se suprima el protocolo.

-

Que haya buena preparación.

-

Ponerse en lugar del propio entrevistado. Demostrar empatía.

-

Ser un oyente atento.

-

No hacer alardes de autoridad.

-

Procurar que el sujeto quede menos preocupado al salir de la entrevista y tenga más confianza en sí mismo.

Respecto a la finalización deben seguirse las mismas consideraciones que se han nombrado al hablar del inicio.

En cuanto al registro, hemos de decir que es uno de los momentos críticos si se quiere conservar la información recogida. Lo ideal sería grabar audiovisualmente las entrevistas con el fin de analizar suficientemente las informaciones verbales y tener registrados comportamientos, gestos, actitudes, etc.; sin embargo, eso sólo es posible en situaciones muy formalizadas, lo que no siempre es posible ni conveniente. Pueden recogerse notas más o menos extensas, grabaciones magnetofónicas, con acuerdo mutuo. Rellenar protocolos estandarizados o elaborados puntualmente. Si no se puede tomar el registro total, inmediatamente a la finalización de la entrevista se debe elaborar un informe en el que se recoja lo más esencial y significativo de la misma.

Cada entrevistador debe elaborar sus propios modelos de registros en función de os objetivos de cada entrevista.

La evaluación o valoración de la entrevista consiste en saber detectar el valor de las verdades que el informante nos ha proporcionado. Hay que tratar de averiguar lo que realmente nos ha querido decir el entrevistado. Es necesario para ello ir más allá de sus palabras, tratando de aprender el verdadero significado de las mismas.

Por ser esto importante, no nos resistimos a repetir que la entrevista es un medio complementario de otras técnicas de acceso a la información y que las informaciones, por esta

técnica recogida, deben ser cotejadas y complementadas por otras técnicas, también a la inversa. En el campo de las evaluaciones cualitativas estas valoraciones pueden completarse por procedimientos de triangulación.

LAS TÉCNICAS SOCIOMÉTRICAS Las técnicas sociométricas tienen como finalidad el obtener información acerca de la posición de los individuos dentro de un grupo así como de las relaciones que entre ellos se establecen.

Son técnicas que permiten conocer y evaluar situaciones personales o grupales en temas tales como: participación, liderazgo, aceptación, rechazo, etc., de tanta resonancia en el mundo adulto, en el mundo del trabajo.

Son muchos los instrumentos a los que podemos recurrir. Sin duda los sociogramas son los más conocidos y empleados. Sin embargo tampoco deben utilizarlos en solitario, cuando menos deben cotejarse con otras técnicas sociométrícas, con la observación, con entrevistas, etc.

El sociograma se aplica a grupos con una cierta estabilidad y continuidad. No es útil cuando se trate de grupos inestables, de poca duración y de escaso conocimiento entre ellos. La elaboración de un sociograma o test sociométrico se ajusta a los siguientes pasos: •

Determinar la situación sociométrica. Debe ser distinta para cada caso, aunque se mantengan ciertas constantes. No es la misma situación la que se brinda si la pregunta se refiere a jugar a trabajar; a divertirse, a estudiar, etc. Suelen distinguirse tres campos: de la afinidad (por igualdad de intereses), el de la efectividad (por la seguridad de alcanzar un objetivo) y el de la afectividad (ligado a cuestiones afectivas).

•

Establecer los criterios en los que fundamentar las elecciones o los rechazos, concretarlos en una actividad de posible realización contextualizada y explicitar condiciones para su realización.

•

Elaborar el protocolo de respuestas.

•

Preparar unas matrices de respuestas.

•

Realizar el vaciado.

•

Proceder

al

análisis

de

los

datos. Pueden

ser

tratados

cualitativa

o

cuantitativamente.

•

Conclusiones a nivel de grupo e individualmente.

CUESTIONARIOS, INVENTARIOS Y TEST Los cuestionarios son unos instrumentos que permiten la recogida rápida y abundante de información respecto a los temas más variados, tanto tomados de forma aislada, como conjunta. Los cuestionamos pueden ser monotemáticos o politemáticos según intenten cercar un objeto de estudio desde varias problemáticas. Son presentaciones escritas en las que el sujeto anota sus apreciaciones. Se presentan en forma abierta o cerrada; en el primer caso puede escribirse lo que se quiera, en el segundo caso, quien responde al cuestionario debe ceñirse a las respuestas que se le ofrecen. Suelen emplearse para perfilar temas o problemáticas sobre los cuales después realizar estudios con mayor profundidad. Entre las ventajas cabe señalar: la rapidez, la facilidad de aplicación, y la posibilidad de ser contestado por muchos sujetos. Los inconvenientes vienen dados por la falta de sinceridad, la adecuación del léxico, la superficialidad, la concordancia de las respuestas en las preguntas abiertas.

En la elaboración de los cuestionarios deben tenerse presentes las consideraciones siguientes: Incluir una presentación indicando los objetivos, el uso que se le va a dar; indicar claramente si es anónimo o no, delimitar el o los objetivos de los cuestionarios, no hacerlos demasiado extensos, asegurarse el nivel de comprensión cuidando la terminología empleada, indicar las normas de su aplicación, realizar una prueba a modo de pretest, consultar con expertos para la revisión y apelar a la sinceridad de los sujetos encuestados.

Los inventarios son un tipo especial de cuestionarios; se diferencian en que tienen una presentación mucho más estandarizada y reiterativa; algunos de ellos, con el tratamiento y requisitos necesarios, se convierten en test de personalidad, test de intereses actitudinales, aptitudinales y vocacionales.

Los ítems se prestan a varias formalizaciones pero las más usuales responden al siguiente esquema: Ante distintas afirmaciones se debe contestar en la casilla del SI, del NO o de una casilla con ?, que significa una posición dudosa, ambivalente...

Los Test son pruebas de evaluación de la más diversa índole. Existen test de aptitudes mentales: inteligencia, memoria, atención, etc; de personalidad; de intereses vocacionales; de instrucción, etc. Todos ellos se configuran a partir de una serie de preguntas o tareas las

cuales una vez respondidas o realizadas permiten ser puntuadas y establecer categorías en base a las diferencias individuales, la mayoría de las veces según criterios y requisitos estadísticos rigurosos. Pero como que entendemos que sería entrar en una temática ya tratada, no desarrollamos las particularidades; además, entendemos que su función es más diagnóstica que formativa o sumativa.

LAS PRUEBAS DE RENDIMIENTO Bajo este epígrafe queremos recoger una serie de técnicas que nos permiten obtener información respecto al rendimiento académico de los estudiantes; es, pues, un campo que se refiere básicamente a la constatación de la adquisición de conocimientos, habilidades, destrezas. Esta información puede conseguirse a través de los exámenes orales; escritos y las pruebas objetivas, sin olvidar las otras técnicas hasta ahora mencionadas.

Los exámenes Los exámenes permiten a los alumnos elaborar sus respuestas de acuerdo con sus conocimientos y estilo personales. Gracias a ellos se puede comprobar directamente la calidad y las características de las respuestas, su profundidad y los procesos mentales implícitos en ellas. Puede detectarse aspectos tales como. el dominio terminológico, la fluidez verbal , el nivel léxico, la sistematización del discurso las estructuras conceptuales, las fuentes de conocimiento, el manejo de técnicas, la originalidad y creatividad.

Las ventajas de los exámenes radican en la facilidad de su elaboración y bajo costo, en permitir una elaboración de respuestas personales, en la gran cantidad de información que puede recogerse, y en que permiten preguntar a todos los alumnos las mismas cuestiones (en el caso de exámenes escritos)

Todo buen examen debe poseer las siguientes características: •

Fiabilidad para asegurar la permanencia y la constancia de las informaciones.

•

Validez en tanto en cuanto pueda cumplir con el objeto o fin para el que fue realizado.

Que tenga relación con los objetivos que se intenta evaluar.

•

Objetividad en la corrección.

•

Amplitud, que sea lo suficientemente extenso y comprensivo para que sea capaz de evaluar los contenidos que se intentan evaluar.

•

Practicidad, de manejo fácil tanto para el profesor como para el alumno.

•

Integralidad, que se pongan de manifiesto una amplia gama de factores que intervienen en el hecho educativo. (hechos, conceptos, principios, procedimientos, actitudes, etc.).

Velar por el cumplimiento de estas cualidades redundará en unas mejores y más justas evaluaciones.

Los exámenes orales pueden presentar un mayor o menor nivel de estructuración (rigidez de la técnica en sí); piénsese en un examen oral que consiste en dar contestaciones a un cuestionario cerrado previamente preparado por el profesor; o en la evaluación de un debate participativo. Las formas de un examen oral según Rodríguez Diéguez (l980) son: a) Desarrollo oral de un tema sacado a suerte o elegido por el profesor. b) Tema elegido por el alumno.

Ambas formas pueden permitir su realización con tiempo de preparación o sin él. Realizarse de forma autónoma y enteramente personal o con realización de preguntas por parte del profesor c) Interrogatorio efectuado por el profesor. d) Debate entre alumnos, tanto individuales como grupales. e) Entrevistas con diferentes grados de estructuración. f) Ponencias o presentación de trabajos preparados previamente.

Respecto a los exámenes escritos es preciso manifestar que, en principio, poseen las ventajas y los inconvenientes ya señalados anteriormente, si bien es necesario precisar algunos aspectos: la normativa de ejecución debe ser clara, debe explicitarse la naturaleza exacta de la tarea, los enunciados no deben prestarse a equívocos o malas interpretaciones.

Como ventajas suele mencionarse la igualdad de las preguntas y de las situaciones, la posibilidad de reflexionar antes de responder; el ajustar más el nivel lingüístico, la presentación, la economía de tiempo, su traslación a taxonomías, apreciar estilos, originalidad, sentido crítico, organización conceptual... Como inconvenientes cabe mencionar, la pesadez en la «corrección», los efectos «halo», la poca comprensividad, nunca se abarca lo suficiente...

Rodríguez Diéguez (l980) nos presenta las distintas modalidades de exámenes escritos: a) Tema propuesto por el profesor en el momento del examen. b) Tema elegido entre varios propuestos. c) Tema propuesto a sorteo. d) Preguntas propuestas por el profesor. e) Prueba semi objetiva, compuesta por un total de 5 a 10 cuestiones. f) Tema propuesto, permitiéndose el uso de material. g) Cuestión técnica o problema a resolver sin material. b) Cuestión técnica o problema a resolver con material. i) Tema elegido y preparado por el alumno fuera del aula y desarrollado sin material. j) Comentario de texto. k) Bosquejo esquemático de cuestiones amplias.

Tanto los exámenes orales como los escritos tienen muchos problemas a la hora de constatar su validez y su fiabilidad, es por ello que, deben considerarse los aspectos ya mencionados de validez, fiabilidad y objetividad. Incrementar estas cualidades en estas técnicas puede lograrse: •

Por criterio de jueces. Que sean varios los examinadores. Triangulación de evaluadores.

•

Especificar claramente los objetivos a conseguir y los contenidos que deben ser presentados oralmente o por escrito.

•

Establecer ponderaciones a diversas categorías: secuencialización, corrección ortográfica o semántica, limpieza, sistematización, claridad de ideas, contenido, originalidad, sentido crítico...

•

Respetar al máximo las exigencias técnicas: preparación, presentación, claridad en las preguntas, registro operativo, preparar esquemas de corrección, etc.

•

Contrastar las informaciones obtenidas con los exámenes con otras técnicas de evaluación. Triangulación de técnicas.

Las pruebas objetivas Las pruebas objetivas son uno de los instrumentos más empleados en la evaluación de los aprendizajes porque solventan los graves problemas que afectan a los exámenes en cuestiones de objetividad, fiabilidad y validez. Su construcción es compleja y costosa, ya que exige la redacción de muchos ítems y de diferente formato; que los ítems sean discriminativos, con diferentes niveles de dificultad; es preciso elaborar unos protocolos a modo de pretest para su posterior corrección y redacción definitiva, etc. Sin embargo, este esfuerzo se ve recompensado por la facilidad, precisión y objetividad en la corrección, la posibilidad de comparación de datos y el tratamiento estadístico.

En las pruebas objetivas el alumno no elabora respuestas casi nunca, sino que se identifica con las soluciones propuestas; su principal tarea consiste en discriminar las opciones verdaderas, correctas, de las que no lo son. Las principales ventajas, además de las ya mencionadas, hacen referencia a: la comprensividad de contenidos al ser muy numerosas las preguntas, a la capacidad de evaluar distintas operaciones mentales: memoria, atención, discriminación, razonamiento, aprendizajes bien asimilados... suelen ser agradables de resolver. Los inconvenientes se centran en: que no todos los contenidos o actividades pueden fácilmente incluirlas en ítems; aspectos actitudinales de enjuiciamiento, creatividad, actividades

prácticas, criticidad, etc. difícilmente pueden ser de esta forma evaluados; se evalúan resultados, no procesos o desarrollos.

"En consecuencia, las pruebas objetivas nunca deben utilizarse como prueba única" La mayoría de los autores que han realizado estudios sobre las técnicas de evaluación ofrecen, en este apartado, cuadros sinópticos de los tipos de preguntas que se pueden incluir en las pruebas objetivas. Por su simplicidad y claridad recogemos la aportada por Fernández y Sarramona en 1976.

PRUEBAS OBJETIVAS De evocación Respuesta breve Complementación (en una frase o texto que faltan palabras incluir esas palabras) Texto incompleto (completar un texto incompleto con otra parte del texto) Gráficas (Realizar un gráfico o dibujo como respuesta. Eje., dibujo de ángulo agudo).

De discriminación Dos opciones (verdadero-falso) Opciones múltiples Justificación de la opción (Justificar la opción elegida).

De reconocimiento Selección múltiple (Ejem.: seleccionar familias de palabras, tiempo, temporal, temporalidad, etc.).

Elección de la mejor respuesta (De varias respuestas buenas elegir la más adecuada).

Asociación (Ejem.: asociar dos palabras en idiomas distintos).

De identificación Ordenación (Ordenar números de mayor a menor)

Localización (Ejem.: localizar el error en una prueba de atención o discriminación) De pruebas múltiples (Ejem.: dados operaciones de matemáticas identificar aquella o aquellas erróneas).

Una prueba objetiva es un conjunto de ítems de enunciado breve a los que les siguen una o más respuestas presentadas a modo de alternativas. En algunos casos debe responder con una frase corta, una palabra, una cifra, etc.

Normalmente las pruebas objetivas se construyen a partir de diferentes tipos de ítems; entonces la prueba debe ser ponderada en sus partes, ya que el valor de determinados ítems debe ser mayor que otros; aunque también pueden ser todas las preguntas del mismo estilo (todas verdadero/falso, todas de elección múltiple, todas de asociación).

Para obtener una puntuación a partir de una prueba objetiva se utilizan distintas fórmulas. Las más utilizadas son: •

Para una prueba o preguntas de verdadero/falso, porque la posibilidad de acertar por azar es del 50%. Puntuación = Aciertos – Errores

•

Para una prueba o preguntas de elección múltiple. Puntuación = Aciertos – (Errores/Numero de alternativas de respuesta) - 1

Si se desea efectuar un análisis para conocer el índice de facilidad/dificultad de cada ítem y, en consecuencia, de toda la prueba ha de emplearse la siguiente fórmula: Índice de dificultad = Número de aciertos/Número de sujetos que realiza la prueba x 100 La dificultad de la prueba se halla sumando los índices de dificultad de cada ítem, o de facilidad según se mire, y dividiendo por el número de ítems.

EL PORTAFOLIOS (Carpeta) Barberá (1999) señala que la evaluación por portafolios, también llamada evaluación por carpetas, consiste en una colección de trabajos de los alumnos que busca demostrar, por medio de la mejora progresiva, lo que son capaces de hacer en un área o contenido específico.

Se trata de un conjunto particular de selecciones de actividades y trabajos que recoge, entre otras, las mejores producciones de los alumnos, no todas las que llevan a cabo. Este sistema de evaluación no se presenta como una forma alternativa de valoración de los aprendizajes escolares, sino como un complemento. Saber lo que los alumnos son capaces de hacer en un momento determinado y en qué condiciones lo llegan a realizar puede ser un instrumento potente de influencia educativa.

El progresivo conocimiento de las capacidades de los alumnos y de los entornos en los que se desarrollan puede ser utilizado por el profesor para orientar aprendizajes posteriores, a la vez que ofrece a los alumnos la posibilidad de ir integrando estos aprendizajes de manera positiva, paulatina y consciente.

Esta particular colección de producciones de los alumnos se concreta en una carpeta individual, dividida en varios apartados, prefijados en función de la edad y de los objetivos específicos de la evaluación. Cabe la posibilidad de que, en lugar de determinar a los alumnos qué apartados deberán completar con sus trabajos a lo largo del curso (fórmula común en la enseñanza obligatoria), los objetivos de enseñanza y aprendizaje que proponen los profesores se dirijan a la creación de la carpeta, como una toma de decisiones con entidad propia y susceptible de valoración en sí misma (diseño más común en la enseñanza superior).

Los apartados pueden referirse a cualquier objetivo propuesto por el profesor, aunque, normalmente, se orientan a valorar habilidades que no quedan reflejadas en los exámenes u otro tipo de trabajos. Pueden adquirir diferentes formas y utilizar medios diversos: audiovisual, informático, construcciones geométricas, dibujo, escritura, etc.

En cada uno de los apartados de la carpeta o portafolio los alumnos han de incluir una selección de muestras de su trabajo, en las que manifiestan al profesor su capacidad en el tema que se ha delimitado, según el objetivo concreto que previamente han acordado. Se trata de una evaluación abierta, en la que profesor y alumnos comparten los objetivos de enseñanza y aprendizaje y los criterios de valoración, que en otros sistemas de evaluación presentan más opacidad. Tanto es así, que el alumno no decide bajo su exclusiva responsabilidad qué muestras de su trabajo debe incluir en la carpeta, sino que el profesor le ayuda a decidir. Se puede afirmar que la toma de decisiones guiada es uno de los valores más formativos para los alumnos, puesto que ubica y explicita los objetivos de aprendizaje de manera personalizada.

Este procedimiento de evaluación estimula una dinámica de mejora del propio trabajo y de trabajos posteriores, imprimiendo un tono de revisión y superación continuada. El movimiento en los dos sentidos, de avance y retroceso, conecta y, a su vez, amplía el tiempo de evaluación, superando la duración limitada que tienen los exámenes y otras pruebas comúnmente

utilizadas.

Acostumbrados

a

un

tipo

de

evaluación

más

puntual

y,

consecuentemente, sometida a más probabilidades de azar, el sistema de evaluación por carpetas muestra el producto, pero también el proceso de aprendizaje, por su característica de trabajo inacabado y de perfeccionamiento progresivo a medio y largo plazos.

Indicaciones Las carpetas o portafolios son considerados no sólo un instrumento sino un sistema de evaluación, dado que articulan y hacen confluir en un solo recurso diferentes factores que en una evaluación más estandarizada encontramos de manera dispersa y aislada.

Este sistema de evaluación se puede iniciar en el segundo ciclo de Educación Primaria, con un índice claro y predeterminado por el profesor, y puede acabar en los estadios más avanzados de enseñanza superior. En Educación Secundaria el índice que organiza y orienta la presentación de los trabajos puede contar con algunos puntos elaborados por los propios alumnos; e incluso, si los estudiantes están familiarizados con el recurso, pueden llegar a elaborarlo íntegramente. Al hacerlo mostrarán de manera personalizada cómo seleccionan, organizan y entienden el trabajo de clase.

La evaluación por portafolios está indicada cuando se busca una confluencia de factores en la evaluación. De manera esquemática, citamos los siguientes: - Averiguar el progreso y el proceso seguido en el aprendizaje por parte de los alumnos y, también, las ayudas que el profesor despliega en su seguimiento.

- Priorizar una evaluación extensiva en el tiempo, en contraposición a una evaluación puntual como puede ser la efectuada por medio de exámenes - Implicar más a los estudiantes mediante la autoevaluación. Puesto que los estudiantes conocen los objetivos y los criterios de evaluación y mantienen un diálogo escrito continuado con el profesor, pueden también reflexionar y opinar sobre su propio aprendizaje.

- Mostrar el nivel de destreza y el grado de profundización sobre los contenidos que cada uno de los estudiantes está dispuesto a asumir y quiere conseguir en aquella área concreta.

- Dar ocasión a los alumnos de que muestren habilidades relacionadas con la materia de estudio, decididas según su criterio, que no siempre quedan reflejadas en otros instrumentos, precisamente por tratarse de pruebas o trabajos propuestos unilateralmente por el profesor.

- Evitar que las decisiones relativas a la evaluación favorezcan a un tipo de estudiante o colectivo, dado que cada uno de los alumnos argumenta sus propuestas en el marco de una oferta más amplia y configura lo que llamaríamos una evaluación abierta.

- Proporciona material de aprendizaje y evaluación más diversificado para facilitar al profesor la confianza en la corrección y la orientación posterior de los estudiantes.

Ejemplo: Una carpeta para la evaluación de la lectura en clase Antes de diseñar el contenido de la carpeta y de delimitar sus apartados, debe hacerse una reflexión acerca cuáles son los objetivos que queremos que consigan los alumnos. Este análisis ayudará a determinar los indicadores de evaluación y por consiguiente los apartados que debe contener la carpeta.

Otro de los aspectos a tener en cuenta es determinar el tiempo durante el que se van a recoger producciones escolares de los alumnos y otros datos de interés para la evaluación (datos que serán aportados por los propios alumnos o por los profesores). En la temporalización debe determinarse cuándo se comenzará a introducir trabajos e informes en la carpeta; qué revisiones periódicas o parciales se realizarán; y cuándo se llevará a cabo una recopilación final de toda la información.

Las carpetas deben guardarse en un lugar del aula que sea fácilmente accesible para los estudiantes y enseñantes. Su ubicación debe invitar a aportar elementos de una manera continuada y a reflexionar sobre sus contenidos, de modo que se permita la planificación de nuevos pasos de aprendizaje.

Asimismo, debe determinarse, el momento y la forma en que los padres de los alumnos serán informados del contenido de las carpetas.

EL CUADERNO DE CLASE El cuaderno de clase es un instrumento muy extendido en los centros escolares y resulta de gran utilidad para la evaluación formativa. No es un a prueba de evaluación en sentido estricto ya que no supone un trabajo adicional para el alumno, ya que simplemente recoge el trabajo de cada día, tanto el de clase como el desarrollado en casa. El cuaderno de clase, además de un instrumento personal del alumno, es un medio de comunicación, cuya eficacia dependerá del nivel de colaboración que el profesor promueva en los textos escritos de los alumnos. De este modo el cuaderno de clase pasa a ser un medio en manos del profesor para ayudarle.

La organización de los cuadernos puede ser variable, pero suele respetar el registro cronológico del trabajo de clase. Puede recoger información convencional o reflexiva; la primera se basa en el apunte y el registro de datos y actividades de aprendizaje, mientras que la segunda busca la toma de conciencia y valoración, y la manera en que han desarrollado las actividades. Integrando los dos tipos de información, una libreta de clase puede incluir apuntes de clase y resúmenes de los contenidos explicados por el profesor o extraídos de libros; enunciados y respuestas de ejercicios; actividades prácticas y de elaboración propia, de autoevaluación, de corrección de controles, de grupo... Puede incluir además apartados dedicados a un breve diario personal; a la autoevaluación de los aprendizajes de la semana, al planteamiento de dudas, etc.

Si tenemos en cuenta su valor intrínseco, el cuaderno de clase es una fuente de información muy rica sobre la presentación del trabajo, la expresión escrita, la jerarquía de ideas en la toma de apuntes, el nivel de comprensión de los contenidos, el proceso de resolución de las actividades, el nivel de persistencia, la capacidad de síntesis y de análisis, la capacidad crítica, el ajuste de valoraciones, el interés por la corrección y la progresión en el aprendizaje, la organización personal, la utilización de procedimientos de estudio y aprendizaje (esquemas, resúmenes, cuadros sinópticos, etc.), el uso de fuentes de información, la creatividad, los hábitos de trabajo, entre otros más específicos que se derivan de un análisis detallado de las tareas de aprendizaje.

A la hora de valorar conviene hacer una selección de los elementos sobre los que se va a incidir, ya que no se pueden seguir todos. Esta selección estará en función de las las intenciones del profesor. Las anotaciones deben ser cómodas, para que su supervisión y su orientación no consuman mucho tiempo del profesor.

Indicaciones

Este instrumento es válido para valorar de manera continuada conceptos, procedimientos y actitudes, dado que en los cuadernos de los alumnos pueden consignarse los tres tipos de contenidos, registrados día a día en los diferentes niveles educativos. La valoración del cuaderno supone un exhaustivo control de cada alumno a principio de curso, para irse centrando paulatinamente en aquellos alumnos que presentan más dificultades, o en actividades de seguimiento concretas y preestablecidas.

Para ejercer una efectiva evaluación de proceso, conviene que el profesor recoja los cuadernos varias veces cada trimestre, y determine los momentos en los que lo hará. Cuando decimos control no nos referimos al nivel de cumplimiento de las tareas por parte de los alumnos. El seguimiento de los cuadernos no pretende saber si los alumnos han hecho o no las tareas encomendadas. Es más, si pensamos que los cuadernos no solamente se confeccionan en clase, sino también fuera de ella, y, por lo tanto, son susceptibles de ayudas externas poco controlables, uno de nuestros objetivos será transmitir a los alumnos que el cuaderno es un instrumento formativo y no sumativo, mediante el cual el profesor le proporcionará orientaciones para completar y mejorar su aprendizaje; y que no utilizará su trabajo para sancionarlo o calificarlo de manera definitiva.

El seguimiento de los cuadernos supone un buen pretexto para introducir al alumno en la autoevaluación: Por una parte, se trata de un trabajo muy integrado en la actividad cotidiana del alumno; y, por otra, el profesor puede hacerle llegar fácilmente sus objetivos, criterios de evaluación y corrección e, incluso, valoraciones parciales, para que el alumno vaya regulando sus acciones.

Los aspectos elegidos para su valoración son los especificados en las columnas. Se prevén tres correcciones por parte del profesor. Cada uno de los aspectos indicados se despliega en varios factores:

-Toma de apuntes: captación de las ideas principales, relación con las ideas secundarias y detalles, elaboración personal de la toma de apuntes, uso del libro de texto u otros libros.

-Organización: estructura general por temas, inclusión de material gráfico y tablas, uso de recursos de soporte a la lectura.

-Presentación: claridad de la letra, respeto de los márgenes, diferenciación de la jerarquía de ideas y títulos.

-Corrección: inclusión de correcciones hechas en clase, repetición de actividades, actividades de recuperación.

-Redacción: expresión escrita general, nivel expositivo, nivel descriptivo, nivel argumentativo.

-Desarrollo de actividades: capacidad de síntesis y capacidad crítica, rigor, nivel de comprensión.

Cada uno de los aspectos se valorará del 1 al 5, (l corresponde al nivel más bajo de consecución y 5, al más alto). El resultado de las correcciones se comunicará a los alumnos en forma de actividades orientativas, que pueden ir desde la repetición de algún ejercicio hecho en clase hasta la propuesta de nuevas actividades para compensar déficit específicos, pasando por la indicación de completar las actividades inacabadas.

Los alumnos conocen desde el principio los objetivos básicos de la unidad didáctica (y se recomienda que los hayan redactado conjuntamente con el profesor). Cada alumno revisa los componentes de su libreta y, teniendo en cuenta las intenciones educativas, se va acostumbrando a valorar su trabajo.

A continuación, presentamos un sencillo instrumento, adaptable a diferentes áreas, que los alumnos deben completar individualmente al final de cada unidad temática. Las claves de valoración son: A = muy alto, B = alto, C = correcto, D = bajo, E = muy bajo:

GARANTÍAS DE RIGOR CIENTÍFICO DE LOS INSTRUMENTOS DE EVALUACIÓN Sin entrar en más consideraciones respecto a las evaluaciones cualitativas y cuantitativas, la evaluación en general requiere que se contemplen una serie de requisitos para que tal evaluación posea índices suficientes de credibilidad y operatividad; entre ellos, los más significativos son la fiabilidad y la validez de los instrumentos de medida.

La fiabilidad hace referencia al grado de permanencia, estabilidad o consistencia de las mediciones; por tanto, nos referimos igualmente a los resultados de un test, como a la información recogida por medio de un cuestionario o una entrevista, o mediante una observación. Desde el punto de vista práctico puede considerarse la fiabilidad como la consistencia entre las puntuaciones que otorgan a una misma variable (o evento) diferentes evaluadores, o la persistencia de las puntuaciones cuando se aplica el mismo instrumento de evaluación en diferentes momentos. Por lo tanto la fiabilidad puede entenderse como la exactitud de los datos, en el sentido de su estabilidad, repetición o precisión.

La validez hace referencia a la cualidad atribuible a un instrumento en virtud de la cual se puede garantizar que dicho instrumento mide exactamente lo que desea medir y no cualquier otro constructo por afín que sea.

La validez externa de un instrumento alude a la posibilidad de que los datos obtenidos a través del mismo, puedan aplicarse en igual medida a otros grupos semejantes, pero que no son analizados en ese momento.

Encontrar una fiabilidad perfecta –lo que en terminología cualitativa se denomina dependenciaes raramente posible al analizar cualquier evento propio de los contextos educativos, ya que intervienen factores externos e internos en los sujetos y en las situaciones que imposibilitan la

recogida de datos en idénticas condiciones. Para constatar la fiabilidad de un instrumento de recogida de información, pueden emplearse los siguientes procedimientos: •

Fiabilidad por repetición. Si aplicado el mismo instrumento o la misma técnica repetidamente se obtienen los mismos datos, se dice que el instrumento es fiable.

Ahora bien, hemos de precisar que pueden ocurrir algunos fenómenos que debemos tener en cuenta a la hora de interpretar los datos del test-retest, tales como: que el tiempo transcurrido haga variar los datos; que los acontecimientos ocurridos en ese intervalo hayan modificado las condiciones, las actitudes, etc.; o que presentar la misma técnica o el mismo instrumento haga recordar o presentar conductas aprendidas.

•

Fiabilidad por formas paralelas. Consiste en correlacionar dos pruebas, que se supongan equivalentes, a los mismos sujetos.

•

Fiabilidad por par-impar o las dos mitades. Se aplica un instrumento una sola vez, pero se recogen dos puntuaciones: una las preguntas pares y otra de las impares, y después se correlacionan.

En la metodología cualitativa se habla de dependencia para referirse a este concepto de fiabilidad. Desde este punto de vista, la dependencia se logra utilizando: •

Métodos solapados, la triangulación según la cual se pueden utílizar diferentes métodos a la vez, con el fin de compensar las insuficiencias de unos con las ventajas de otros favoreciendo la complementariedad. Consiste, pues, en recoger datos respecto a un sujeto, objeto o evento, o de interpretar una serie de datos desde diferentes perspectivas: entrevista-cuestionario-observación,…

•

Réplica paso a paso, muy semejante el planteamiento de las dos mitades pero ahora empleando datos cualitativos. El grupo objeto de estudio se divide en dos y se trabaja paralelamente existiendo contacto y comunicación entre las «dos» evaluaciones.

•

Observadores externos. Someter a consideración los instrumentos o los datos recogidos por el evaluador a las opiniones de personas competentes en la materia; es decir, contar con la ayuda de jueces expertos.

La validez es la cualidad esencial de un instrumento de evaluación, sin validez no puede existir verdadera medición. SEAONE y RECHEA (1976), recogiendo una definición ya clásica, expresan que "la validez es la capacidad de un test para medir lo que se propone medir".

En el seno del paradigma cuantitativo la validez es estimada a través de distintos procedimientos estadísticos que arrojan determinados índices o coeficientes de validez. El índice de correlación entre distintas pruebas, o el análisis factorial para evaluar la estructura interna de las pruebas son dos de los estadísticos más utilizados.

Es necesario mencionar los conceptos de validez interna y de validez externa; la primera implica el control adecuado sobre las variables externas, los procedimientos de selección, de medición, etc.; se entiende por la segunda, la extensión y el aprovechamiento de la generalización de los resultados.

En el plano cualitativo la validez interna se equipara con credibilidad y la validez externa con transferibilidad.

La validez en el paradigma cualitativo se consigue, en cuanto a la credibilidad (validez interna), mediante: •

El trabajo prolongado en el lugar de la experiencia.

•

La observación persistente.

•

El juicio crítico de los compañeros.

•

La triangulación.

•

La recogida de material directo variado.

•

Las interpretaciones de los participantes.

•

La coherencia estructural, es decir, que no existan conflictos internos ni contradicciones.

•

La contrastación de los análisis y de las interpretaciones con los datos y documentos básicos: entrevistas, grabaciones audiovisuales, etc.

Respecto a la transferibilidad (validez externa) se pueden mencionar los siguientes requisitos: Un muestreo teórico, que no pretende ser representativo sino que surge de lo que se entiende que es importante y relevante.

La recolección de abundantes datos descriptivos que permitan comparar el contexto descrito con otros contextos a los que se podrían realizar transferencias.

La elaboración de descripciones minuciosas de todos los factores contextuales que conciernen a la investigación.

3. INSTRUMENTOS DE RECOGIDA DE DATOS EN LA EVALUACIÓN DE PROGRAMAS. Dada la amplitud y complejidad de los instrumentos de recogida de datos y de medida empleados en la evaluación de programas educativos y las limitaciones de la propuesta, vamos a presentar algunos de los de mayor uso en el campo que nos ocupa y de fácil construcción y uso en el marco escolar.

EL CUESTIONARIO Consiste en un conjunto de preguntas o cuestiones de uno o varios tipos que se consideran relevantes para el rasgo, la característica o la dimensión sobre la que se desea obtener información, puede ser aplicado de forma variada: individual, en grupo, presencialmente, por correo. En la mayor parte de los casos se da una escasa relación entre los sujetos que contestan y la persona que los administra. Debe suponer un intento de recoger toda la información necesaria y relevante para el problema investigado, pero solo esa información. Es

necesario garantizar que los sujetos no falsean las respuestas para quedar bien ante el administrador, por ello, debemos respetar la intimidad de la persona que contesta.

Construir un buen cuestionario requiere un proceso difícil y laborioso, TENBRINK (1981, p.275) apunta los siguientes pasos: describir la información que se necesita, redactar las preguntas, ordenar las preguntas, ofrecer un medio para responder, escribir las instrucciones y reproducir el cuestionario. De forma más sintética los aspectos básicos a considerar son los siguientes: a) El contenido de los cuestionarios se dirige a dos grandes campos, uno configurado por las cuestiones relativas a la identificación de los sujetos desde diferentes variables relevantes para el estudio y otro constituido por las opiniones, hechos, actitudes de los sujetos ante diferentes propuestas del investigador. En este apartado debemos combinar la relevancia y la pertinencia de la información con la longitud del cuestionario (posible fatiga, riesgo de abandono o falta de seriedad en las respuestas). b) Las preguntas y respuestas, están íntimamente enlazadas en la elaboración del cuestionario, pues la formulación de las primeras condiciona las respuestas de los sujetos. La pregunta debe lograr la colaboración del encuestado, por ello debe quedar claramente especificada la intención del investigador, además de la exigencia de un lenguaje claro y adecuado a las características de los sujetos, con enunciados concretos y precisos que eviten dudas o interpretaciones erróneas, procurando buscar la coherencia en su estructura gramatical y las formulaciones progresivas de las mismas, huyendo de respuestas sugeridas o tendenciosas. Asimismo debemos cuidar que las diferentes alternativas formuladas incluyan todas las posibilidades de respuesta.

Referente a las respuestas pueden ser totalmente abiertas o libres en las que es el sujeto el que decide qué, cómo, cuánto y a qué contestará, elaborando personalmente su propia respuesta. Una segunda opción sería ofrecer un abanico de posibles respuestas para que sean valoradas y añadir un final abierto dónde se puede completar o ampliar la información solicitada. La tercera posibilidad sería la totalmente estructurada en la que el sujeto se limita elegir la mejor o mejores respuestas o bien a valorar determinados items mediante una escala. c) La forma de recoger la información, debe garantizar la fidelidad y precisión de los datos recogidos ya sea de forma personal o mediante recursos tecnológicos (magnetófonos, videos), en las aplicaciones masivas o envíos por correo el sujeto refleja sus respuestas en el mismo cuestionario o en la hoja de aplicación especialmente diseñada para este fin.

Al margen de otras consideraciones de tipo práctico referentes a la aplicación misma del cuestionario uno de los temas más complicados consiste en la determinación de las características técnicas de este instrumento. La determinación de la fiabilidad resulta muy

compleja, por ello en ocasiones se nos habla de indicadores de fiabilidad evaluados mediante la sinceridad y concordancia de las respuestas ofrecidas a items similares o estrechamente relacionados. No obstante, nos deben preocupar más los aspectos relacionados con la validez, en el sentido de garantizar que las preguntas recogidas en el cuestionario logran una presencia suficiente y representativa de los objetivos y contenidos de la investigación que estamos planteando, además de valorar si su ubicación es la correcta, para ello debemos recurrir a la opinión de los expertos o bien mediante una aplicación piloto determinar estas características.

Aunque existen diversos instrumentos para el registro sistemático de los datos en la evaluación de programas educativos, nos vamos a detener de manera más detallada en dos de ellos: el anecdotario y la lista de control. a) El anecdotario o incidente crítico, se trata de un relato descriptivo de episodios o anécdotas de cierta relevancia vinculados a la conducta manifestada por el sujeto observado.

En la ficha se deben anotar los incidentes tal y como han ocurrido, sin comentario personal visible, aportando los detalles suficientes que permitan realizar un análisis posterior a jueces imparciales. Su gran valor radica en la riqueza y matización de la información, debidamente circunstanciada y contextualizada. Ha de lograrse consistencia de detalles de una anécdota a la siguiente, con el fin de obtener continuidad en el registro y una posible cuantificación de los resultados. La ficha anecdótica se redacta por buenos observadores, que sean capaces de ver conductas relevantes para la investigación evaluativa. b) La lista de control, consiste en la enumeración de una serie de conductas cuya presencia o ausencia en el grupo observado se desea constatar. Su objetivo básico consiste en recordarnos que se debe detectar la presencia o ausencia de comportamientos que nos parecen importantes, sin añadir a esta constatación ninguna apreciación cualitativa. En esencia se trata de cuadros de doble entrada en que en un eje se reflejan nombres de los sujetos observados y en el otro la serie de enunciados de conducta analizados, el observador va anotando en el mismo si se da o no esa conducta durante el período de observación. En la construcción se deben recoger las unidades y subunidades de observación debidamente estructuradas, además de ser lo más analíticas posible para garantizar la representatividad de una conducta observable. Como ventaja destaca su gran aplicabilidad por personal no demasiado experto, entre sus inconvenientes sobresale el no diferenciar cuantitativamente ni cualitativamente los diferentes matices que se pueden dar en ese momento.

4. INFORMES DE SEGUIMIENTO Y EVALUACIÓN DE LAS ACCIONES FORMATIVAS El seguimiento formativo es la evaluación procesual o formativa que se realiza a lo largo de todo el proceso de formación que permite evaluar constantemente todos elementos que intervienen en la formación.

Se distingue de la evaluación en que el primero se refiere más a las tareas o actividades que quedan englobadas en lo que denominaríamos gestión de la formación y la evaluación se refiere más al ámbito pedagógico de la formación.

Ha de ser llevado desde la Administración Pública hasta los tutores, pasando por los técnicos, coordinadores, etc, y por lo tanto, los formadores son un elemento más, implicado en dicho proceso.

La finalidad es: •

ayudar a entender por qué ocurren ciertas cosas y qué puede hacerse para intervenir en el proceso

•

identificar y solucionar problemas que surjan

•

contribuir a la elaboración de unos planes de formación realistas y saberse ceñir a ellos.

•

Ayudar a reducir y controlar el uso de los recursos materiales.

•

Establecer el nivel que puede alcanzar el rendimiento y relacionarlo con el rendimiento actual.

La intervención pedagógica fue considerada como una forma de “acción correctora” para los alumnos debido a su mal comportamiento.

A partir de los años 60 comienza a proliferar la figura del orientador o asesor educativo, aunque todavía era más de tipo terapéutica que educativa o formativa y consistía en intervenir de forma puntual cuando existía una dificultad concreta de aprendizaje por parte del alumno.

A partir de los 80 la función orientadora o asesora deja de ser entendida como una acción puntual, aislada o dirigida únicamente a la solución de problemas para convertirse en una acción de tipo preventiva, continua, global y descontextualizada, que afecta a la totalidad de alumnos presenten o no dificultades de aprendizaje.

Hay tres tipos de intervenciones pedagógicas •

Primaria

•

Secundaria

•

Terciaria

Los agentes de seguimiento formativo son: •

La administración pública

•

Agentes sociales (el director de formación o de la empresa, el coordinador o técnico de formación profesional ocupacional, el tutor del curso y el formador)

Los instrumentos para el seguimiento formativo son entre otros: •

Cuestionarios de satisfacción

•

Observación directa

•

Reuniones formales e informales

•

Informes de las sesiones

•

Formularios de evaluación

•

Entrevistas de evaluación

En la evaluación del seguimiento formativo se debe identificar los aspectos objeto de evaluación en el seno de su acción docente; seleccionar y elaborar las técnicas e instrumentos de evaluación que utilizará para la recogida y análisis de la información y temporalizar la recogida de información.

5.CONTROL DE CALIDAD Y EVALUACIÓN. La eficacia de una acción está dada por el grado en que se cumplieron los objetivos previstos en su diseño. Usualmente se recurre a una forma de planificación como el marco lógico, en la

cual se establece la jerarquía de objetivos: general, inmediatos, específicos, metas y actividades.

Para cada uno de los objetivos previstos se analiza la eficacia de la acción que es evaluada, obteniendo un índice general de eficacia mediante una ponderación de cada uno de los índices por objetivo evaluado.

La eficiencia analiza el volumen de recursos gastados para alcanzar las metas. Una actividad eficiente hace un uso óptimo de los recursos y, por tanto, tiene el menor costo posible.

Mientras que el indicador de eficacia es usualmente una tasa porcentual, en el análisis de eficiencia se utilizan indicadores de costo-beneficio o de costo-eficiencia.

El análisis de la eficiencia es utilizado para comparar entre diferentes alternativas de acciones de formación y se puede realizar ex ante o ex post. En general, siempre que se deban revisar opciones de inversión para emprender acciones o reorientarlas, la búsqueda de un costo eficiente es requerida y este tipo de análisis la facilita.

Ejemplo: analizar la opción más eficiente, entre dos, para desarrollar un programa de formación en una comunidad rural apartada. Una, es la de construir un centro de formación, dotar sus instalaciones, contratar y formar personal; la otra, consiste en utilizar unidades móviles con un “centro itinerante” y equipos fácilmente transportables. Es un típico caso en el que, mediante el cálculo de los costos, se puede hacer una evaluación ex ante de las alternativas e implementar la que se muestre más eficiente.

Para evaluar la eficiencia existen dos tipos de análisis: el costo-beneficio y el costo-efectividad.

Análisis costo-beneficio: se expresa como una relación entre los beneficios obtenidos y los costos incurridos y utiliza como unidad de medida el dinero. En general, en este tipo de análisis se busca una relación beneficio-costo mayor a uno, justamente cuando los beneficios son mayores que los costos

Dentro del análisis costo-beneficio se utiliza el indicador conocido como: Retorno de la Inversión(ROI) para medir el rendimiento de las inversiones que realizan las empresas en capacitación.

Dentro de los costos se incluyen: pagos a los docentes, salario de los trabajadores separados de sus funciones mientras atendían el curso, el costo de utilizar las instalaciones y el de los demás insumos identificados. Como beneficios se toman la disminución de accidentes laborales, la reducción de productos imperfectos, la disminución de accidentes laborales, la mejora en productividad.

Los beneficios y los costos son traducidos a un valor monetario por los interesados en su medición. Normalmente es fácil calcular estos valores, pero en algunos casos se requiere acuerdo, por ejemplo, sobre cómo medir la variación en la productividad y sobre qué base valorarla.

Una vez sumados los valores de beneficios y costos se puede optar por compararlos directamente o por calcular su valor presente neto si el tiempo de análisis lo amerita.

El ROI se ha utilizado para medir el impacto de la capacitación en experiencias de aplicación del Sistema Integral de Medición y Avance de la Productividad SIMAPRO. En el anexo 7 de este eje se incluye la descripción de un caso.

Otro indicador que se suele utilizar es la Tasa Interna de Retorno (TIR) que define un valor de referencia por encima del cual se considera rentable el programa. Esta tasa hace que el valor presente de un flujo de beneficios y costos, sea igual a cero. La TIR se compara con tasas de interés de otras inversiones alternativas; normalmente se usa para decidir a favor de aquella que ofrezca una tasa de retorno mayor.

Análisis costo-efectividad: es la relación entre los impactos obtenidos (valorados en dinero) y el valor presente de los costos, también en dinero, en que incurrió la actividad desarrollada.

El costo efectividad incluye la posibilidad de traducir ciertos impactos sociales a valores expresados en moneda corriente.

También permite realizar comparaciones entre impactos obtenidos con diferentes alternativas de acción. Las decisiones que se toman con base en esta relación favorecen a los programas más costo-efectivos para ser ejecutados nuevamente o para tomar sus modelos de ejecución como referencia en otros programas de formación.

Análisis costo – impacto Una relación muy útil consiste en comparar el valor presente de los costos con el valor del impacto obtenido, dando una idea del valor de cada unidad de impacto generado. Es adecuada para realizar comparaciones entre proyectos terminados (ex post) o alternativas de inversión bajo estudio (ex ante).

Se puede calcular, por ejemplo, que si la reducción en la tasa de desempleo provocada por una acción de formación fue del 12% con unos costos totales actualizados de $150.000, entonces el costo por cada punto porcentual de reducción del desempleo fue de $12.500. De nuevo, esta cifra es valiosa en tanto comparable con otras alternativas de acción o de utilización de los fondos invertidos en el programa.

En la práctica, se encuentran evaluaciones que utilizan de forma conjunta los diferentes indicadores de eficacia y eficiencia. Como corolario de los métodos de evaluación, no hay que perder de vista que la evaluación de impacto es útil para comprobar si: •

se alcanzaron los objetivos previstos;

•

los participantes en las acciones mejoraron su bienestar (ingresos, empleabilidad,

inserción social); •

las empresas mejoraron su productividad, ambiente de trabajo y competitividad;

•

las políticas públicas impulsadas por los gobiernos, lograron su cometido en la

población beneficiaria; •

el uso de los fondos invertidos fue el mejor en términos de eficiencia;

•

existen alternativas de costo menor para lograr los mismos impactos.