Tomado de: Ingeniería de software educativo Alvaro H. Galvis Panqueva Ediciones Uniandes 1992 CAPÍTULO 10 EVALUACIÓN DE MECs POR JUICIO DE EXPERTOS LA EVALUACIÓN SISTEMATICA
La evaluación de software educativo es una actividad permanente a lo largo del ciclo del desarrollo del mismo. En primera instancia, la determinación de necesidades de apoyo computacional resulta de una evaluación de los problemas educativos que se podrían atender con materiales computarizados. Por otra parte, hay necesidad de evaluar los materiales existentes que aparentemente responden a las necesidades de instrucción detectadas, a fin de decidirse si se adquieren, si se amerita preparar un nuevo material o si se debe adecuar el existente. Así mismo, cuando se elabora el diseño de un MEC es necesario juzgar la calidad de sus componentes y de las relaciones que los atan: el diseño debe favorecer el logro de lo que se busca , en la forma mas eficiente.. En forma semejante, durante el desarrollo del software es necesario evaluar la calidad de la implementación del diseño, tanto para los productos parciales como finales. Por supuesto, cuando el producto está completo su evaluación es insoslayable antes de darlo para uso público. Lo anterior no es una sorpresa ni una necedad. Es simplemente evaluación sistemática. La evaluación, entendida como obtención de información para toma de decisiones (PDQ70) , es aplicable a todas y cada una de las etapas de la vida de un sistema. La descripción anterior es un ejemplo de este tipo de evaluación, la cual se aplica a cada aspecto de un sistema: su contexto, insumos, proceso y productos. En el caso de una aplicación computacional, tiene sus ventajas seguir este enfoque sistémico: es garantía de relevancia y pertinencia en lo que se busca, favorece el uso racional de los recursos, permite eficiencia y eficacia en el desarrollo. Estos atributos se desprenden de los tipos de evaluación que se aplican, como se ilustran en la figura 10.1. contexto insumo o
Evaluación de contexto producto
Permite definir objetivos relevantes y prioritarios
Evaluación de productos Permite verificar logro de objetivos y ajustar el siguiente ciclo.
Evaluación de insumos
Evaluación de proceso
Permite estructurar el sistema
Permite reorientar el desarrollo del sistema
proceso
Modelo CIPP de un sistema (contexto, insumos, proceso, productos)
Figura 10.1 Tipos de evaluación y decisiones asociadas. (PDK70)
La evaluación por juicio de expertos se puede aplicar a distintos tipos y momentos de la evaluación de un MEC. Sin embargo, no es la única fuente y manera de evaluar un material. Por este motivo es importante establecer qué es lo que interesa evaluar en cada etapa y qué elementos cabe evaluar por arte de cada una de las diferentes fuentes (p.ej. expertos, usuarios del material). A la definición de este marco comprensivo se dedicará la siguiente sección del capítulo. La tercera sección tratará sobre la operacionalización del diseño evaluativo, mediante juicio de expertos, integrada al proceso de producción o efectuada sobre el producto de esta.
EVALUACIÓN SISTEMÁTICA DE MECs. A diferencia de la evaluación subjetiva, en la cual cada cual juzga aquello que se evalúa usando sus propios puntos de vista y según como le parece, en la evaluación sistemática de software es necesario usar criterios preestablecidos que sean relevantes y consistentes. Por otra parte, para cada fuente de información hay necesidad de crear instrumentos de evaluación valederos y que hagan operativos tales criterios; lo valedero tiene que ver con que la fuente tenga autoridad para informar o emitir conceptos sobre lo que se indague. Así mismo, es imprescindible recolectar, procesar y analizar la información en forma eficiente, práctica, válida y confiable, tomando en cuenta los criterios definidos para valorar el estado de cada variable. COMPONENTES, VARIABLES, Y CRITERIOS DE EVALUACIÓN. Usar criterios preestablecidos tiene implícitos varios requerimientos. El primero de ellos es la necesidad de hacer explícito un conjunto de variables que permitan evaluar aquello que interesa. También conlleva otro elemento; debe buscarse fundamento sólido a la definición de criterios de valoración asociados a cada variable en aras de asegurar consistencia en la evaluación. La figura 10.2 muestra estas ideas en forma operacional. Los procesos se encierran entre cuadrados y las relaciones con otros procesos posteriores se apuntan con letras encerradas entre círculos. Caracterizar el sistema que se va a evaluar
Definir los componentes que se van a evaluar
Definir variables e identificadores para cada componente
Definir criterios de valoración para cada variable
a Ω
Información de retorno Figura 10.2 Paso 1: Definir variables, componentes y criterios de evaluación Caracterización del sistema que se va a evaluar Esta es la base del proceso. En el caso que nos interesa hablamos de MECs, materiales educativos computarizados, orientados a satisfacer necesidades educativas prioritarias, que cumplan un papel que otros medios de instrucción no están en capacidad de desempeñar, que hagan el mejor uso del potencial educativo del computador (dentro de las posibilidades que ofrezca la configuración disponible) y que sean viables de usar por parte de los destinatarios del paquete. Definición de componentes que se van a evaluar Se llama componente a un aspecto importante que no se puede medir directamente a través de una variable sino de un grupo coherente de estas. En este caso debemos considerar tres componentes: de calidad educativa, la calidad computacional y la viabilidad del uso del material. Especificación de variables por componente.
Al desagregar un componente en las variables que indican, o permiten conocer, su estado se especifica lo que significa, e incluye, cada una de estas variables agregadas. Para el caso que nos interesa, la primera columna de las tablas 10.1, 110.2, y 10.3 específica las variables en que se desagrega cada componente.
Tabla 10.1 Desagregación del componente CALIDAD EDUCACIONAL
Variables 1.- Aprendizaje del alumno 2.- Opinión y actitud del alumno 3.- Objetivos que persigue el material
4.- Función educativa que cumple el tipo de MEC
5.- Función administrativa que cumple el MEC 6.- Contenido – o micromundo de base para descubrirlo7.- Ejemplos y ejercicios – o situaciones excitantes – para resolver
8.- Reorientación sobre el desempeño 9.- Estrategia de instrucción Motivación y refuerzo Secuencia y su control Estilo de pensamiento 10.- Forma de presentación Diseño de pantallazos
Uso de gráficos y sonido
Indicadores y criterios Nivel de logro superior a un X% (nivel mínimo en que se desea el logro) Positiva frente al estudio y frente al uso del paquete Se deben apoyar prioritariamente. Nivel de dificultad apropiado para la necesidad educativa detectada No hay mejor medio de enseñanza aprendizaje Permite subsanar las necesidades educativas detectadas Recopila información relevante para el profesor Coherente y suficiente para lograr los objetivos propuestos Relevantes y congruentes con el contenido y los objetivos Suficiente para promover el logro de los objetivos Variados en forma y/o contenidos Retroinformación (implícita o explícita) relevante oportuna y amigable Coherente con la función educativa que debe cumplir el material Consistente con la didáctica especial o las investigaciones aplicables Coherente con la estructura de contenidos y características del tema Adecuada a las características de los usuarios Amena. Adecuada para la audiencia y contenido en cuanto a mensajes, ilustraciones así como en densidad de información. Adecuado uso de apoyo visual y sonoro.
Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86)
Tabla 10.2 Desagregación del componente CALIDAD COMPUTACIONAL VARIABLES 11.- Funciones Para cada tipo de usuario (alumnos/profesor)
12.- Interfaz programa - usuario
13.- Tiempos de respuesta y de despliegue de pantallas 14.- Manual del usuario
15.- Manual de mantenimiento
16.- Programación 17.- Estructura de informática
18.- Uso de recursos computacionales
INDICADORES Y CRITERIOS Eficaz cumplimiento de funciones Con ayudas para aprovechar funciones al necesitarlas Permite ajustes locales/usuario Sencillez operativa. Ritmo de avance controlable Consistencia a lo largo del programa. Posibilidad de abandono y reinicio. Claridad de mensajes. Elástica captura de respuesta. Eficientes. Adecuada a las características de los destinatarios Claro y suficiente en: Descripción del propósito, instrucciones de iniciación, instrucciones para uso de opciones, mensajes de error e instrucciones de corrección. Claro y suficiente en: macro estructura, macro algoritmos, documentación del diseño físico de datos Estructurada, legible y documentada. Eficiente para cumplir las funciones propuestas Eficientes con alto volumen de datos Maximiza el uso de recursos disponibles del equipo.
Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86
Tabla 10.3 Desagregación del componente VIABILIDAD DEL MATERIAL
VARIABLES 19.-Requerimientos del software
INDICADORES Y CRITERIOS Sistema operacional, compilador, lenguajes manejadores (gráficos, de periféricos, de archivos est.) viables de usar 20.- Requerimientos del hardware Memoria principal y secundaria, tipo de pantalla, periféricos para interfaz con usuarios y otros equipos, viables de disponer 21.- Requerimientos locativos Puestos de trabajo, condiciones de aislamiento sonoro y/o espacial, instalación eléctrica, viables de disponer 22.- Requerimientos de personal Personal para apoyo u orientación a usuarios o para administrar paquete, viables de conseguir y vincular 2.- Requerimientos financieros Costos de inversión y costos de operación viables de atender Fuente: Galvis, A. H. Prieto, S.C. y Hernández, G. R. (GPH86
Determinación de indicadores y definición de criterios. Los indicadores son hechos o fenómenos que permiten observar el estado de una variable. Los criterios son estándares o niveles mínimos aceptables que sirven para saber si la variable está en estado adecuado. Se definen consultando lo que la investigación y la práctica muestran como evidencia de que el estado de cada variable es el deseado. Para el caso que nos interesa, la segunda columna de las tablas 10.1, 10.2 y 10.3 especifica los indicadores y criterios asociados a cada variable.
FUENTES, INSTRUMENTOS Y PROCEDIMIENTOS DE EVALUACIÓN.
Una vez que se ha identificado aquello que se quiere evaluar, es necesario determinar a partir de que fuentes, con qué y como se realizará la recolección de la información. El “con qué” implica preparar instrumentos y definir procedimientos que permitan recabar, de cada fuente, la información que tiene autoridad para brindar. Para la definición y preparación de instrumentos de recolección de información es clave la identificación de fuentes que permitan recolectar información consistente de cada variable. Los instrumentos deben ser, tan sencillos y claros como se pueda, un medio para recolectar y sistematizar la información que interesa de cada fuente. El gráfico siguiente muestra la operacionalización de estas ideas. Como se observa el punto de partida es la definición de variables resultantes del paso 1 anterior (apuntador
a) y el resultado de esto en un conjunto de instrumentos que van a ser usados luego en la redacción de la información. (Apuntador B)
Identificar fuentes y momentos para recolectar la información
Establecer cuadro de balanceo por instrumento
Confeccionar y probar instrumento
Definir procedimientos Recolección Información
Información de retorno Fuentes para obtener información Son aquellas personas, documentos o medios a partir de los cuales se puede establecer el estado de una variable. En el caso que nos interesa cabe considerar: especialistas en contenido, en metodología y en informática, cada uno encargado de velar, desde su perspectiva, por la calidad educativa y computacional del material. Así mismo, el administrador del sistema de instrucción (profesor) y el usuario final (alumno) están llamados a participar en la evaluación.
Momentos en que se deberá evaluar el MEC Puesto que se está siguiendo un enfoque sistemático, estos son: antes, durante y al final de su producción: en cada una de estas instancias la evaluación sirve para tomar decisiones: efectuar ajustes o seguir adelante. Cuadros de balanceo de instrumentos por fuente de información.
Define lo que en cada momento y a partir de cada fuente se debe evaluar. Se formula mediante una matriz cuyo contenido son las variables que se van a evaluar por instancia y fuente. En el caso que nos interesa el cuadro de balanceo de instrumentos de evaluaciones se expresa en la tabla 10.4
Tabla 10.4 Cuadro de balanceo de instrumentos de evaluación por fuente de información Momentos para evaluación
Fuentes de información para la evaluación del E.C. E.M. E.I. A.S. 3, 4 y 5 11, 16, 17 20, 21 3, 6, 7 8, 9 18, 19 22 4, 5, 8, 9 6, 7, 11 4, 5, 9 20, 21 20, 21 3 11, 12, 13 6, 7, 10 8, 9, 10 14 a 17 4, 5, 8, 9 6, 7, 11, 10 12
Antes del desarrollo (análisis y diseño)
Durante y al final del desarrollo
3 6, 7, 10 4, 5, 8, 9 20, 21
Como producto terminado
Convenciones:
EC EM EI A.S. A.T. A.R. -
3a5 8 a 13 6, 7 20, 21
14 a 17 18 y 19 10 a 13
20,21 22
software AT/AR 3
2 3, 6, 7, 8 9, 11, 12 1y2 3 6 a 12 21
Especialista EN contenidos (profesor de la especialidad) Especialista en metodología (diseñador instruccional) Especialista en informática (ingeniero en sistemas) Administrador del sistema de instrucción Alumno Típico de la población objetivo Alumno representativo de la población objetivo
Números en resaltado - Variables sobre los que evalúa con propiedad Número en normal - Variables sobre los que podría opinar
Instrumentos de evaluación A partir de las especificaciones del cuadro de balanceo se preparan instrumentos de evaluación para cada una de las fuentes que se desea consultar.
En el caso de nuestro interés, por ejemplo, para cada instancia del desarrollo del material es posible construir instrumentos para las fuentes identificadas, elaborando ítem a partir de lo que se desea evaluar y de los criterios predefinidos. En la segunda parte de este capítulo se puede observar un conjunto de instrumentos construidos para evaluar MECs, mediante juicio de especialistas, en contenido, metodología e informática Estos instrumentos son de utilidad al final del desarrollo de un Mec, como base para determinar sus cualidades. Así mismo, son útiles cuando se está analizando la conveniencia de adquirir software disponible comercialmente, al final de la etapa de análisis. Procedimientos para la recolección de información
Los instrumentos por sí solos no son suficientes para que su uso sea eficiente. Se necesita especificar como se deben usar, es decir, establecer procedimientos para recolección de información. A diferencia de las instrucciones para diligenciar los instrumentos, en esta guía se indica al responsable de conducir la evaluación como escoger los evaluadores, como organizar la evaluación, como recopilar la información y qué hacer con esta una vez obtenida. Para el caso que hemos venido desarrollando también se tiene una guía para usar el material, que es complementaria al diseño de los instrumentos y a estos; aparece al inicio de la siguiente sección del capítulo. RECOLECCIÓN, PROCEDIMIENTO Y ANÁLISIS DE INFORMACIÓN Esta fase final del proceso de evaluación sistemática no es menor importante que las anteriores. De la adecuada recolección, procesamiento y análisis de la información dependen en buena medida la pertinencia y relevancia de las recomendaciones sobre lo evaluado.
Recolectar información de fuentes seleccionadas
Procesar información recolectada
Analizar y valorar información
Formular recomendaciones sobre lo evaluado.
Figura 10.4 Paso 3: Recolectar información, analizar y valorar resultados, recomendar.
Recolección de información de fuentes seleccionadas Los procedimientos e instrumentos diseñados se utilizan para la recolección de información a partir de las fuentes seleccionadas. En el caso que analizamos, evaluación durante el desarrollo del MECs, es necesario recabar información de cuatro tipos de fuentes: expertos en contenido, en metodología y en informática, cuyas observaciones permiten hacer un primer ajuste; y los alumnos representativos, con los que se efectúan las pruebas uno a uno del material, cuyos resultados sirven de base para ajustar los elementos de la interfaz.
Procesamiento de la información recolectada La información recopilada de cada fuente se procesa dependiendo de lo que se planeó obtener de la evaluación y usando los métodos que correspondan. Los datos numéricos pueden recibir tratamiento estadístico, mientras que los descriptivos categorización por grupos afines.
Análisis y valoración de la información. El análisis de los resultados se lleva a cabo con base en los criterios definidos al final del primer proceso. El analista debe confrontar la información que, sobre cada una de las variables, arrojan las diferentes fuentes, establecer su consistencia y las posibles razones de inconsistencia, cuando las haya. Así mismo, se debe tratar de hallar la razón de las valoraciones, pues los ajustes que haya que realizar al material son, precisamente, aplicables a las posibles causas de los problemas detectados. Formulación de recomendaciones sobre lo evaluado. La formulación de las recomendaciones es la conclusión lógica del paso anterior. El analista debe sugerir que aspectos del material requieren ajustes, en función de los estándares de calidad que aun no hayan sido alcanzados.
VALORACIÓN DE MECs USANDO JUICIOS DE EXPERTOS: GUÍA DE TRABAJO Este material presupone que usted maneja la terminología y los conceptos relativos al diseño de un MEC y que sabe observar y describir un MEC. En caso de que no sea así, revise el capítulo 2 antes de seguir adelante.
A continuación se ofrece una metodología que le ayudará a observar y valorar los componentes educativo, de control, de comunicación y computacional en un MEC. Esto le permitirá dar una opinión fundamentada sobre el material observado, desde su perspectiva de especialista en contenido, metodología o informática.
La guía de trabajo consta de 3 partes: 1.- Procedimiento que se debe seguir en la evaluación de software por parte de expertos. 2.- Formatos para evaluación detallada de MECs por parte de expertos (EMEC.02, EMEC-03,, EMEC-04) , que van a ser usados diferenciadamente por los especialistas en contenido, metodología e informática. -EMEC-02: Evaluación DE MECs por especialista en contenido -EMEC-03: Evaluación de MECs por especialista en metodología -EMEC-04: Evaluación de MECs por especialista en informática 3.- Formato para sintetizar resultados y recomendaciones para la evaluación de MECs por parte de expertos (EMEC-05),para ser utilizados por quien conduce la evaluación. PROCEDIMIENTO PARA EVALUAR SOFTWARE POR EXPERTOS La evaluación de MECs puede ser necesaria por una o dos razones: se está en el desarrollo de un material educativo computarizado o se está analizando la conveniencia
de adquirir o usar un material que podría servir como apoyo al proceso de enseñanza aprendizaje. Si se está desarrollando un MEC, es indispensable llevarla a cabo. Se describe plenamente el MEC, se observa y se evalúa usando el formato EMEC-XX y se formula conclusiones y recomendaciones. Si se está evaluando un MEC existente, para establecer en que medida puede satisfacer una necesidad, conviene hacer una depuración inicial mediante “valoración comprensiva” (véase formato EMEC-01 en el capítulo 2) en la que se fundamenta la necesidad de evaluar el material. De ser conveniente, se procede como en el caso anterior. Inicia evaluación por expertos
Se trata de un Material que está en desarrollo?
Diligenciar el formato DEMEC para descripción de MECs
Hacer evaluación comprensiva y diligenciar formato EMEC-01
No
Sí
Evaluar software con expertos en contenido, metodología e informática y diligenciar formato EMEC-02,03 Y 04.
Sacar conclusiones y recomendaciones sobre el software evaluado, formato EMEC-055
Fin evaluación por expertos
Vale la pena seguir adelante con la evaluación?
No
Figura 10.5 Procedimiento para la evaluación de MECs mediante juicio de expertos. Según se observa en el procedimiento, es fundamental que el evaluador esté en el contexto de los que se va a observar y evaluar. Sin conocer los detalles que sustentan la necesidad del material, es imposible hacer una valoración bien fundamentada del MEC. Por otra parte,, es conveniente que las recomendaciones finales surjan por algo más que agregación de las recomendaciones parciales de los especialistas. Si bien ésta es conveniente, quien conduce la evaluación debe analizar ,, junto con los expertos y el grupo de diseño y producción, las recomendaciones de aquellos acerca del material objeto de evaluación. Lograr un consenso es importante.
FORMATO EMEC-02 VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN CONTENIDO DATOS BÁSICOS Título:______________________________________________________________ Autor:______________________________________________________________ Versión:_________________ Fecha de elaboración:_________________________ Evaluador:_______________ Fecha de evaluación:_________________________ INSTRUCCIONES Utilice la página 2 de este instrumento para tomar nota de los aspectos que, en su criterio, requieren ser ajustados, por defectos de contenido. Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar su opinión como experto en contenido, sobre cada uno de los aspectos de interés y,, a partir de esto, concluir sobre los aspectos positivos y negativos del material desde su perspectiva. Finalmente sintetice en los siguientes espacios su opinión y recomendaciones. VALORACIÓN COMPRENSIVA. Como experto en contenido considero que ESCALA PARA VALORACIÓN la calidad del material, en lo que se refiere Ex = excelente a las siguientes variables, puede expresarse Bu = bueno como: Rg = regular (encierre con un círculo la opción que Ma = malo mejor refleje su opinión) Na = no aplicable Objetivos que persigue Ex Bu Rg Ma Contenido que incluye Ex Bu Rg Ma Desarrollo del contenido Ex Bu Rg Ma Micromundo (s) para exploración Ex Bu Rg Ma Herramientas para trabajar en el Ex Bu Rg Ma micromundo Ejemplos que ofrece Ex Bu Rg Ma Ejercicios o retos que propone Ex Bu Rg Ma Retroinformación que provee Ex Bu Rg Ma RECOMENDACIÓN (Marque solo una de las siguientes opciones y sustente en la página 4) 1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)
Na Na Na Na Na Na Na Na
2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver pag 4) 3.- No
recomiendo usar el material (ver mis razones en la pag. 4)
Formato EMEC-02 A medida que observe el material, tome nota de los defectos que encuentre desde el punto de vista del contenido o de su tratamiento didĂĄctico (forma de enseĂąarlo). En la columna de la izquierda anote el problema y ubicaciĂłn, en la de la derecha posibles soluciones.
Problemas de contenido
Posibles soluciones
Formato EMEC-02 Especialista en contenido: Cuando haya terminado de observar el material educativo computarizado, de su opinión sobre los indicadores de cada una de las variables siguientes, encerrando en un círculo el nivel de la escala que mejor refleje su opinión. Objetivos
Vale la pena apoyarlos con computador Su nivel corresponde a lo que conviene apoyar con computador
Contenido
Es coherente con los objetivos que se buscan Es suficiente para lograr los objetivos si se tienen las bases Es actualizado Tiene vigencia y validez científica , aun para casos extremos Es transferible o aplicable a variedad de contextos
Desarrollo Del contenido
La información es clara y concisa El contenido está lógicamente organizado Hay transición gradual entre las partes del contenido La estructura del contenido es evidente para el usuario
Micromundo
El usuario siempre sabe donde está dentro del desarrollo del contenido Tiene significado para el aprendiz Es relevante para lo que se desea que el alumno aprenda Permite proponer y enfrentar situaciones existentes Permite proponer y enfrentar situaciones de variado nivel de complejidad Permite aprender a partir de la experiencia
Herramientas Son sencillas de usar por parte del usuario aprendiz esperado Son suficientes para enfrentar las situaciones problemáticas que se persiguen Cuenta con ayuda de utilización para quien lo requiera
Ejemplos
Son las precisas que se requieren para explorar o resolver los retos Son relevantes para ilustrar el contenido Ilustran aspectos clave del contenido Son suficientes para entender el contenido
Ejercicios O Retos
Permiten ejercitar y comprobar el dominio de cada uno de los objetivos Su formato corresponde al nivel de los objetivos propuestos
Retro-
Son variados y suficientes como para lograr el dominio de cada objetivo Permiten transferir y generalizar el contenido a diferentes contextos Corresponde en cada caso a la actuación o respuesta del usuario Es suficiente para reorientar la solución de ejercicios o para confirmar su logro Es amigable, no amenazante, no agresiva
información
Orienta con luz indirecta (da pistas, claves o explicaciones)
TA AC DA TD NA TA TA TA TA TA TA TA TA TA TA TA TA
total acuerdo acuerdo desacuerdo total desacuerdo no aplica AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD AC DA TD
NA NA NA NA NA NA NA NA NA NA NA NA
TA TA TA TA
AC AC AC AC
NA NA NA NA
DA DA DA DA
TD TD TD TD
TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA TA TA TA
AC AC AC AC
DA DA DA DA
TD TD TD TD
NA NA NA NA
TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA TA AC DA TD NA
Formato EMEC-02 Aspectos Positivos en el contenido – mayores cualidades del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ____________ Aspectos negativos en el contenido – mayores debilidades del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________ Uso potencial del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________ Sugerencia para lograr que el MEC se pueda usar: ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________
FORMTO EMEC –03 VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN METODOLOGÍA DATOS BÁSICOS Títuuoo:_______________________________________________________________ ___ Autor:_________________________________________________________________ ___ Versión:__________________Fecha de elaboración:___________________________ Evaluador:_________________Fecha de evaluación:_____________________________
INSTRUCCIONES A medida que observe el material, utilice la página 2 del instrumento para tomar nota de los aspectos que, a su criterio, requieren ser ajustados por defectos de metodología. Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar su opinión como experto en metodología, sobre cada uno de los aspectos de entrés y, a partir de esto, concluir sobre los aspectos positivos y negativos del material, desde su perspectiva. Finalmente, sintetice en los siguientes espacios su opinión y sus recomendaciones. VALORACIÓN COMPRENSIVA Como experto en metodología considero que la calidad del material, en lo que se refiere a las siguientes variables,, puede expresarse como: (encierre en un circulo la opción que mejor encierre su opinión. Objetivos que persigue Sistema de motivación Sistema de refuerzo Actividad del usuario Metodología utilizada Reorientación para la actividad del usuario Ayudas que ofrece Interfaz de entrada Interfaz de salida
Escala para valoración Ex – excelente Bu – Bueno Rg – regular Ma – malo Na – no aplica Ex Ex Ex Ex Ex Ex Ex Ex Ex
Bu Bu Bu Bu Bu Bu Bu Bu Bu
Rg Rg Rg Rg Rg Rg Rg Rg Rg
Ma Ma Ma Ma Ma Ma Ma Ma Ma
Na Na Na Na Na Na Na Na Na
RECOMENDACIÓN (marque solo una de las siguientes opciones y sustente en la página 4) 1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4)
2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver pag 4) 3.- No
recomiendo usar el material (ver mis razones en la pag. 4)
Formato EMEC 03 A medida que observe el material, tome nota de los defectos que encuentra desde el punto de vista metodol贸gico o del tratamiento did谩ctico. En la columna de la izquierda anote el problema y la ubicaci贸n, en la de la derecha posibles soluciones.
Problema de metodolog铆a
Posibles soluciones
Formato VSE – 03 Especialista EN metodología. Cuando haya terminado de observar el material educativo computarizado, de su opinión sobre los indicadores de cada una de las variables siguientes, encerrando en un círculo el nivel de la escala que mejor refleje su opinión.
Objetivos
Motivación
Refuerzo Actividad usuario
Metodología
Reorientación
Ayudas
Interfaz de entrada
Interfaz de salida
Están claramente definidos o se interfieren fácilmente del material Son coherentes con la necesidad educativa que es prioritaria atender Es apropiada a la audiencia a quien se dirige el material Mantiene el interés para lograr los objetivos con un buen nivel de eficacia Corresponde a la expectativa creada en la motivación Está asociada a eventos claves en el logro de los objetivos de instrucción La metodología favorece que el usuario participe activamente en el aprendizaje Se aprende mediante una relación dialogal entre el usuario y el programa Exige que el usuario piense, para resolver las situaciones problemáticas Está fundamentada en una didáctica apropiada para lo que se desea enseñar Utiliza consistentemente los principios metodológicos aplicables Está muy bien escogida, considerando las opciones aplicables al caso Es amigable, no es amenazante ni agresiva Da pista, claves o explicaciones antes que resolver el problema Permite saber por qué se ha fallado en la solución del problema Permite consultar sobre la forma de uso del paquete cando se requiere Permite consultar la teoría o síntesis de ella cuando se requiere Da pistas metodológicas para resolver las situaciones problemáticas La forma de usar los dispositivos de entrada es sencilla para el usuario típico Hay formas de consultar con facilidad los comandos disponibles Los comandos o mecanismos de control se adecuan a las características del usuario Hay consistencia en la forma como se piden las respuestas a los usuarios El programa entiende mensajes abiertos semejantes al mensaje natural La selección de dispositivos de salida soporta bien las funciones de apoyo Las pantallas NO están sobrecargadas de información La velocidad de desligues de mensajes es apropiada para el usuario
TA total acuerdo AC acuerdo DA desacuerdo TD total desacuerdo NA no aplica TA AC DA TD NA TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC TA AC
DA TD NA DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
NA
El tamaño y tipo de letra permiten leer en forma rápida y comprensivamente Los gráficos y animaciones enriquecen lo que se aprende Las cortinas musicales son agradables Los efectos sonoros fijan la atención , destacan ideas y aspectos claves El vocabulario o terminología es adecuada para el nivel cultural del usuario Los símbolos o íconos utilizados corresponden a los dela disciplina del material
TA AC
DA TD NA
TA AC
DA TD NA
TA AC TA AC
DA TD NA DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
FORMATO EMEC – 03 Aspectos Positivos en la metodología – mayores cualidades del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ____________ Aspectos negativos en la metodología – mayores debilidades del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________ Uso potencial del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________ Sugerencia para lograr que el MEC se pueda usar: ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________
FORMATO EMEC 04 VALORACIÓN DE SOFTWARE EDUCATIVO POR EXPERTO EN INFORMÁTICA DATOS BÁSICOS Títuuoo:_______________________________________________________________ ___ Autor:_________________________________________________________________ ___ Versión:__________________Fecha de elaboración:___________________________ Evaluador:_________________Fecha de evaluación:_____________________________
INSTRUCCIONES A medida que observe el material, utilice la página 2 del instrumento para tomar nota de los aspectos que, a su criterio, requieren ser ajustados por defectos de computación. Cuando termine de observar el material, diligencie las páginas 3 y 4. En ellas debe dar su opinión como experto en metodología, sobre cada uno de los aspectos de interés y, a partir de esto, concluir sobre los aspectos positivos y negativos del material, desde su perspectiva. Finalmente, sintetice en los siguientes espacios su opinión y sus recomendaciones. VALORACIÓN COMPRENSIVA Como experto en informática considero que la calidad del material, en lo que se refiere a las siguientes variables,, puede expresarse como: (encierre en un circulo la opción que mejor encierre su opinión. Funciones de apoyo a los usuarios Estructura lógica del material Interfaz entre usuario y programa Estructuras de datos Requerimientos de uso del paquete Mantenimiento del paquete Documentación del paquete
Escala para valoración Ex – excelente Bu – Bueno Rg – regular Ma – malo Na – no aplica Ex Ex Ex Ex Ex Ex Ex
Bu Bu Bu Bu Bu Bu Bu
Rg Rg Rg Rg Rg Rg Rg
Ma Ma Ma Ma Ma Ma Ma
Na Na Na Na Na Na Na
RECOMENDACIÓN (marque solo una de las siguientes opciones y sustente en la página 4) 1.- Recomiendo usar el material con ninguno o muy pocos cambios (ver pag 4) 2.- Recomiendo usar el material solamente se le hacen los cambios que propongo (ver pag 4) 3.- No
recomiendo usar el material (ver mis razones en la pag. 4)
Formato EMEC – 04 A medida que observe el material, tome nota de los defectos que encuentra desde el punto de vista informático o del tratamiento didáctico. En la columna de la izquierda anote el problema y la ubicación, en la de la derecha posibles soluciones.
Problema de computación
Posibles soluciones
Formato VSE – 04 Especialista en computación.
TA total acuerdo AC acuerdo DA desacuerdo TD total desacuerdo NA no aplica Las funciones de apoyo para el alumno son las TA AC DA TD NA
Cuando haya terminado de observar el material educativo computarizado, de su opinión sobre los indicadores de cada una de las variables siguientes, encerrando en un círculo el nivel de la escala que mejor refleje su opinión.
Funciones de apoyo
Estructura lógica
Interfaz
Estructuras de datos
Requerimientos de uso
previstas en el diseño Las funciones de apoyo para el alumno son están bien implementadas Las funciones de apoyo para el profesor son las requeridas en el diseño Las funciones de apoyo para el profesor son están bien implementadas Atiende todas las funciones de apoyo definidas para los usuarios Es modular, muestra estructuración en el trabajo de programación Favorece un tratamiento eficiente a los problemas de dimensión del programa Hay separación entre la estructura lógica y los datos del programa Hace buen uso de las oportunidades que brinda el equipo y el software Es eficiente para el intercambio de información entre usuario y programa Tiene consistencia a todo lo largo del programa Aprovechan posibilidades que brinda la herramienta y el equipo seleccionado Permiten un manejo eficiente de los datos que utiliza el programa Tienen un límite de crecimiento apropiado a los requerimientos de uso Hay manejadores para consultar o adecuar el contenido de los archivos La organización y modo de acceso a los archivos favorece eficiente ejecución Los requerimientos de memoria principal no obstaculizan “correr” el programa El tipo de pantalla y tarjeta gráfica corresponden o se pueden emular Las unidades de almacenamiento corresponden o se pueden adecuar El tamaño de los archivos de datos es manejable en las unidades disponibles El sistema operacional requerido está disponible o se puede obtener Están disponibles los sistemas de comunicación en redes requeridos Las interfaces con otros equipos están disponibles, o se pueden obtener Las utilidades o librerías requeridas están disponibles, o se pueden obtener El personal para dar soporte al uso del paquete está disponible, o se puede conseguir El contenido variables del programa se puede editar mediante manejadores
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
Mantenimiento El código fuente está disponible
Documentación
La programación es estructurada y legible,, está documentada en el programa El manual es suficientemente completo para dar mantenimiento al programa Permite consultar la teoría o síntesis de ella cuando se requiere Da pistas metodológicas para resolver las situaciones problemáticas Hay formas de consultar con facilidad los comandos disponibles Los comandos o mecanismos de control se adecuan a las características del usuario Hay consistencia en la forma como se piden las respuestas a los usuarios El programa entiende mensajes abiertos semejantes al mensaje natural Las pantallas NO están sobrecargadas de información La velocidad de desligues de mensajes es apropiada para el usuario El tamaño y tipo de letra permiten leer en forma rápida y comprensivamente Los gráficos y animaciones enriquecen lo que se aprende Las cortinas musicales son agradables Los efectos sonoros fijan la atención , destacan ideas y aspectos claves El vocabulario o terminología es adecuada para el nivel cultural del usuario Los símbolos o íconos utilizados corresponden a los dela disciplina del material La documentación para el usuario – alumno es clara y suficiente La documentación para el usuario – profesor es clara y suficiente La documentación para mantenimiento es clara y suficiente
TA AC TA AC
DA TD NA DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA
AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC TA AC
DA TD NA DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
TA AC
DA TD NA
FORMATO EMEC – 04 Aspectos Positivos en la implementación – mayores cualidades del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ____________ Aspectos negativos en la implementación – mayores debilidades del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________ Uso potencial del MEC ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________ Sugerencia para lograr que el MEC se pueda usar: ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _______________
Formato EMEC – 05 INFORME FINAL EVALUATIVO SOBRE UN MEC
Identificación Título: ___________________________________________________________________ Autor: ___________________________________________________________________ Versión:________________ Fecha de elaboración:________________________________ Distribuidor del MEC: _______________________________________________________ Participantes en la evaluación
Expertos en contenido _____________________________ _________________________________ _____________________________ _________________________________ _____________________________ __________________________________
Fecha de evaluación
Expertos en metodología _____________________________ _________________________________ _____________________________ _________________________________ _____________________________ __________________________________
Fecha de evaluación
Expertos en informática _____________________________ _________________________________ _____________________________ _________________________________ _____________________________ __________________________________
Fecha de evaluación
Coordinador (es) de la evaluación ______________________________________________________________________ ______________________________________________________________________ ______
Síntesis de recomendaciones sobre el material (frecuencia) Recomendaciones E. Contenido E. Metodología
E. Informática
Usarlo con ningún p poco cambio Usarlo solo si se ajusta previamente NO usarlo (ni adquirirlo)
Síntesis de opiniones sobre el material (frecuencia)
Expertos en contenido
excelente Bueno
Regular
Malo
No aplica
excelente Bueno
Regular
Malo
No aplica
excelente Bueno
Regular
Malo
No aplica
Objetivos que persigue Contenidos que incluye Desarrollo del contenido Micromundos para exploración Herramientas para el micromundo Ejemplos que ofrece Ejercicios que propone Retroinformación que provee
Expertos en metodología Objetivos que persigue Sistema de motivación Sistema de refuerzo Actividad del usuario Metodología utilizada Reorientación a actividad usuario Ayudas que ofrece Interfaz de entrada Interfaz de salida
Expertos en informática Funciones de apoyo a los estudiantes Estructura lógica del material Interfaz entre usuario y programa Requerimientos del paquete Mantenimiento del paquete documentación del paquete
Síntesis de aspectos positivos Perspectiva de contenido ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________
Perspectiva de metodológica ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________ Perspectiva de informática ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________
Síntesis de aspectos negativos Perspectiva de contenido ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________
Perspectiva metodológica ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________ Perspectiva informática ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________
Síntesis de sugerencias para lograr que el paquete se pueda utilizar Perspectiva de contenido ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________
Perspectiva metodológica ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________ Perspectiva informática ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ _________