CONFIABILIDAD Es la exactitud de la medición, independientemente de que uno esté realmente midiendo lo que ha querido medir. Es la exactitud con que un test estima los puntajes verdaderos. Deben obtenerse los mismos resultados al volver a medir el rasgo, bajo condiciones similares del objeto o individuo en cuestión. Debe ser investigada empíricamente para cada instrumento. No interesa lo que el test mida, sino solamente saber si el test dará los mismos resultados en medidas repetidas.
Confiabilidad
Tipos
Criterio
Consideraciones
VALIDEZ Es la exactitud con que pueden hacerse medidas significativas y adecuadas con el método estadístico, en el sentido que midan realmente los rasgos que se pretenden medir. Investigar la validez de un instrumento es probar empíricamente que el instrumento mide la variable que se intenta medir en cado caso específico. Cuando examinamos la validez, investigamos si el test cuya confiabilidad es conocida, mide aquello para lo que fue construido.
VALIDEZ
Tipos
Criterio
Consideraciones
VALIDEZ DE LOS TEST ASPECTOS DE LA SEGURIDAD DE LOS PROCEDIMEINTOS DE TEST •
• • •
•
CONFIABILIDAD Exactitud de la medición, independientemente de que uno esté realmente midiendo lo que ha querido medir. Exactitud con que un test estima los puntajes verdaderos Debe ser investigada empíricamente para cada instrumento. Se estima por el acuerdo entre 2 medidas de la misma variable con métodos lo más semejantes posibles entre sí: tests paralelos. Una alta confiabilidad es un requisito necesario pero no suficiente para una alta validez
• • •
VALIDEZ Exactitud con que un instrumento mide lo que pretende medir. Se investiga si el test cuya confiabilidad es conocida, mide aquello para lo que fue construido. Se computa con medidas de la misma variable, realizadas con métodos que sean lo más diferentes posible. Esto es muy evidente en la validez de construcción.
REQUISITOS PARA ESTIMAR LA VALIDEZ DE UN TEST • • •
Saber qué rasgo deseamos que mida – Variable de Criterio Saber qué tan bien corresponden las posiciones de los individuos en la “Distribución de los puntaje obtenidos” a sus posiciones en el “Continuo que representa la Variable de Criterio. En el caso de considerar a la validez como correlación entre las medidas obtenidas del test cuya validez va a ser estimada y otra medida conocida en la Variable de Criterio, la validez se expresa como “Coeficiente de Validez”
CRITERIO Las medidas de criterio usadas para probar la validez de un nuevo instrumento, pocas veces dan una medida exacta de las posiciones de los individuos sobre el continuo de “Criterio Verdadero”.
DIFICULTADES • • • •
No tener una definición concisa del criterio a seguir Estimación de los jueces _ No todas las calificaciones y estimaciones son medida exacta del mismo criterio. dificultades administrativas Infrecuente acceso a los criterios que son expresiones confiables y válidas de la Variable de Criterio.
DATOS • •
Aquellos que en una situación se usan como datos de criterio, pueden en otra ocasión usarse como datos de predicción. Entonces, se necesita probar su Validez de la manera acostumbrada. Datos de Criterio – Contendrán errores causados por la Inconfiabilidad, aunque se usen métodos objetivos y estandarizados.
INCONFIABILIDAD • • • • •
Es un problema serio, sobre todo cuando los únicos datos de criterio disponibles son juicios subjetivos. Puede mantener dentro de límites razonables, y su tamaño puede estimarse con bastante exactitud en los métodos estandarizados. Cuando se estima el grado de Inconfiabilidad, puede introducirse un término de corrección, y estimar el tamaño del Coeficiente de Validez para una medida de criterio completamente confiable. Puede corregirse la Inconfiabilidad de los datos de criterio, pero nunca puede corregirse su baja Validez Para hacer más válidos los datos de criterio, hay que refinar el análisis de la variable que deseamos medir, y relacionar lo más posible la medida de criterio, con lo que consideramos que en su criterio genuino.
CONSIDERACIONES • • • • • •
• • • • •
La validez del test varía de acuerdo con el propósito que use, y el grupo dentro del cual discrimina. Debe tomarse en cuenta lo siguiente: ¿Para quién y para qué es válido el test? Utilizar criterios para diferentes propósitos del test Tener una expresión lo más exacta posible de las posiciones de los individuos en la distribución del criterio verdadero. Es esperable encontrar deficiencias de Confiabilidad y de Validez en los datos de criterio que se usan para estimar la Validez del Test. Al juzgar el valor de algún Coeficiente de Validez, se debe tomar en cuenta que tan estrechamente está relacionado el criterio usado con el verdadero, así como la Confiabilidad de las medidas de criterios obtenidas. El Coeficiente de Validez no siempre da una expresión exacta de la Validez del test. Juzgar al Coeficiente de Validez según el criterio que se ha usado. Un alto coeficiente para la relación entre el test y el criterio no significa necesariamente que el test mida lo que creemos que mide. Al computar los Coeficientes de Validez, deben determinarse de forma independiente los datos del test y los del criterio. Evitar la “Contaminación de Criterio”
TIPOS DE VALIDEZ TIPO
PREDICTIVA
CONCURRENTE
CONTENIDO
CONCEPTO
Computada para predecir las posiciones de los individuos sobre una distribución de la que sólo podemos disponer más tarde. Se expresa con un coeficiente de correlación. La cuestión es la exactitud con que el test predice lo que se intenta predecir. Buena capacidad predictiva presupone buena capacidad de diagnostico. Se expresa por un Coeficiente de Validez. Se usa en situaciones de diagnostico. La cuestión es si el test mide lo que se intenta medir. El coeficiente de Validez indica qué tan adecuados son los datos del test como base de diagnóstico.
Se aplica cuando estimamos el grado en que un test abarca un campo de estudio. Los ítems del test pueden considerarse como una muestra de una población que representa el contenido y las metas del curso.
PROCEDIEMITNO PARA OBTENER EL ÍNDICE DE VALIDEZ Datos de criterio: Consisten en alguna medida del resultado. Computada como un Coeficiente de Validez, necesita estimarse por los test usados en la orientación vocacional y en la selección y clasificación de los individuos para propósitos de adiestramiento o trabajo.
INSTRUMENTOS EN LOS QUE SE OBSERVA LA VALIDEZ Tests de orientación vocacional test de adiestramiento de trabajo
Se dispone de la medida de la variable de criterio en el momento en que se obtienen los resultados del test. Al evaluar los Coeficientes de Validez concurrente los criterios usados varían grandemente. Al igual que en la Predictiva, se determina computando la correlación entre los puntajes del test y las medidas de la Variable de Criterio, y También se expresa por un coeficiente de correlación Se determina por el grado en que la muestra de ítems del test es representativa de la población total. Deben definirse previamente y explícitamente las metas del curso, el material que los alumnos deberán aprender, la importancia de las diferentes partes del curso, etc. Esta Validez NO puede expresarse por un Coeficiente de Validez.
Diagnósticos Clínicos
Test de aprovechamiento escolar.
TIPOS DE VALIDEZ TIPO
CONSTRUCCIÓN
CONCEPTO
Concepto creado en 1954. No se expresa por un solo coeficiente que represente la correlación entre el test y las medidas de criterio. No puede resumirse en una sola medida. Este concepto es una aplicación del método deductivo (usado en toda la investigación científica), al problema de evaluar la exactitud de las predicciones, basándose en un test. Este término ha sido ampliamente aceptado, pero se ha discutido acerca de las ventajas de haberlo introducido.
PROCEDIEMITNO PARA OBTENER EL ÍNDICE DE VALIDEZ Se parte de una variable definida lógicamente. Ej. Agresividad latente). Esta variable se incluye como construcción lógica en un sistema de conceptos, al cual pertenecen todos los conceptos y donde las relaciones son explicadas por una teoría, pueden derivarse ciertas consecuencias prácticas acerca del resultado del test bajo ciertas condiciones, y estas condiciones pueden probarse. Si el resultado de una serie de estos test es el esperado, se dice que el test tiene Validez de Construcción para la variable que se examina. (Ej. Examinar la Validez de Construcción del tets proyectivo para determinar variable de “agresividad latente”. Se pueden derivar 2 hipótesis de la teoría utilizada, se evalúa esta hipótesis empíricamente. Después, se continúa el proceso de validación infiriendo otras consecuencias lógicas se presentan en la prueba empírica. Si los resultados están de acuerdo con lso resultados predichos, se dice que las estimaciones de los valores de los individuos en la variable “agresividad latente” tiene Validez de Construcción
INSTRUMENTOS EN LOS QUE SE OBSERVA LA VALIDEZ Tests que miden rasgos para los cuales no hay un criterio externo, como en Psicología de la Personalidad Ej. Agresividad latente.
CONSIDERACIONES SOBRE LA VALIDEZ DE CONSTRUCCIÓN • •
•
•
•
•
•
•
No se mide exactamente la variable definida, sino la variable que es definida operacionalmente por el test. Si usar otro instrumento se prueban las hipótesis acerca de la variable definida conceptualmente, al medida que se obtiene será definida operacionalmente por este nuevo instrumento de prueba. Si se demuestra que esta medida tiene buena Validez de Construcción, se puede usar para estimar las posiciones de los individuos en el continuo de la variable definida conceptualmente. Si no se comprueban empíricamente las consecuencias derivadas de la teoría del concepto a validar, el instrumento o la teoría podrán ser reformulados, después de varis predicciones incorrectas. No puede resumirse en una sola medida, y la Validez se determina mostrando que las consecuencias que pueden predecirse sobre la base de la teoría con respecto a los datos del test, pueden básicamente confirmarse por una serie de pruebas. Puesto que este concepto es una aplicación del método deductivo, se lleva a cabo de acuerdo al procedimiento clásico: teoría-deducción-hipótesis-prueba experimental-datos que desmienten o confirman la hipótesis. Puede probarse de varias maneras. Los métodos más comunes son: 1. Estudio de las diferencias entre grupos que deberían diferir de acuerdo con la teoría de la variable. 2. Estudio de cómo los resultados del test son influidos por los cambios en los individuos o en el medio. Estos cambios deberían influir o dejar de influir en las posiciones de los individuos sobre el continuo. 3. Correlación entre Tests diferentes que se supone que miden la misma variable. Hay que cuidar que las correlaciones entre las medidas no surjan como resultado de semejanzas en el método. 4. Correlaciones entre ítems aislados o diferentes partes del test. Para poder considerar que estas diferentes partes del test miden una variable unitaria, deben tener una alta intercorrelación. Son muy importantes las diferencias de los métodos en estimaciones basadas sobre diferentes métodos proyectivos en la Validez de Construcción. Esto sirve para que las intercorrelaciones obtenidas puedan interpretarse como expresión de la Validez de Construcción. Cada método tiene patrones de estímulo y tipos de respuesta específicos.
VARIANZA SISTEMÁTICA Puede dividirse en: •
Varianza debida a las propiedades del método usado
•
Varianza debida a las características de que se trate de los individuos examinados.
VARIANZA SISTEMÁTICA • •
Es el resultado de semejanzas en el método Conduce a sobreestimar la Validez de Construcción, cuando ésta sea probada computando las correlaciones entre los puntajes obtenidos con diferentes métodos.
REQUISITOS PARA UN PROCESO DE VALIDACIÓN COMPLETAMENTE SATISFACTORIO Son muy importantes en la Validez de Construcción. Pueden aplicarse a experiencias de Validez Predictiva y Validez Concurrente. 1. Coeficientes de correlación entre las medidas de la misma variable con diferentes métodos, deben ser significativamente más grandes que cero. (criterio generalmente suficiente). 2. Las medidas de una variable deben correlacionarse más estrechamente con medidas del mismo tipo que son hechas con otro método, que con medidas de otro tipo que son hechas con el mismo método. De está manera, los Coeficientes de Validez de cierta variable serán más grandes que los coeficientes de la misma variable que estén dentro de los triángulos encerrados por líneas continuas en el esquema de la Matriz Multimétodo- multivariable. 3. El Coeficiente de Validez para una variable debe ser más grande que la correlación entre las medidas de esta variable y las medidas de todas las otras variables hechas con otro método. De esta forma, un Coeficiente de Validez será mayor que los coeficientes correspondientes dentro del mismo renglón y columna del triángulo encerrado por líneas discontinuas de la Matriz mencionada. 4. La magnitud de los coeficientes para la correlación entre variables diferente debe tener la misma forma, independientemente de que se use el mismo método o métodos diferentes. Este requisito parece no ser realista e imposible de mantener rigurosamente, debido a la dificultad de juzgar el efecto de la in-confiabilidad en una matriz del tamaño con qué frecuencia se trata.
• •
Los requisitos no pueden ser considerados sin tomar en cuenta la confiabilidad de los métodos. Deben tolerarse ciertas deficiencias en el cumplimiento exacto de los requisitos para la Validez Discriminante si la In-confiabilidad afecta los resultados.
VALIDEZ CONVERGENTE Un método tiene este tipo de Validez cuando se satisface un acuerdo significativo entre las medidas del mismo tipo con diferentes métodos.
VALIDEZ DISCRIMINANTE Un método tiene este tipo de Validez cuando las medidas han satisfecho el segundo y el tercer requisito.