Construcción de un test de rendimiento tipico análisis de sus propiedades psicisométricas

Segunda práctica 2004-5 (pr2_5.doc)

PRÁCTICA Nº 2: CONSTRUCCIÓN DE UN TEST DE RENDIMIENTO TÍPICO: ANÁLISIS DE SUS PROPIEDADES PSICOMÉTRICAS

1

Segunda práctica 2004-5 (pr2_5.doc)

2

ÍNDICE

1 OBJETIVOS

3

2 PROCEDIMIENTO

3

2.1 Composición del grupo de prácticas

3

2.2 Definición del rasgo a medir y generación de ítems

3

2.3 Variables criterio

3

2.4 Hoja de recogida de respuestas

4

2.5 Creación del fichero de datos

5

2.6 Estudio psicométrico del test

6

2.6.1 Análisis de los ítems

6

2.6.2. Estudio de las propiedades psicométricas del test definitivo

12

2.6.2.1 Fiabilidad

12

2.6.2.2 Análisis factorial

15

2.6.2.3 Variables criterio

26

2.6.2.4 Baremos

28

2.7 Elaboración del informe

29

3 EVALUACIÓN

32

4 HOJA DE RECOGIDA DE RESPUESTAS

33

5 HOJA DE VALORACIÓN

34

Segunda práctica 2004-5 (pr2_5.doc)

3

1 OBJETIVOS Con la realización de esta práctica se pretende que el alumno aplique los contenidos de la Teoría Clásica de los Tests, realizando todos los pasos que requiere la construcción de un test de rendimiento típico: elección del rasgo a medir, generación de los ítems, aplicación a un grupo normativo, selección de ítems, cálculo de la fiabilidad, estudios de validez, y baremación. El análisis de datos se llevará a cabo con el programa SPSS en el aula de informática de la Facultad.

Una vez concluido el análisis de datos, los alumnos deberán confeccionar un informe que detalle el procedimiento seguido para la creación de su test.

Se dedicarán varias clases a la orientación y supervisión del proceso anterior, desde el análisis de datos hasta la elaboración del informe.

2 PROCEDIMIENTO 2.1 COMPOSICIÓN DEL GRUPO DE PRÁCTICAS Cada grupo de prácticas estará integrado por un mínimo de 3 personas y un máximo de 5, todas ellas matriculadas en el mismo grupo. Se procurará que al menos uno de los integrantes tenga conocimientos básicos de informática (Windows, Word, SPSS, etc.).

2.2 DEFINICIÓN DEL RASGO A MEDIR Y GENERACIÓN DE ÍTEMS Cada grupo deberá elegir (libremente) y definir el rasgo que desee medir, teniendo en cuenta que el test debe de ser de rendimiento típico. Es muy conveniente que el rasgo elegido tenga un significado psicológico claro. Si no lo tiene, será más difícil su definición, la obtención de predicciones, y la comparación e interpretación de los resultados. A continuación se procederá a generar ítems adecuados al mismo. Hemos fijado el número de ítems y el formato de respuesta. El TEST INICIAL debe estar formado por 15 ítems. El formato de respuesta será de 5 CATEGORÍAS ORDENADAS.

2.3 VARIABLES CRITERIO Para ayudarnos a saber qué mide nuestro test vamos a introducir en la hoja de recogida de respuestas una o más variables criterio. En concreto, además de los 15 ítems, la

Segunda práctica 2004-5 (pr2_5.doc)

4

hoja de recogida de respuestas contendrá ciertos ítems (no más de cinco), que podrán ser de los siguientes 4 tipos: 1) Ítems extraídos de tests que se sabe que miden un rasgo asociado al constructo que queremos medir con nuestro test. Por ejemplo, si el test que estamos elaborando pretende medir liderazgo, puesto que las personas líderes suelen ser extrovertidas, en la hoja de recogida de respuestas podríamos incluir, como variables criterio, cinco ítems tomados de un test de extroversión.

2) Ítems que muestren la conducta real (no la conducta verbal) que se sabe que está asociada al rasgo que pretendemos medir. Por ejemplo, si queremos medir actitud ante el consumo de marihuana, podríamos incluir como variables criterio preguntas como las siguientes: ¿consumes marihuana? Nunca ( ) A veces ( ) Con frecuencia ( ) Muy frecuentemente ( ); ¿has consumido alguna vez heroína, éxtasis o cocaína? Si ( ) No ( ),..

3) Ítems con información biográfica que se sepa que está relacionada con la variable que queremos medir, como edad, género, estudios,..

4) Una combinación de los tres tipos anteriores. Por ejemplo, si nuestro test pretende medir la actitud ante el consumo de alcohol en estudiantes de 13 a 16 años, podríamos incluir como ítems criterio algunos relativos a si se consume o no alcohol, y otros de tipo biográfico, como la edad, pues se sabe que a esas edades los estudiantes de más edad tienen una actitud más favorable.

La elección de las variables criterio es tanto más sencilla cuanta más y mejor información se tenga del rasgo que se pretende medir con el test. Conviene que consultéis a vuestro profesor si son adecuados el rasgo y variables criterio elegidos.

2.4 HOJA DE RECOGIDA DE RESPUESTAS La estructura que debe tener la hoja en la que vamos a administrar el test se muestra en las páginas finales de este documento. La recogida de datos se facilita considerablemente si sólo se utiliza una hoja de papel para cada test. Se ruega la utilización de una sola hoja.

La información que debe contener es la siguiente: a) Nombre del test (opcional) b) Autores (opcional) c) Instrucciones del test (si son necesarias)

Segunda práctica 2004-5 (pr2_5.doc)

5

d) Los 15 ítems del test e) Instrucciones de las variables criterio (si son necesarias) f) Los ítems criterio (no más de cinco ítems) La aplicación de los tests se llevará a cabo durante las horas lectivas. Cada clase deberá responder a los tests de sus grupos. Esto permitirá disponer a cada grupo de una muestra de unas 100 personas. Para la aplicación del test, cada grupo deberá venir provisto de 110 copias de su test que entregará a sus compañeros para ser debidamente cumplimentadas.

2.5 CREACIÓN DEL FICHERO DE DATOS Después de aplicar el test tenemos que construir un fichero de datos, en el Editor de Datos del SPSS, que denominaremos PRAC2.SAV. En dicho fichero se incluirán las respuestas de la muestra a todos los ítems.

Lo primero que tenemos que tener en cuenta es el procedimiento de cuantificación de las respuestas, siguiendo las pautas indicadas en clase: a) Los ítems tienen un formato de respuesta de 5 categorías ordenadas. Deberemos decidir si la cuantificación de un ítem va de 1 a 5 o de 5 a 1 dependiendo, como hemos visto en clase, de si el ítem mide de manera directa o inversa el rasgo que interesa. c) Si una persona no responde a un ítem o marca dos alternativas, le asignaremos el valor “9” en ese ítem. Ésta va a ser la manera de codificar los valores perdidos (o “missings”) en el SPSS. PRAC2.SAV es un fichero SPSS de datos donde los sujetos son las filas y los ítems las columnas o variables, de tal manera que cada fila recoge las respuestas de una persona a todos los ítems. Por tanto, el fichero tiene tantas filas como sujetos hayan respondido el test.

La columna relativa a cada ítem debe reflejar las respuestas de todos los sujetos a ese ítem.

Cada fila debe empezar por el número de codificación del sujeto. Después del número de codificación, se van grabando las respuestas a los ítems. Por ejemplo, supóngase que disponemos de las respuestas de 100 sujetos a un test de 15 ítems y dos ítems criterio. Los datos de los tres primeros sujetos son estos: 1 1 5 4 1 2 3 1 1 4 4 3 3 1 1 5 24 52 2 2 3 3 1 2 4 1 3 3 1 2 4 2 4 3 39 23 3 1 5 4 3 2 3 1 1 4 1 3 4 1 1 5 36 43

Segunda práctica 2004-5 (pr2_5.doc)

6

El ejemplo muestra las respuestas dadas por las tres primeras personas que respondieron los 15 ítems de un test de rendimiento típico, formado por ítems con formato de respuesta de categorías ordenadas que se valoran de 1 a 5 o de 5 a 1, según si el ítem mide de manera directa o inversa el rasgo que interesa. La primera columna contiene los códigos de los sujetos. Las respuestas en blanco o incorrectas (dobles respuestas, por ejemplo) se codifican con “9”. Las dos últimas columnas contienen las respuestas a los ítems criterio (dos, en este ejemplo). Introducidos estos datos, el Editor de Datos de SPSS los mostrará como sigue:

Si en algún ítem hay datos perdidos, codificados con “9”, habrá que indicarlo al programa, pulsando en la solapa ‘Vista de variables’ y en ‘Perdidos’:

Cuando se tenga el archivo PRAC2.SAV completo, se grabará con esta denominación en un disquete de 3½ pulgadas. El archivo que vamos a analizar en las páginas siguientes puede descargarse de las páginas de docencia de los profesores. Su nombre es PRAC2.SAV.

2.6 ESTUDIO PSICOMÉTRICO DEL TEST El estudio de las cualidades psicométricas del test requiere dos fases: una de análisis de ítems y otra de estudio de las propiedades del test definitivo. Ambas se realizarán en al aula

Segunda práctica 2004-5 (pr2_5.doc)

7

de informática.

2.6.1 Análisis de los ítems Para cada ítem vamos a obtener diferentes datos: − Media y varianza − Índice de homogeneidad corregido (HC) o correlación ítem-test corregida (es decir, eliminando del test el ítem cuya correlación se está hallando).

A partir de estos resultados, debemos depurar el test inicial, eliminando los ítems que no resulten apropiados y cambiando la codificación de alguno, si fuese necesario. La selección se hará atendiendo principalmente a los índices HC. Eliminaremos los ítems con valores de HC próximos a cero. También puede eliminarse algún ítem que tenga una varianza muy pequeña.

A continuación, estudiaremos las garantías que ofrece el test definitivo. En concreto, considerando únicamente las respuestas a los ítems que forman el test definitivo, vamos a obtener: a) Su coeficiente de fiabilidad, por la técnica de dos mitades. b) Su coeficiente α de Cronbach. c) Un estructura factorial para conocer la validez factorial del test, aplicando dos procedimientos distintos de análisis factorial. d) Las relaciones existentes entre las puntuaciones en el test y las variables criterio. e) Un baremo en centiles.

Para llevar a cabo el análisis INICIAL de los 15 ítems en el SPSS se selecciona el menú Analizar -> Escalas -> Análisis de fiabilidad. Seleccionamos los quince ítems y quedará la siguiente ventana como muestra la gráfica:

Segunda práctica 2004-5 (pr2_5.doc)

8

Figura 4.

Para el análisis de ítems se pulsa el botón Estadísticos y aparece el siguiente cuadro de diálogo. Se marcan las opciones que aparecen señaladas:

Si se ejecutan las selecciones que aparecen señaladas en el cuadro de diálogo de la figura anterior, el SPSS proporciona una salida de resultados que contiene toda la información necesaria para realizar el análisis de los ítems y determinar los que constituyen el test definitivo. Los resultados correspondientes a los datos del ejemplo se muestran en las tablas siguientes.

Como puede verse en la Tabla 1, en primer lugar se obtienen una serie de estadísticos descriptivos para cada ítem: la media, la desviación típica y el número de personas que han respondido el ítem. Las medias de nuestro ejemplo están comprendidas entre 1.64 del ítem 13

Segunda práctica 2004-5 (pr2_5.doc)

9

y 3.59 del ítem 3. El ítem 15 tiene la mayor desviación típica, 1.396.

Tabla 1. Estadísticos descriptivos para los 15 ítems del test inicial.

Estadísticos de los elementos

x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 x14 x15

Media 1.65 3.35 3.59 1.86 2.57 3.52 1.66 2.69 3.45 1.98 2.61 3.49 1.64 2.57 3.36

Desviación típica .796 1.201 1.296 1.064 .844 .689 .794 1.169 1.242 1.073 .737 .703 .823 1.208 1.396

N 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100

La relación entre cada ítem y el test se muestra en la Tabla 2. La primera columna contiene la puntuación media en el test si eliminamos el ítem. Por ejemplo, si eliminamos el ítem 1 la media del test sería 38.34. La siguiente columna es la varianza del test si eliminamos el ítem. Por ejemplo, si eliminamos el ítem 5 la varianza del test sería 32.63. La columna tercera contiene el índice de homogeneidad corregido; es decir, la correlación entre la puntuación en un ítem y la suma de las puntuaciones en los ítems restantes. Por ejemplo, el índice de homogeneidad corregido para el ítem 10 es 0.192, lo que nos indica que no hay mucha relación entre este ítem y los restantes. La cuarta columna contiene la correlación múltiple al cuadrado; es decir, el grado en que se puede predecir la puntuación en el ítem a partir de las puntuaciones en los restantes ítems. Tal y como era de esperar, el ítem 10 no se predice bien a partir del resto de los ítems. Su correlación múltiple al cuadrado es sólo 0.168.

La última columna contiene el coeficiente α de Cronbach si eliminamos el ítem. Por ejemplo, eliminar el ítem 10 provoca que el coeficiente α de Cronbach pase a ser 0.620 en el test de 14 ítems.

Tabla 2. Estadísticos total - elemento.

Segunda práctica 2004-5 (pr2_5.doc)

10

Estadísticos total-elemento

x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 x14 x15

Media de la escala si se elimina el elemento 38.34 36.64 36.40 38.13 37.42 36.47 38.33 37.30 36.54 38.01 37.38 36.50 38.35 37.42 36.63

Varianza de la escala si se elimina el elemento 34.166 45.505 28.970 36.700 32.630 33.726 32.668 31.545 29.968 34.757 33.147 35.606 35.482 32.691 36.660

Correlación elemento-tot al corregida .380 -.532 .551 .039 .518 .517 .555 .413 .502 .192 .547 .266 .222 .303 -.016

Correlación múltiple al cuadrado .855 .842 .758 .166 .740 .549 .749 .891 .590 .168 .748 .470 .831 .818 .260

Alfa de Cronbach si se eleimina el elemento .596 .735 .549 .644 .576 .585 .574 .581 .561 .620 .578 .611 .615 .602 .667

El coeficiente α de Cronbach del test inicial, compuesto por 15 ítems, aparece en la Tabla 3. En nuestro datos, alcanza un valor de 0.627.

Tabla 3. Coeficiente α de Cronbach del test inicial.

Estadísticos de fiabilidad

Alfa de Cronbach .627

Alfa de Cronbach basada en los elementos tipificados .692

N de elementos 15

Para obtener el test definitivo deberemos eliminar los ítems que peor se comporten. Lo primero que llama la atención en la Tabla 2 es la alta y negativa correlación ítem-test del ítem 2 (-0.532). Hay otra correlación negativa, pero muy próxima a cero. La alta correlación negativa del ítem 2 nos indica que está mal codificado. Recodificamos el ítem 2 (convertimos la puntuación 1 en 5, la 2 en 4,.. la 5 en 1) y pasará a ser directo si era inverso, o al contrario.

Guardamos el nuevo archivo de datos con el nombre PRAC2R.SAV. Volvemos a aplicar el

Segunda práctica 2004-5 (pr2_5.doc)

11

programa ESCALAS con el nuevo archivo de datos. El nuevo coeficiente alfa obtenido se muestra en la Tabla 4.

Tabla 4. Coeficiente α de Cronbach del test inicial tras recodificar el ítem 2.

Estadísticos de fiabilidad

Alfa de Cronbach .765

Alfa de Cronbach basada en los elementos tipificados .787

N de elementos 15

Tabla 5. Estadísticos total – elemento tras recodificar el ítem 2.

Estadísticos total-elemento

x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 x12 x13 x14 x15

Media de la escala si se elimina el elemento 37.64 36.64 35.70 37.43 36.72 35.77 37.63 36.60 35.84 37.31 36.68 35.80 37.65 36.72 35.93

Varianza de la escala si se elimina el elemento 51.041 45.505 43.667 55.258 48.042 49.573 48.518 43.758 45.590 51.408 48.866 53.192 53.058 45.032 55.682

Correlación elemento-tot al corregida .342 .532 .597 -.052 .582 .569 .580 .675 .502 .195 .597 .183 .152 .559 -.099

Correlación múltiple al cuadrado .855 .842 .758 .166 .740 .549 .749 .891 .590 .168 .748 .470 .831 .818 .260

Alfa de Cronbach si se eleimina el elemento .755 .735 .726 .789 .737 .742 .738 .720 .738 .768 .739 .765 .768 .732 .807

El coeficiente alfa pasa a ser 0.765, y, como muestra la Tabla 5, no hay correlaciones negativas importantes. Vamos a eliminar del test los ítems que correlacionen nada o muy poco con él. Hay que eliminar sin duda los ítems 4 y 15, y podrían eliminarse además el 10, 12 y 13. Eliminaremos los cinco, dado que

Segunda práctica 2004-5 (pr2_5.doc)

12

a) Son los que tienen menores valores del índice de homogeneidad corregido. b) Solo esos cinco ítems cumplen que, al ser eliminados, el coeficiente alfa del test de 14 ítems resultante es igual o mayor que el del test de 15 ítems, como muestra la última columna de la Tabla 5. c) Los índices de homogeneidad son correlaciones. Un índice de correlación es significativamente distinto de cero cuando r n ≥ 1.96 (véase Pardo y San Martín1, 1998), siendo n el tamaño de la muestra. En nuestro ejemplo, con n = 100, son significativamente distintos de cero los índices de homogeneidad mayores que 1.96/ 100

= 0.196. Sólo los cinco ítems eliminados tienen índices de

homogeneidad no significativos.

El test definitivo de nuestro ejemplo estará compuesto, por tanto, por los 10 ítems: 1, 2, 3, 5, 6, 7, 8, 9, 11 y 14. El análisis psicométrico se hará del test final acabado de definir. La Tabla 6 contiene los índices de homogeneidad corregidos del test final de 10 ítems. Todos son positivos y significativos.

Tabla 6. Estadísticos total – elemento de los diez ítems del test final.

Estadísticos total-elemento

x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

Media de la escala si se elimina el elemento 25.31 24.31 23.37 24.39 23.44 25.30 24.27 23.51 24.35 24.39

Varianza de la escala si se elimina el elemento 45.509 36.600 36.518 40.180 43.057 42.778 35.755 38.576 41.179 36.584

Correlación elemento-tot al corregida .199 .705 .644 .691 .526 .469 .798 .529 .693 .700

Correlación múltiple al cuadrado .695 .820 .715 .735 .500 .723 .885 .575 .723 .797

Alfa de Cronbach si se eleimina el elemento .881 .847 .854 .851 .863 .866 .838 .864 .853 .847

2.6.2 Estudio de las propiedades psicométricas del test definitivo 2.6.2.1 Fiabilidad 1

Pardo, A. y San Martín, R. (1998). Análisis de datos en psicología II. Madrid: Pirámide.

Segunda práctica 2004-5 (pr2_5.doc)

13

Entrando de nuevo en el menú Analizar -> Escalas -> Análisis de fiabilidad, obtendremos los estadísticos para el test definitivo (seleccionando sólo los ítems del test final).

La Tabla 7 contiene la media, varianza y el coeficiente α del test final. En el test inicial, una vez recodificado el ítem 2, el coeficiente α era de 0.765. En el test final, a pesar de ser más corto, el coeficiente α alcanza un valor de 0.870. Por lo tanto, al eliminar los cinco ítems hemos mejorado la consistencia interna del test.

Tabla 7. Media, varianza y coeficiente α de Cronbach del test final.

Estadísticos de la escala Media 26.96

Varianza 48.281

Desviación típica 6.948

N de elementos 10

Estadísticos de fiabilidad

Alfa de Cronbach .870

Alfa de Cronbach basada en los elementos tipificados .872

N de elementos 10

El coeficiente alfa obtenido (0.87) es un valor alto, indicando que el test tiene alta consistencia interna. Los ítems covarían fuertemente entre sí y, en general, todos ayudan a medir lo que mide el test.

También podemos informar sobre la consistencia interna del test calculando el coeficiente de fiabilidad por el método de las dos mitades. Para ello, se selecciona el menú Analizar -> Escalas -> Análisis de fiabilidad.

La salida contiene un resumen de los estadísticos que obtenemos al dividir la escala en dos partes. La parte 1 está formada por los 5 primeros ítems (1, 2, 3, 5 y 6) y la parte 2 por los 5 últimos de la lista de ítems introducida en la casilla “Elementos” (7, 8, 9, 11 y 14).

La Tabla 8 muestra datos descriptivos de las dos mitades. Es útil para determinar, por

Segunda práctica 2004-5 (pr2_5.doc)

14

ejemplo, si las dos formas tienen una media y varianza similar, como habría de ocurrir si son formas paralelas. Con nuestros datos, vemos que tanto las medias (2.796 y 2.596), como las varianzas (0.988 y 1.109) no parecen demasiado diferentes. A estos valores pueden aplicarse los contrastes estadísticos estudiados para determinar si la diferencia es o no significativa.

Tabla 8. Estadísticos resumen de las dos mitades.

Estadísticos de resumen de los elementos

Medias de los elementos Varianzas de los elementos Correlaciones inter-elementos

Parte 1 Parte 2 Ambas partes Parte 1 Parte 2 Ambas partes Parte 1 Parte 2 Ambas partes

Media 2.796 2.596 2.696 .988 1.109 1.049 .315 .422 .405

Mínimo 1.650 1.660 1.650 .474 .543 .474 -.016 .157 -.033

Máximo 3.590 3.450 3.590 1.679 1.543 1.679 .770 .877 .893

Rango 1.940 1.790 1.940 1.204 1.000 1.204 .786 .720 .926

Máximo/ mínimo 2.176 2.078 2.176 3.539 2.840 3.539 -48.789 5.598 -26.902

Varianza .635 .404 .473 .287 .232 .235 .061 .046 .065

N de elementos 5a 5b 10 5a 5b 10 5a 5b 10

Se ha calculado la matriz de covarianzas y se utiliza en el análisis. a. Los elementos son: x1, x2, x3, x5, x6. b. Los elementos son: x7, x8, x9, x11, x14.

El coeficiente de fiabilidad obtenido por este procedimiento se muestra en la Tabla 9.

La correlación entre las dos mitades del test vale 0.892. Aplicando la fórmula de SpearmanBrown, se obtiene que el coeficiente de fiabilidad de nuestro test vale 0.943. Por lo tanto, el 94% de la varianza de las puntuaciones observadas es varianza de las puntuaciones verdaderas. El 6% se debe al error de medida. Es, por tanto, un test con alta fiabilidad y además de sólo 10 ítems.

Tabla 9. Coeficiente de fiabilidad obtenido por el método de dos mitades.

Estadísticos de fiabilidad Alfa de Cronbach

Parte 1 Parte 2 N total de elementos

Correlación entre formas Coeficiente de Spearman-Brown

Longitud igual Longitud desigual

Dos mitades de Guttman a. Los elementos son: x1, x2, x3, x5, x6. b. Los elementos son: x7, x8, x9, x11, x14.

Valor N de elementos Valor N de elementos

.685 5a .779 5b 10 .892 .943 .943 .937

Segunda práctica 2004-5 (pr2_5.doc)

15

2.6.2.2 Estudio factorial Podemos hacer dos estudios. Para ello, se selecciona el menú Analizar -> Reducción de datos -> Análisis factorial. En el primer estudio decidiremos cuantos factores retener utilizando el método de máxima verosimilitud para la extracción de factores. Al utilizar este método vamos a obtener los factores necesarios para explicar la varianza común entre los 10 ítems. Este método de extracción lleva a cabo un contraste estadístico que informa de si los factores extraídos dan cuenta adecuadamente de la varianza común entre los ítems.

Empezamos pidiendo al programa que extraiga un solo factor. La ventana quedará como se muestra a continuación:

El contraste (véase Tabla 10) resulta significativo, por lo que no basta un factor para dar cuenta de la varianza común. Pedimos dos factores y también resulta significativo (Tabla 11). Pedimos tres, y entonces se alcanza un resultado no significativo (Tabla 12). Por lo tanto, con tres factores podemos dar cuenta de la varianza común entre los 10 ítems.

Tabla 10. Prueba de bondad de ajuste con un factor.

Prueba de la bondad de ajuste Chi-cuadrado 364.072

gl 35

Sig. .000

Segunda práctica 2004-5 (pr2_5.doc)

16

Tabla 11. Prueba de bondad de ajuste con dos factores.

Prueba de la bondad de ajuste Chi-cuadrado 151.401

gl 26

Sig. .000

Tabla 12. Prueba de bondad de ajuste con tres factores.

Prueba de la bondad de ajuste Chi-cuadrado 19.863

gl 18

Sig. .341

La Tabla 13 muestra (columnas 5, 6 y 7) la varianza explicada por los tres factores. El primero explica el 44.248% de la varianza común. El segundo, el 19.076%, y el tercero, el 13.949%. Los tres juntos explican el 77.274% de la varianza común, que es un porcentaje elevado.

A la vista de los resultados anteriores, se aprecia que el factor 1 es el más

importante. Para interpretar los factores acudimos a las saturaciones (Tabla 14) Tabla 13. Varianza explicada por los 3 factores no rotados.

Segunda práctica 2004-5 (pr2_5.doc)

17

Varianza total explicada

Factor 1 2 3 4 5 6 7 8 9 10

Autovalores iniciales % de la varianza Total % acumulado 4.848 48.479 48.479 2.180 21.798 70.277 1.330 13.300 83.577 .454 4.545 88.122 .361 3.608 91.731 .232 2.324 94.054 .200 1.996 96.050 .174 1.743 97.793 .143 1.427 99.221 .078 .779 100.000

Sumas de las saturaciones al cuadrado de la extracción % de la varianza Total % acumulado 4.425 44.248 44.248 1.908 19.076 63.324 1.395 13.949 77.274

Método de extracción: Máxima verosimilitud.

Tabla 14. Matriz factorial (saturaciones) de los tres factores sin rotar.

Matriz factoriala

1 x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

.206 .884 .616 .635 .521 .490 .951 .477 .644 .871

Factor 2 .854 -.010 -.347 -.365 .461 .705 .005 -.315 -.343 .001

3 .315 -.270 .525 .503 .161 .210 -.198 .521 .502 -.247

Método de extracción: Máxima verosimilitud. a. 3 factores extraídos. Requeridas 5 iteraciones.

La suma de las saturaciones al cuadrado de la primera columna es 4.425 (varianza explicada por el primer factor). La suma de los de la segunda es 1.908, y la de los de la tercera, 1.395. Estos valores aparecen también en la columna 5 de la Tabla 13. Si sumamos las saturaciones al cuadrado, por filas, obtenemos la comunalidad o aportación a la varianza

Segunda práctica 2004-5 (pr2_5.doc)

18

común de cada ítem. La comunalidad del ítem 1 es 0.870, la del 2 es 0.854…. La Tabla 15 muestra las comunalidades de cada ítem obtenidas a partir de los factores extraídos (tercera columna) y las iniciales2. La mayor comunalidad corresponde al ítem 8, pues un 94.4% de su varianza es varianza común (y solo un 5.6% es unicidad). El ítem con menos comunalidad y mas unicidad es el ítem 6. Sería el menos relacionado con los demás ítems.

Tabla 15. Comunalidades tras la extracción de tres factores.

Comunalidades x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

Inicial .695 .820 .715 .735 .500 .723 .885 .575 .723 .797

Extracción .870 .854 .776 .790 .510 .781 .944 .598 .785 .820

Método de extracción: Máxima verosimilitud.

A la hora de interpretar los factores, la matriz de saturaciones anterior no ayuda mucho, pues teniendo en cuenta las saturaciones mayores de 0.4, sin considerar el signo, vemos que casi todos los ítems saturan en más de un factor (véase Tabla 16). En la tabla se han sombreado las saturaciones mayores, en valor absoluto, de 0.4.

Tabla 16. Matriz factorial (saturaciones) de los tres factores sin rotar.

2

Son las comunalidades de partida, que el análisis factorial intenta explicar. Son las correlaciones múltiples al cuadrado entre cada ítem y los otros nueve. De hecho, la columna Inicial de la Tabla 15 coincide con la columna Correlación múltiple al cuadrado de la Tabla 6.

Segunda práctica 2004-5 (pr2_5.doc)

19

Matriz factoriala 1 x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

.206 .884 .616 .635 .521 .490 .951 .477 .644 .871

Factor 2 .854 -.010 -.347 -.365 .461 .705 .005 -.315 -.343 .001

3 .315 -.270 .525 .503 .161 .210 -.198 .521 .502 -.247

Método de extracción: Máxima verosimilitud. a. 3 factores extraídos. Requeridas 5 iteraciones.

Se suele facilitar la interpretación si pedimos la matriz factorial rotada. De pedir la rotación ortogonal Varimax tendremos una ventana como la mostrada a continuación:

Las varianzas explicadas por los tres factores rotados aparecen en las columnas 8, 9 y 10 de la Tabla 17.

Tabla 17. Varianza explicada por los tres factores sin rotar y rotados.

Segunda práctica 2004-5 (pr2_5.doc)

20

Varianza total explicada Sumas de las saturaciones al Suma de las saturaciones al cuadrado de la extracción cuadrado de la rotación Autovalores iniciales % de la % de la % de la Factor Total varianza % acumulado Total varianza % acumulado Total varianza % acumulado 1 4.848 48.479 48.479 4.425 44.248 44.248 2.989 29.889 29.889 2 2.180 21.798 70.277 1.908 19.076 63.324 2.680 26.800 56.689 3 1.330 13.300 83.577 1.395 13.949 77.274 2.058 20.585 77.274 4 .454 4.545 88.122 5 .361 3.608 91.731 6 .232 2.324 94.054 7 .200 1.996 96.050 8 .174 1.743 97.793 9 .143 1.427 99.221 10 .078 .779 100.000 Método de extracción: Máxima verosimilitud.

Vemos que el total de varianza común explicada por los tres factores rotados (columna 10) sigue siendo el 77.274%. Sin embargo, los tres factores rotados ortogonalmente explican porcentajes de varianza similares, a diferencia de lo que ocurre con los factores no rotados, como se aprecia al comparar las columnas 5 y 8.

La Tabla 18 muestra las saturaciones de los ítems en los tres factores rotados. Se han sombreado las casillas con saturaciones mayores de 0.4, en valor absoluto. Ahora, cada ítem satura solo en un factor, lo que ha de facilitar su interpretación. Los ítems 3, 5, 9 y 11 definen el factor 1. Los ítems 2, 8 y 14, el factor 2. Y los ítems 1, 6 y 7, el factor 3. La suma de las saturaciones al cuadrado, por columnas, nos da la varianza que explica cada factor rotado (valores ya vistos en la columna 8 de la Tabla 17). La suma de las saturaciones al cuadrado por filas nos da las comunalidades de cada ítem (ya vistas en la Tabla 15), pues la comunalidad del un ítem no cambia si los factores se rotan ortogonalmente.

Tabla 18. Matriz factorial (saturaciones) de los factores rotados.

Segunda práctica 2004-5 (pr2_5.doc)

21

Matriz de factores rotadosa

x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

1 -.057 .235 .850 .851 .162 .072 .314 .764 .844 .240

Factor 2 -.042 .881 .225 .253 .321 .257 .896 .111 .261 .857

3 .930 .150 .058 .039 .617 .842 .208 .045 .062 .164

Método de extracción: Máxima verosimilitud.

Método de rotación: Normalización Varimax con Kaiser. a. La rotación ha convergido en 5 iteraciones.

Veamos ahora el segundo estudio factorial que podemos hacer. En el análisis factorial visto en el primer estudio se pretende reproducir la matriz de correlaciones entre los ítems, pero cambiando los unos de la diagonal principal por las comunalidades iniciales. A esta matriz se le suele llamar matriz de correlaciones reducida. La suma de las comunalidades es la varianza común y los factores intentan dar cuenta de dicha varianza común.

En el análisis factorial de componentes principales se intenta dar cuenta de la matriz de correlaciones completa, con unos en la diagonal, y los factores extraídos (también llamados componentes) pretenden dar cuenta de la varianza total, que coincide con el número de ítems.

Para ello, como método de extracción seleccionamos Componentes Principales. Para seleccionar los factores a retener se suele seguir bien lo que indica el gráfico de sedimentación o la regla de Kaiser. Para pedir al programa que obtenga el gráfico de sedimentación, hay que indicarlo en la correspondiente ventana:

Segunda práctica 2004-5 (pr2_5.doc)

22

Con nuestros datos, la gráfica de sedimentación resulta ser la siguiente:

Gráfico de sedimentación

5

Autovalor

4

3

2

1

0 1

2

3

4

5

6

7

8

9

10

Número de componente

La gráfica sugiere que el número de factores a retener debiera ser tres. Un procedimiento alternativo es la Regla de Kaiser, que consiste en retener los factores con varianza mayor de 1. La grafica anterior muestra que esta regla también seleccionaría tres factores en este caso, pues son tres los componentes cuyos autovalores (o varianza explicada) son mayores de 1.

Segunda práctica 2004-5 (pr2_5.doc)

23

Vamos a extraer tres factores. Las varianzas explicadas por cada uno vienen en la columna 5 de la Tabla 19. El primer componente explica el 48.479% de la varianza total. Los porcentajes de varianza total explicada de los otros dos son 21.798 y 13.300. Tomados conjuntamente los tres, el porcentaje de varianza total que explican es el 83.577, que no está nada mal. La Tabla 20 contiene las saturaciones. Sumadas, al cuadrado, por columnas, obtenemos la varianza que explica cada componente (ya vistas en la columna 5 de la Tabla 19), y por filas, el % de varianza que cada ítem comparte con los tres factores retenidos.

Estos porcentajes se muestran en la columna 3 de la Tabla 21.

Tabla 19: Varianza explicada por los tres componentes sin rotar.

Varianza total explicada

Componente 1 2 3 4 5 6 7 8 9 10

Autovalores iniciales % de la Total % acumulado varianza 4.848 48.479 48.479 2.180 21.798 70.277 1.330 13.300 83.577 .454 4.545 88.122 .361 3.608 91.731 .232 2.324 94.054 .200 1.996 96.050 .174 1.743 97.793 .143 1.427 99.221 .078 .779 100.000

Sumas de las saturaciones al cuadrado de la extracción % de la Total % acumulado varianza 4.848 48.479 48.479 2.180 21.798 70.277 1.330 13.300 83.577

Método de extracción: Análisis de Componentes principales.

Tabla 20. Matriz factorial (saturaciones) de los tres componentes sin rotar.

Segunda práctica 2004-5 (pr2_5.doc)

24

Matriz de componentesa 1 x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

.249 .791 .757 .780 .576 .508 .859 .651 .778 .788

Componente 2 .783 .145 -.424 -.419 .555 .710 .144 -.416 -.402 .150

3 .452 -.513 .268 .215 .194 .283 -.420 .388 .218 -.502

Método de extracción: Análisis de componentes principales. a. 3 componentes extraídos

Tabla 21. Varianza de cada ítem compartida con los componentes.

Comunalidades x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

Inicial 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000

Extracción .879 .910 .825 .831 .678 .843 .934 .748 .814 .895

Método de extracción: Análisis de Componentes principales.

Muy posiblemente se facilita la interpretación de los componentes si pedimos componentes rotados. Al solicitar una rotación ortogonal Varimax, obtendríamos los resultados que se muestran en las Tablas 22 y 23. Las tres últimas columnas de la Tabla 22 muestran que el % de varianza explicada conjuntamente por los tres componentes rotados (83.577) coincide con el porcentaje explicado por los tres sin rotar, si bien los rotados explican una cantidad mas similar de varianza.

Segunda práctica 2004-5 (pr2_5.doc)

25

Tabla 22. Varianza explicada por los tres componentes sin rotar y rotados.

Varianza total explicada Sumas de las saturaciones al Suma de las saturaciones al Autovalores iniciales cuadrado de la extracción cuadrado de la rotación % de la % de la % de la ComponenteTotal varianza % acumulado Total varianza % acumulado Total varianza % acumulado 1 4.848 48.479 48.479 4.848 48.479 48.479 3.226 32.262 32.262 2 2.180 21.798 70.277 2.180 21.798 70.277 2.833 28.325 60.587 3 1.330 13.300 83.577 1.330 13.300 83.577 2.299 22.990 83.577 4 .454 4.545 88.122 5 .361 3.608 91.731 6 .232 2.324 94.054 7 .200 1.996 96.050 8 .174 1.743 97.793 9 .143 1.427 99.221 10 .078 .779 100.000 Método de extracción: Análisis de Componentes principales.

La Tabla 23 muestra que cada componente rotado está definido por ítems distintos, lo que debe facilitar su interpretación. En este caso, los ítems que definen cada componente son los mismos que definen cada factor obtenido por el método de máxima verosimilitud. Ambos métodos nos han dado una solución factorial muy similar, lo que no ocurrirá siempre. Cuando se obtengan soluciones distintas, deberán compararse entre sí, y con las previsiones que tengamos en relación a la estructura factorial del test. Por ejemplo, se podrá valorar cual de las dos soluciones encontradas se acomoda mejor a los componentes del rasgo propuestos en su definición (apartado 2.2).

Tabla 23. Matriz factorial (saturaciones) de los tres componentes rotados.

Segunda práctica 2004-5 (pr2_5.doc)

26

Matriz de componentes rotadosa

x1 x2 x3 x5 x6 x7 x8 x9 x11 x14

1 -.063 .215 .880 .868 .168 .076 .306 .859 .858 .216

Componente 2 -.045 .918 .222 .277 .321 .237 .892 .065 .276 .909

3 .934 .143 .046 .033 .739 .884 .210 .074 .048 .151

Método de extracción: Análisis de componentes principales.

Método de rotación: Normalización Varimax con Kaiser. a. La rotación ha convergido en 5 iteraciones.

2.6.2.3 Variables Criterio La puntuación en el test se ha de relacionar con las puntuaciones en las variables criterio. El tipo de análisis a hacer dependerá de si las variables criterio son dicotómicas, nominales,.. , por lo que no pueden darse pautas generales. Lo mejor, si tenéis dudas, es que consultéis con vuestro profesor el análisis que os parezca más adecuado.

Supongamos que en nuestro archivo de datos las dos variables criterio están medidas a nivel de intervalo. En ese caso, cabría obtener la correlación de Pearson entre la puntuación en el test y cada una de ellas. Para obtener la puntuación en el test hay que crear una nueva variable que sea el resultado de sumar las puntuaciones en los 10 ítems del test definitivo.

Llamaremos a la nueva variable total. Para crearla, se selecciona el menú Transformar -> Calcular que sólo está disponible en el Editor de datos del SPSS. Con los datos de nuestro ejemplo, el cuadro de diálogo tendría el siguiente aspecto:

Segunda prรกctica 2004-5 (pr2_5.doc)

27

A continuaciรณn, para obtener la correlaciรณn de Pearson entre total e y1 e y2, pulsamos en Analizar -> Correlaciones -> Bivariadas. Pasamos las tres variables a la ventana Variables y obtenemos los resultados que se muestran en la Tabla 24. Ambas correlaciones son positivas y significativas. Los datos muestran que, por lo general, Las personas con puntuaciones altas (bajas) en test suelen tener puntuaciones altas (bajas) en las dos variables criterio. El tanto por cierto de la varianza de y1 explicada por nuestro test es el 40.70% ((0.638)(0.638)=0.407). Una interpretaciรณn similar podrรญa hacerse de la relaciรณn entre total e y2. Los dos diagramas de dispersiรณn (Grรกficos -> Dispersiรณn -> Simple), que siguen a la Tabla 24, confirman lo acabado de decir.

Tabla 24. Correlaciones entre las puntuaciones en el test y las variables criterio.

Correlaciones total total

y1

y2

Correlaciรณn de Pearson Sig. (bilateral) N Correlaciรณn de Pearson Sig. (bilateral) N Correlaciรณn de Pearson Sig. (bilateral) N

1 100 .638** .000 100 .453** .000 100

y1 .638** .000 100 1 100 .339** .001 100

**. La correlaciรณn es significativa al nivel 0,01 (bilateral).

y2 .453** .000 100 .339** .001 100 1 100

Segunda práctica 2004-5 (pr2_5.doc)

80

28

70

60

60

y2

y1

50

40

40

30

20 20

0

10

10,00

20,00

30,00

40,00

10,00

20,00

total

30,00

40,00

total

2.6.2.4 Baremos Para terminar, se ofrece la distribución de frecuencias que permite calcular el baremo en centiles. Esta distribución de frecuencias se obtiene a partir de la puntuación total de cada sujeto en el test. Para ello, se selecciona el menú Analizar -> Estadísticos descriptivos -> Frecuencias. Los resultados obtenidos con esta selección aparecen en la Tabla 25. La última columna contiene los porcentajes acumulados que nos permiten conocer los centiles. Por ejemplo, en nuestro test, C25 = 21; es decir, el 75% de la muestra obtiene puntuaciones superiores a 21.

Tabla 25. Centiles y distribución de frecuencias de nuestro test.

Segunda práctica 2004-5 (pr2_5.doc)

29

total

Válidos

12.00 13.00 14.00 16.00 17.00 18.00 19.00 20.00 21.00 22.00 23.00 24.00 25.00 26.00 27.00 28.00 29.00 30.00 31.00 32.00 33.00 34.00 35.00 36.00 37.00 38.00 39.00 41.00 43.00 Total

Frecuencia 1 1 3 3 1 2 3 2 9 1 4 5 7 4 8 8 7 2 3 5 3 4 2 2 2 2 1 4 1 100

Porcentaje 1.0 1.0 3.0 3.0 1.0 2.0 3.0 2.0 9.0 1.0 4.0 5.0 7.0 4.0 8.0 8.0 7.0 2.0 3.0 5.0 3.0 4.0 2.0 2.0 2.0 2.0 1.0 4.0 1.0 100.0

Porcentaje válido 1.0 1.0 3.0 3.0 1.0 2.0 3.0 2.0 9.0 1.0 4.0 5.0 7.0 4.0 8.0 8.0 7.0 2.0 3.0 5.0 3.0 4.0 2.0 2.0 2.0 2.0 1.0 4.0 1.0 100.0

Porcentaje acumulado 1.0 2.0 5.0 8.0 9.0 11.0 14.0 16.0 25.0 26.0 30.0 35.0 42.0 46.0 54.0 62.0 69.0 71.0 74.0 79.0 82.0 86.0 88.0 90.0 92.0 94.0 95.0 99.0 100.0

Una vez obtenidos todos los resultados deberán guardarse en el fichero PRAC2.SPO, utilizando para ello el menú Archivo -> Guardar.

2.7 ELABORACIÓN DEL INFORME Una vez realizados todos los análisis, los grupos redactarán un trabajo en el que se describa el proceso seguido, comentando los resultados obtenidos. En el apartado 5 (Hoja de valoración) se describe detenidamente cómo se va a evaluar cada apartado. Su lectura

Segunda práctica 2004-5 (pr2_5.doc)

30

informa de los aspectos y contenidos que deben tenerse en cuenta a la hora de la redacción del informe.

Las primeras tres hojas del trabajo TIENEN QUE SER LAS TRES HOJAS DE VALORACIÓN, que aparecen en las tres últimas páginas de este documento, y que pueden descargarse de la pagina de docencia de los profesores (archivo HVPr2_5.doc). En la primera hoja habréis de rellenar los datos que se os pide. Cada grupo debe conservar una copia de su trabajo, ya que tras la corrección solamente se devolverá las hojas de valoración con la evaluación y comentarios oportunos.

En la segunda hoja debe constar el título del test Y LOS INTEGRANTES DEL GRUPO. Es obligatorio adjuntar al informe un disco, debidamente identificado, con el fichero de datos y el fichero de resultados. El trabajo en sí debe incluir los siguientes apartados: 1. Objetivos de la prueba En este apartado debe especificarse el rasgo que se pretende medir, con una definición lo más operativa posible del mismo y de sus componentes. Es muy conveniente que se elija un rasgo que tenga entidad psicológica, pues el grupo podrá definirlo mejor, elegir mejor las variables criterio, hacer un estudio más completo de validez, y comparar sus resultados con los obtenidos sobre el mismo rasgo en otros trabajos. Si se hace una elección descuidada del rasgo a medir, muy probablemente no se tendrán las ventajas expuestas.

2. Redacción de ítems Se deben especificar los ítems que miden cada componente y, en su caso, si lo hacen de modo directo o inverso. Aclarar el formato de respuesta elegido y el modo de cuantificación de las respuestas. Conviene que repaséis las normas de redacción de ítems vistas en el tema 1, para tener la certeza de que se cumplen en vuestros ítems.

3. Análisis de ítems Para cada ítem hay que especificar su varianza, media y su índice de homogeneidad corregido. Hay que explicar detalladamente el proceso seguido para determinar cuantos y qué ítems han de eliminarse del test inicial de quince ítems. El número de ítems a eliminar no está predeterminado. Cada grupo ha de decidir si ha de eliminar alguno o no, y cuales.

4. Fiabilidad del test

Segunda práctica 2004-5 (pr2_5.doc)

Adjuntar, interpretar y evaluar el coeficiente de fiabilidad y el coeficiente alfa obtenidos. En este caso, tanto del test inicial como del test final. Es importante que se haga una interpretación precisa de estos índices.

5. Validez del test Comentar los resultados de la estructura factorial, tras aplicar cada método de extracción, para establecer qué dimensiones mide el test. Hay que informar de lo siguiente: a) Cuantos factores y componentes se han extraído o retenido por cada uno de los dos métodos de extracción. b) Las saturaciones y las varianzas explicadas por los factores y componentes retenidos. c) La importancia y el significado de cada factor y componente. d) Comparar los resultados obtenidos por los dos métodos. e) Conviene también considerar si los factores y componentes encontrados tienen o no relación con los componentes del rasgo que se establecieron antes de la redacción de los ítems.

En la hoja de recogida de respuestas se han incluido varios ítems criterio que miden constructos, variables biográficas o conductas relacionadas con el rasgo que supuestamente mide el test. En concreto, hay que: a)

Justificar las variables criterio elegidas, indicando las fuentes o referencias en las que se cita o prueba la relación existente entre el rasgo que supuestamente mide el test y las conductas, variables biográficas o constructos a los que corresponden los ítems criterio.

b)

Explicitar claramente qué relaciones cabe esperar entre las puntuaciones en nuestro test, si mide lo que suponemos, y las variables criterio.

c)

Realizar el análisis de datos que permita comprobar si se cumplen las previsiones realizadas en el apartado anterior.

A partir de los resultados obtenidos en este apartado de validez, proponer qué mide el test.

6. Baremos Incluir una tabla que muestre los baremos por centiles obtenidos. Explicar el

31

Segunda práctica 2004-5 (pr2_5.doc)

32

significado de la particular Tabla 24 obtenida, poniendo algún ejemplo de interpretación de una o dos puntuaciones posibles en el test.

7. Valoración subjetiva del trabajo Valoración crítica de la experiencia, realizada por cada uno de los miembros del grupo. Se trata de reflexionar sobre lo hecho y comentar: a) Qué se ha aprendido haciendo el trabajo. b) Qué errores se han cometido y qué se ha aprendido de ellos. c)

Qué dificultades principales se han tenido que superar y como se han superado.

d) Sugerencias de mejora de la práctica.

Lo expuesto por cada miembro del grupo en este apartado podrá modificar sus calificaciones en la práctica, siendo, por tanto, posible que unos miembros del grupo tengan mejores calificaciones que otros.

8. Apéndice En un apéndice debe incluirse el test y los archivos PRAC2.SAV y PRAC2.SPO con los datos y los análisis realizados.

Cada grupo debe incluir en su informe toda esta información y en este orden. Se ruega paginar el trabajo.

3 EVALUACIÓN La realización de esta práctica es obligatoria para poder presentarse al examen. La fecha tope para entregar el informe es 31 de mayo. La práctica se valorará desde 0 hasta 1 punto. Esta puntuación se sumará a la calificación final del examen (8.5 puntos) y de la práctica 1 (0.5 puntos).

Segunda práctica 2004-5 (pr2_5.doc)

33

4 HOJA DE RECOGIDA DE RESPUESTAS Nombre del test (opcional): Autores (opcional): Instrucciones del test (si son necesarias):

(Etiqueta 1)

Ítem 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

(Etiqueta 2)

(Enunciado 1) (Enunciado 2) (Enunciado 3) (Enunciado 4) (Enunciado 5) (Enunciado 6) (Enunciado 7) (Enunciado 8) (Enunciado 9) (Enunciado 10) (Enunciado 11) (Enunciado 12) (Enunciado 13) (Enunciado 14) (Enunciado 15)

Responde, por favor, además, a las siguientes preguntas Instrucciones de los ítems criterio (si son necesarias): Ítems criterio (no más de cinco): 1) (Ítem_criterio1) 2) (Ítem_criterio2) 3) (Ítem_criterio3) 4) (Ítem_criterio4) 5) (Ítem_criterio5)

(Etiqueta 3)

(Etiqueta 4)

(Etiqueta 5)

Segunda práctica 2004-5 (pr2_5.doc)

34

5 HOJA DE VALORACIÓN (A RELLENAR POR LOS ALUMNOS) EL TEST MIDE: ___________________________________________________________ INTEGRANTES: Nombre y apellidos (en mayúsculas)

GRUPO

1 2 3 4 5 (A RELLENAR POR EL PROFESOR)

VALORACIÓN CRITERIO A) RELEVANCIA DEL CONSTRUCTO SELECCIONADO Valoración: B) DEFINICIÓN DEL RASGO

0

1

2

El constructo que se pretende medir no tiene interés para la Psicología o para los psicólogos profesionales.

El constructo puede tener cierto interés en algún contexto aplicado de la Psicología, aunque no ha sido objeto de estudio desde las diversas tradiciones teóricas de la Psicología.

El constructo o rasgo elegido es relevante para los psicólogos, desde una perspectiva teórica y/o aplicada.

Ausencia de definición o de contextualización teórica sobre el rasgo. No se hace esfuerzo por establecer los componentes más operativos del mismo.

Definición descuidada, por no consultar las referencias teóricas apropiadas, aunque se hace un esfuerzo por una definición propia. Si la actitud o rasgo es difícil de justificar teóricamente, se intenta proporcionar una buena definición operativa Existen errores puntuales de redacción o de adecuación entre la redacción y el componente, aunque se han elaborado ítems directos e inversos.

Correcto uso de la teoría subyacente para la definición del constructo, incluyendo referencias sobre las obras consultadas. Los componentes o indicadores están bien operativizados, y son los que deben ser.

El grupo no ha seguido las instrucciones establecidas en la guía de la práctica, en relación al número de opciones de respuesta que deben tener los ítems. La denominación de las categorías (etiquetado) no sigue los estándares estudiados.

Ha habido errores importantes en alguno de estos dos aspectos: incorrecta codificación de las omisiones, no se han recodificado los ítems inversos.

Algunas de las categorías de respuesta podrían haberse etiquetado mejor, aunque se han seguido las instrucciones establecidas respecto al número de opciones.

Las categorías están bien establecidas y etiquetadas. Las instrucciones para los evaluados son claras.

Errores puntuales en la codificación: algún ítem mal cuantificado, errores puntuales en la grabación de datos, aunque se codifican bien los ítems inversos y las omisiones.

Codificación correcta de las omisiones y de las respuestas a los ítems inversos.

No se hace ninguna referencia a las características de la muestra que se selecciona para el estudio psicométrico.

Se menciona alguna característica de la muestra (tamaño, cómo se ha obtenido,..), aunque no se informa de su rendimiento global en el test (datos estadísticos descriptivos).

Se describen con detalle las características disponibles de la muestra (tamaño, nivel de estudios, cómo se ha conseguido), se informa de su rendimiento global en el test y de las consecuencias que estos datos pueden tener en las propiedades psicométricas de la prueba.

Valoración: C) REDACCIÓN DE ÍTEMS

Valoración: D) FORMATO DE RESPUESTA

Valoración: E) CUANTIFICACIÓN DE RESPUESTAS Valoración: F) DESCRIPCIÓN DE LA MUESTRA

Valoración:

En bastantes de los ítems se cometen errores de redacción.

No parece que haya adecuación entre la redacción y el componente que se desea medir.

No se elaboran ítems inversos.

Se cumplen los estándares de redacción de los ítems de categorías ordenadas. Resulta razonable la redacción para la evaluación de los componentes. Se redactan ítems en las dos direcciones.

Segunda práctica 2004-5 (pr2_5.doc)

G) ANÁLISIS DE LOS ÍTEMS: medias y varianzas Valoración: Correlación ítemtest Valoración: H) SELECCIÓN DE LOS ÍTEMS

No se han obtenido las medias y varianzas de los ítems o no se informa en detalle del significado de estos valores para cada uno de los ítems.

No se han obtenido las correlaciones ítem-test de forma correcta o no se informa con detalle de su significado.

Se han obtenido las medias y varianzas, aunque no se interpreta de forma adecuada los valores individuales de cada uno de los ítems.

Las correlaciones ítem-test están bien calculadas, aunque la interpretación de su cuantía no es correcta.

La selección de ítems no es adecuada, porque se eligen ítems para el test definitivo que no son los mejores.

Los ítems seleccionados son los que deben ser, auque la argumentación sobre las razones que llevan a tal selección no es suficiente, o no se comenta en detalle los cambios que se producen en los indicadores de los ítems cuando forman parte del test definitivo.

Se obtiene de modo incorrecto el coeficiente α de Cronbach, no se interpreta o se interpreta de manera inadecuada.

El coeficiente α de Cronbach es el correcto, pero no se interpreta de forma correcta atendiendo a la consistencia del test, o no se comentan las diferencias entre los valores del test inicial y del test definitivo.

El coeficiente de fiabilidad es el correcto, pero no se interpreta de manera adecuada.

Valoración: I) FIABILIDAD: consistencia interna global Valoración: Consistencia de las dos mitades

Se obtiene de modo incorrecto el coeficiente de fiabilidad mediante el método de las dos mitades, no se interpreta o se interpreta de manera inadecuada.

Valoración: Nuevas propuestas

Estudios de validez de constructo: Interpretación de los factores.

No existe justificación al respecto.

Se justifica la validez de contenido del test, aunque no se argumenta porqué dejan de incluirse ciertos componentes.

No se aplica bien la técnica del análisis factorial, porque no se elige el método de extracción de factores adecuado, porque no se retienen los factores adecuadamente o porque no se rotan para su interpretación.

Se aplica bien el método de extracción, se retienen los factores de modo adecuado, se rotan si es pertinente hacerlo, aunque no se comenta adecuadamente la proporción de varianza que explican.

Se aplica bien el método de extracción, se rotan los factores, se retienen de forma adecuada, se obtienen e interpretan bien los porcentajes de varianza explicada antes y después de la rotación..

No se hace un esfuerzo por interpretar el significado de los factores, atendiendo a las saturaciones de los factores rotados. Se interpreta la matriz factorial sin rotar.

Aunque se ha intentado dar una significación a los factores, no se realiza un análisis desde las previsiones teóricas que se tenían en las fases iniciales de construcción del test. El grupo no ha sido capaz de identificar el sentido de alguno de los factores.

Se incluyen las variable criterio, pero la justificación es pobre (la justificación no es especifica del rasgo que el test supuestamente mide)

La interpretación es muy adecuada, atendiendo al contenido de los ítems con saturaciones altas en cada factor. Se da una buena argumentación sobre la coherencia entre las previsiones teóricas y los resultados empíricos.

Valoración: Formulación de las variables criterio Valoración:

El coeficiente de fiabilidad es el correcto y se interpreta de manera adecuada. Se comenta correctamente la influencia en el coeficiente factores como el tamaño y la varianza del test.

Algunas de las propuestas planteadas requieren mayor concreción, dado que sólo se apuntan ciertas ideas sin operativizarlas.

Valoración: Estudios de validez de constructo: Decisiones relativas al Análisis Factorial Valoración:

Se interpreta con detalle, y de forma adecuada al contenido correspondiente, la diferente cuantía de las medias y varianzas que tiene la muestra en cada uno de los ítems.

Las correlaciones ítem-test se obtienen de forma correcta. La interpretación de los valores obtenidos es rigurosa, indicando su repercusión en la fiabilidad del test.

Los ítems seleccionados son los adecuados, se da cuenta de las razones métricas para eliminar los ítems rechazados y de las repercusiones que esto puede tener en la fiabilidad y validez. Se obtienen los indicadores psicométricos de los ítems que forman el test definitivo y se comentan adecuadamente sus diferencias respecto a los valores que tenían en el test inicial.

El coeficiente α de Cronbach es el correcto, se interpreta de manera adecuada y se comentan bien las razones de las diferencias entre los valores del test inicial y del test definitivo.

No se incluyen nuevas propuestas para mejorar la fiabilidad del test.

Valoración: J) VALIDEZ: Justificación de la validez de contenido

35

No se han incluido o no se justifica en absoluto su inclusión.

Se plantean procedimientos adecuados de mejora, se argumentan y se comentan las dificultades previsibles para obtener dicha mejora. Se aplica la fórmula de Spearman-Brown para estudiar la fiabilidad del test si se incrementara su longitud.

Se justifica bien los componentes incorporados en el test y se argumenta, en el caso de que así fuera, los componentes adicionales que deberían incorporarse si el test fuera más largo.

Se justifica, recurriendo al conocimiento psicologico y trabajos previos las variable sciritoerio seleccionadas. s

Segunda práctica 2004-5 (pr2_5.doc)

Variables criterio: Hipótesis y contraste

No rse realizan hipótesis sobre como se han de relacionar las variables criterio con las puntuaciones en el test

Valoración: K) BAREMACIÓN: Adecuación e interpretación Valoración: L) CALIDAD DEL INFORME: Uso riguroso de conceptos Valoración: Orden

El baremo centil ha sido mal obtenido en SPSS.

En partes importantes del informe no se emplean los conceptos psicométricos o metodológicos adecuados para dar cuenta con palabras de los resultados del estudio psicométrico.

No existe una buena organización en el informe: reiteraciones no pertinentes, contenidos expresados en un orden inadecuado.

36

Se realizan hipótesis sobre la relacion entre las variables criterio y las puntuaciones en el test, pero sin base psicologica sólida.

Se hacen con base solida, pero su contraste no es correcto.

El baremo está bien obtenido, aunque no se comentan algunas de sus características: tipo de distribución, significado concreto de unos centiles,..

Se formulan hipótesis y contrastan correctamente.

En algunas ocasiones no se emplean los conceptos psicométricos adecuados.

Aparecen ciertas expresiones de uso coloquial no pertinentes para un informe científico.

Los conceptos empleados son pertinentes, así como su interpretación.

Existe una buena organización en general, aunque aparecen algunas reiteraciones puntuales.

La organización es la adecuada, no aparecen reiteraciones no pertinentes, se confeccionan tablas o figuras a las que se hacen referencia en el texto escrito.

El baremo está bien obtenido y se comentan algunas de sus características: tipo de distribución de las puntuaciones de la muestra, significado concreto de unos centiles,..

Valoración:

VALORACIÓN FINAL: (Escala 0 – 40): (Escala 0 - 1): Integrante 1: Integrante 2: Integrante 3: Integrante 4: Integrante 5:

COMENTARIOS: 1) Este trabajo será finalmente valorado hasta un punto de la calificación final de la asignatura.

2) El trabajo se ajustará a las instrucciones proporcionadas en la guía de la práctica: número de estudiantes en cada grupo, longitud del test y número de opciones de respuesta. En relación a estos dos últimos requerimientos, si el trabajo no sigue las especificaciones dadas en este curso, será valorado como cero.

3) Si existieran errores en la codificación de respuestas que dieran lugar a resultados aberrantes en los indicadores psicométricos, y éstos no fueran detectados, la valoración final del trabajo será cero.