5.2.Material académico by IESPP CREA

Módulo 5. Técnicas de Investigación Cuantitativas y Cualitativas UNIDAD 5.2 Instrumentos de investigación Material de lectura

INDICE UNIDAD 5.2

Instrumentos de investigación

¿Qué técnicas e instrumentos de investigación conocemos? § Concepto de medición - Tipos de medición § Evaluación de la calidad de un instrumento - Validez - Confiabilidad - Índice de dificultad BIBLIOGRAFÍA

UNIDAD 5.2

Instrumentos de investigación

¿Qué técnicas e instrumentos de investigación conocemos? Las técnicas e instrumentos de investigación si bien son, generalmente, los mismos en cualquiera de los enfoques con que se trabaje, en la investigación cuantitativa su elección se realiza en función al objeto a evaluar, los objetivos previstos y las hipótesis planteadas. En el siguiente cuadro se presenta las técnicas e instrumentos que se tratarán en este módulo.

TÉCNICAS

De recogida de datos § Observación § Entrevista § Encuesta De análisis de datos § Triangulación § Análisis de contenido

INSTRUMENTOS § § § §

Registro de observación Escalas de valoración Cuestionarios Lista de control

Cuando hablamos de técnicas e instrumentos el concepto de medición se introduce con características propias y la construcción y aplicación de los instrumentos pasa por procesos previos de validación, brindando cierta garantía de objetividad y fiabilidad. Comenzamos esta unidad haciendo algunas precisiones conceptuales sobre medición, tratando los diferentes tipos de validación y confiabilidad a los que se somete un instrumento. CONCEPTO DE MEDICIÓN Una de las definiciones más difundidas y de mayor aceptación sobre el concepto de medición corresponde a STEVENS1 “medición es asignar numerales a objetos o eventos de acuerdo a reglas”. Observemos que dice numerales y no números, es que en la medición no necesariamente se asignan números, existiendo por lo tanto una diferencia entre ambos términos. Numeral se refiere a símbolos como: 1, 2, 3, 4; I, II; A, B, C, etc., no tiene significado cuantitativo. En cambio el término número, sirve para indicar por ejemplo, el peso, la talla, el registro de la matrícula de una persona. Los símbolos A, B, C, de una escala de calificación académica, indican cualidades de rendimiento, pero fácilmente podemos asignarle significado cuantitativo. Estos 1

S. Stevens. Medición Educativa; Validez. Taxonomía de Stevens., p.19.

significados implican diferentes relaciones entre numerales y números, asunto en el que está interesada la medición. 1. 1. TIPOS DE MEDICIÓN Tenemos claro que una ciencia tiene su particular objeto de estudio, la diferencia de objetos determinará la diferencia en la medición que se adopte. a) Medición directa Si queremos tomar el peso de un cuerpo se elige una unidad de medida, por ejemplo, el gramo, el número de unidades que son necesarias para equilibrar el objeto que se pesa (según una escala), es el número que se le asigna al objeto como la medida de su peso. La medición de ciertos atributos, como el peso y la longitud se practican en forma directa. Los instrumentos están ya establecidos y poseen confiabilidad y validez (casi siempre). b) Medición indirecta La medición psicológica, educativa, sociológica, etc., es accesible sólo a la medición “indirecta”. La inteligencia por ejemplo, se mide por el rendimiento de la persona en determinados estímulos, se infiere el nivel de funcionamiento a través de sus efectos; la rapidez para ejecutar una actividad se mide con el cronómetro y la velocidad se expresa en unidades de tiempo. En estas mediciones siempre son “efectos” o factores del mundo objetivo los que se observan y a través de ellos se infiere el funcionamiento de la conducta. Para ello es necesario aplicar un instrumento, que muchas veces debe ser construido por el investigador. EVALUACIÓN DE LA CALIDAD DE UN INSTRUMENTO Toda prueba o test, nos dice Anastasi2, constituye esencialmente una medida objetiva y tipificada de una muestra de conducta. Toda prueba responde al esquema E – O – R . a. Estímulo: constituido por los ítemes, reactivos, preguntas, que deben ser válidos y confiables para obtener muestras del comportamiento. b. Organismo: los sujetos o participantes quienes deben estar preparados para responder. Se debe tener en cuenta sus capacidades y limitaciones. c. Respuesta: resultados en términos cuantitativos y cualitativos. Cualquiera sea el instrumento elegido, es necesario tener en cuenta ciertos criterios de validez, confiabilidad y utilidad, que permitan juzgar en qué medida, determinado instrumento resulta el más adecuado para la tarea evaluativa, en especial si estos instrumentos son construidos por el docente investigador. VALIDEZ Se refiere a la eficacia con que un instrumento mide lo que debe medir. Este concepto se relaciona con la pregunta ¿Qué mide la prueba? Los instrumentos que aplicamos en el campo educativo (labor docente o investigativa) se proponen evaluar aspectos tales como aprovechamiento, aprendizaje, creatividad, 2

A. Anastasi. Test psicológicos. , p. 29

inteligencia, motivación, actitudes, etc., para lo cual no existen medios directos como en las ciencias físicas, para ello es necesario construir medios indirectos para medir atributos complejos, tales como pruebas y escalas. Acerca de la validez, la clasificación más conocida 3, distingue: Validez de construcción Se refiere a la medida en que un test nos proporciona información acerca de una característica significativa del sujeto investigado. La validez de construcción de una prueba puede ser proporcionada por: -Sus relaciones con otros tests. -Sus relaciones con otras características. -Sus relaciones con factores del ambiente. Asimismo, se define como “el grado en que un test mide la construcción teórica elaborada” respecto a la conducta que se mide. Todo test se basa en la idea que el investigador desarrolla, para explicar la organización y funcionamiento de un atributo o conducta. Se afirma que un test posee validez de constructo4 teórico, si el resultado obtenido es el esperado de acuerdo a la teoría formulada. Por ejemplo según la Escala de Vinelland5, “madurez social” se mide preguntando al padre, su niño.... - ¿Usa patines, cochecito? - ¿Se acuesta sin ayuda en su cama? - ¿Escribe palabras sencillas? - ¿Participa en juegos simples? - ¿Se le puede confiar dinero?

Ocupación Esfuerzo propio Comunicación Locomoción Autodirección

Si un niño hace todo eso, entonces diremos que tiene “madurez social”. Validez Predictiva Permite predecir la situación futura de los sujetos investigados. Para determinar la “validez predictiva” de un instrumento es necesario establecer un criterio con el cual puedan compararse las predicciones formuladas. Se asume que si la predicción enunciada por el test corresponde a lo esperado, el test es válido. El conocimiento de la validez por este procedimiento requiere de un estudio de seguimiento puesto que el valor del test se comprueba en el futuro. Validez de contenido Una prueba posee “validez de contenido” cuando los ítemes que la integran constituyen una muestra representativa de las categorías e indicadores que se evalúa. Dicho en otros términos, que el test sea un adecuado muestreo del contenido que se examina. 3

Asociación Estadounidense de Psicología, Asociación Estadounidense de Investigación Educacional, Con la palabra “constructo” se indica algo que no es medible directamente. 5 Citado por F Kerlinger. Investigación del comportamiento., p. 49 4

La validez de contenido de una prueba de rendimiento podría determinarse, analizando la correspondencia que sus ítems guardan con los temas que cubre la asignatura, la prueba debe reflejar el énfasis que la investigación otorga a ciertos temas, así como a las capacidades y actitudes. Obviamente la prueba carecerá de validez de contenido, si excluye alguno de los contenidos o sus ítems reflejan un muestreo inadecuado de los conocimientos y capacidades que se han propuesto. A menudo la validez de contenido se puede determinar sobre la base de juicio de expertos (para escalas de actitudes, guías de observación, cuestionario) y el análisis lógico, para las pruebas de conocimiento, a partir de la tabla de especificación. Validez de contenido: Juicio de experto La primera versión de un cuestionario, escala, etc., es sometida a la “opinión de expertos”, entendidos como tal, aquellos que tienen alguna especialización afín al tema que se investiga, o han efectuado estudios sobre temas similares o en su defecto han trabajado con grupos de características similares a las muestras que se utilizarán en la investigación. El propósito de la consulta es recoger sugerencias para mejorar el instrumento a partir de la búsqueda del consenso, se dice pues que la validez de contenido consiste en esencia en un conjunto de juicios basados en la opinión de los expertos del tema. Procedimiento: a. Se considera un número de cinco (5) a siete (7) expertos. b. Cada uno de ellos examina cuidadosamente el modelo de la prueba (tiene conocimiento del contenido y objetivos para lo cual la prueba fue elaborada). c. Formas: - Presentación de la prueba con ITEM a ciegas; a los jueces se le entrega las definiciones y las clasificaciones separadas de los ítems. - Presentación de la prueba con ITEM clasificado, se entregan los ítems clasificados según las áreas de la prueba que se está analizando. d. Sobre la base del propio test se prepara un informe en el cual se indica el contenido representado en aquel y los tipos de conocimientos y capacidades que el participante debe poseer para responder correctamente los ítems. e. El juicio definitivo sobre la validez de contenido depende del grado de adecuación existente entre la prueba y los contenidos. No olvidar que la validez de contenido está referido al grado en que los reactivos que constituyen la prueba son realmente la muestra respectiva del dominio de contenido que nos interesa medir. Análisis de los informes entregados por los jueces y la clasificación del investigador Item Clasificación Investigador (categorías) 1 1 2 2

J 1

J 2

J 3

J 4

J 5

J 6

J 7

1 2

1 1

3 4 5

3 2 3

2 3 3

3 1 2

3 3 3

3 2 3

3 3 3

3 3 2

TO TAL Acuerd. 7 1

Índice de Acuerdo

DECISIÓN

Desac. 0 6

1 0,14

Aceptado Reclasifica

1 3 2

0.86 0,57 0,71

1 3 3 3

6 4 5

Aceptado Reformular Aceptado

Fórmula: Índice de Acuerdo (IA), para que sea aceptable debe ser 0,60 ó más. IA =

Nº de acuerdos Nº de acuerdos + Nº de desacuerdos

c.2. Validez de contenido: análisis lógico Es el investigador quien aporta los datos y realiza el análisis lógico que permite demostrar que los ítems son representativos del dominio de contenidos que se estudia. Este requisito es válido para la prueba de conocimiento. Para garantizar esta forma de validez es necesario elaborar una tabla de especificación, teniendo en cuenta los siguientes elementos: 1º Determinar las capacidades que se van a evaluar. 2º Determinar los contenidos que se han trabajado. 3º Establecer los “pesos académicos”, de capacidades y contenidos a evaluar. Los cuales se determinan en función del tiempo que durará la experiencia de investigación. 4º Elegir un intervalo (elección arbitraria) en el que se encontrará el número de items que contendrá la prueba. Al elegir el intervalo se deberá tener en consideración: el grado de estudio, la edad, el tiempo aproximado que durará la prueba. Ejemplo: •

Competencias/ variables/ categorías :

3 (I, II, III)

• •

Contenidos: Nº de sesiones

5 (A, B, C, D, E) 15

•

Intervalo:

20 25 Límite inferior Límite superior

Paso 1 Determinamos el número de sesiones para cada contenido y encontramos su proporción: -

Contenido A: Contenido B: Contenido C: Contenido D: Contenido E:

2/15 4/15 2/15 3/15 4/15 15/15

= 0,133 = 0,266 = 0,133 = 0,200 = 0,266

0,13 0,27 0,13 0,20 0,27 1,00

Paso 2 Determinamos el número de sesiones para cada competencia/categoría (Encontramos su proporción) -

Categoría I:

5/15

= 0,3333

0,33

Categoría II: Categoría III:

3/15 7/15 15/15

= 0,20 = 0,4666

0,20 0,47 1,00

Paso 3 Elaboramos la tabla calculando el número de ítems por contenido y categoría, considerando el límite inferior del intervalo. (20 – 25)

Cálculo del número de ítems: A A A B B B C C C D D D E E E

x x x x x x x x x x x x x x x

I II III I II III I II III I II III I II III

x x x x x x x x x x x x x x x

20 20 20 20 20 20 20 20 20 20 20 20 20 20 20

= = = = = = = = = = = = = = =

0,13 0,13 0,13 0,27 0,27 0,27 0,13 0,13 0,13 0,20 0,20 0,20 0,27 0,27 0,27

x x x x x x x x x x x x x x x

0,33 0,20 0,47 0,33 0,20 0,47 0,33 0,20 0,47 0,33 0,20 0,47 0,33 0,20 0,47

x x x x x x x x x x x x x x x

20 20 20 20 20 20 20 20 20 20 20 20 20 20 20

= = = = = = = = = = = = = = =

0,851 0,521 1,221 1,78 1,08 2,53 0,851 0.52 1,22 0,32 0.8 1,88 1,78 1,08 2,53

= = = = = = = = = = = = = = =

1 1 1 2 1 3 1 1 1 1 1 2 2 1 3

Total ÍTEMS

TABLA DE ESPECIFICACIÓN: Capacidades

I 0,33

II 0,20

III 0,47

TOTAL

1 2 1 1 2 7

1 1 1 1 1 5

1 3 1 2 3 10

3 6 3 4 6 22

Contenidos

A = 0,13 B = 0,27 C = 0,13 D = 0,20 E = 0,27 TOTAL CONFIABILIDAD

El concepto de confiabilidad de un test, hace referencia a la consistencia de los puntajes obtenidos por un mismo grupo de sujetos en una serie de mediciones tomadas con el mismo test. Según esto, la confiabilidad denota estabilidad y consistencia de los puntajes, esperándose que no presenten variaciones significativas en el curso de una serie de aplicaciones del test. Una medida es confiable (dice Thorndike, Robert: Test y técnicas de medición en Psicología y Educación), en el grado en que un individuo contesta lo mismo en mediciones repetidas. Formas: 1º Medición de la confiabilidad a partir de la correlación producto-momento de Pearson (r) 2º Medición de la confiabilidad a partir de los coeficientes Kuder- Richardson 20, 21.

Antes de describir cada uno de los índices de confiabilidad es necesario precisar que para la aplicación de la prueba se debe tener un grupo piloto, es decir, un grupo de alumnos que tengan las mismas o similares características que el grupo a investigar. a. Medición de la confiablidad a partir de la correlación producto-momento de Pearson (r) a.1. Repetición del test (test- retest) Consiste en tomar una misma prueba una segunda vez; para probar la consistencia de los resultados, y a través de ello, determinar si el test es confiable o no. La reaplicación de un test puede reflejar la existencia o no de variaciones en las respuestas y por lo tanto de las puntuaciones. Se asume que puede existir variaciones parciales por los efectos de la memoria y la práctica. a.2. Formas paralelas de test Las formas equivalentes de un test han de entenderse como formas construidas conforme a las mismas especificaciones, pero compuestas de muestras separadas de conducta en el área definida. Si se dispone de dos formas de un test, debemos administrar a cada alumno, primero una forma y luego la otra. La correlación (índice estadístico) entre las dos formas proporcionará un adecuado coeficiente de confiabilidad. a.3. Test sub- dividido Es un procedimiento más simple, en el que a menudo se confía para obtener dos partes equivalentes, consiste en poner preguntas alternas en los dos medios test, es decir poner todas la preguntas “impares” en una unidad del test (test “A”) y todos los items “pares” en la otra unidad (test “B”). El índice de correlación que se obtiene de estas dos calificaciones nos da una medida de la precisión con que el test califica al individuo. Se puede aplicar el índice de correlación producto- momento de Pearson, cuya fórmula es la siguiente: r= √

N∑xy - (∑x) (∑y) N ∑x2 – (∑X)2 N ∑y2 - (∑ y)2

Ejemplo de aplicación de ( r) Sujeto 1 2

Puntaje total items pares 58 45

Puntaje total items impares 46 54

(x) (y) (x)2 2668 3364 2430 2025

(y)2 2116 2916

N N = 50

b. Medición de la confiabilidad a partir del coeficiente de Kuder-Richardson b.1. Coeficiente Kuder- Richardson- 20 (KR 20); FÓRMULA

K ( 1 - ∑ piqi)

KR20 =

K –1

Donde: o o o o

K = número de items pi = proporción de aciertos qi = proporción de errores ∑ = sumatoria S2 = varianza de los puntajes

Ejemplo 1º. Se aplica una prueba de 10 items, cada item tiene dos alternativas (verdaderofalso). Se otorga puntajes: • Acierto = 1 punto , identificado por “p” • Desacierto = 0 punto, identificado por “q” 2º Se aplica la prueba a cinco (5) alumnos, y el análisis en un cuadro de doble entrada: • Cada alumno con sus dos alternativas: acierto (p) y desacierto (q) Sujetos Items 1 2 3 4 5 6 7 8 9 10 X (puntaje) PROPORCIÓN

1 p

2 q

V V V V V V V V V V 10 1

0 0

V V V V V 5 0,5

V V V V 4 0.4

V V V V V V 6 0,6

p V V V V V V 6 0,6

5 q

V V V V 4 0,4

q V V V V V V 6 0,6

3º Se hace un análisis de los puntajes/ proporción, para encontrar la sumatoria (∑) de los aciertos y errores (∑piqi) Proporción Sujetos 1 2 3 4 5

4º

Pi 1 0,5 0,4 0,6 0.4

qi 0 0,5 0,6 0,4 0,6

piqi 0 0,25 0,24 0,24 0,24 0,97 ∑ piqi

Luego se analizan los puntajes totales o de toda la prueba: Puntajes Sujetos 1

(1) Xi 10

(2) (xi – x ) (10- 5,8) = 4, 2

(3) (xi - x ) 2 (4,2)2 = 17,64

2 3 4 5 ∑ xi

5 4 6 4 29

(5 – 5,8) = -0,8 (4 – 5,8) = -1,8 (6 – 5,8) = 0,2 (4 – 5,8) = -1,8

(-0,8)2 = (-1,8)2 = (0,2)2 = (-1,8)2 = 24,8

0,64 3,24 0,04 3,24

a) Obtenga el valor de la x para pasar a la columna dos (2) X = ∑ xi N

= 29 5

= 5,8 // (media aritmética 5,8)

b) Obtenga el valor de la varianza (S2), columna tres (3) S2 = (xi – X) 2

24,8 = 4,96 5 5º Como último paso aplicamos la fórmula donde: K = 10 ∑piqi = 0,97 S2 Desarrollo KR20 =

KR20 =

K K –1

( 1 – ∑piqi ) S2

= 4,96

10 10 – 1

( 1 – 0,97) = 4,97

10 9

(1 – 0,195) = ( 1,11) (0,805) = 0.89//

Si KR20 (coeficiente) obtenido es inferior a 0,80, la prueba no es confiable. Para el ejemplo presentado supera el mínimo exigido, es de 0,89, por lo tanto, podemos decir que la prueba es confiable. b.2. Coeficiente Kuder Richardson 21 (KR21) Se dice que las puntuaciones de una prueba son confiables cuando aplicadas en diversas oportunidades se obtienen resultados aproximadamente similares. La confiabilidad será entonces “una estimación del grado de consistencia o constancia” entre repetidas mediciones efectuadas a los alumnos con el mismo instrumento. El coeficiente KR21 se aplica especialmente a pruebas en donde los items tienen un nivel de dificultad equivalente, son las pruebas de poder o items politómicos (muchos valores) (se recomienda aplicar este coeficiente para pruebas de conocimientos. Fórmula:

KR21 = K Donde: K X S2

(1-

K–1 = número de items = media aritmética = varianza

Xi ( K -_ X ) KS2

)

Ejemplo: se aplicó una prueba a un grupo de alumnos y se obtuvieron los siguientes datos K = 20 items X = 17 S2 = 9 Aplicamos la fórmula: KR21 = 20 ( 1 - 17 ( 20 – 17)

) =

( 1 – 17 ( 3 ) ) = 1,05 ( 1 – ( 51 )

) 20 – 1 sigue...= 1, 05 (1 – 0,28)

20 (9) 19 = 1,05 ( 0,72 )

180 0,756//

180

Si el coeficiente obtenido supera el valor de 0,60, (para pruebas construidas por el docente investigador) concluimos que la prueba es confiable. Para pruebas estandarizadas el mínimo exigido es de 0,90

2.3.

INDICE DE DIFICULTAD

Habiendo aplicado uno de los índices de confiabilidad a una prueba, y al no obtener el calificativo de CONFIABLE, se procede a encontrar el INDICE DE DIFICULTAD. Según la interpretación clásica, es el valor que nos indica que tan fácil o difícil es un ítem. Fórmula : ID. = Número de respuestas correctas

= Nº

RC Número total de personal que respondieron la prueba

Nº

TP Ejemplo:

Se aplica una prueba de cinco (5) items, a veinte (20) estudiantes: ITEMS Nº TP Nº RC Índice de dificultad ID

1 20 20 20/20

2 20 0 0/20

3 20 10 10/20

4 20 15 15/20

5 20 5 5/20

0,50

0,75

0,25

Tenemos entonces: ID = 1 ID = 0 ID = 0,5

pregunta muy fácil pregunta muy difícil grado de dificultad mediano.

La tarea siguiente deberá ser “reconstruir” el item con alto índice de dificultad y complejizar los items que resulten calificados como muy fáciles, pero antes de ello se debe elaborar una escala para buscar el balance de la prueba por su índice de dificultad. A continuación se presentan a manera de ejemplos dos modelos. MODELO 1:

Índice Dificultad 0 - 0,25 0,26 - 0,50 0,51 - 0,75 0,76 - 1,00

CONDICIÓN Muy difícil Difícil Fácil Muy fácil

PORCENTAJE 10 % 40 % 40 % 10 %

MODELO 2: Índice Dificultad 0 - 0,20 0,21 - 0,40 0,41 - 0,60 0,61 - 0,80 0,81 - 1,00

CONDICIÓN Muy difícil Difícil Medianamente Fácil Muy fácil

PORCENTAJE 10 % 20 % 40 % 20% 10%

Estas son escalas convencionales, en todo caso se recomienda elaborar su propia escala, buscando el balance de la prueba. Reconstruida la prueba se procederá a una nueva aplicación piloto, bajo las mismas condiciones que la primera aplicación.

BIBLIOGRAFÍA § § § § § § § § § § § § § § § § § §

Alarcón, R. (1992). Métodos y diseño de investigación del comportamiento. Lima: Fondo Editorial. Anastasi, A. (1971). Test psicológicos. Madrid: Aguilar. Ander Egg, E. (1984). Introducción a las técnicas de investigación. Buenos Aires: Humanitas. Ary, J. y otros. (1985). Introducción a la investigación pedagógica. México: Interamericana. Bardin, L. (1986). El análisis de contenido. 21ª edición. Madrid: AKAl. Canales, I. y otros. (1984) Evaluación. Tomo I y II. Lima: INIDE Casanova, M. (1995). Manual de Evaluación Educativa. Madrid: La Muralla. Cohen y Manion (1990). Métodos de investigación educativa. Madrid: La Muralla. Elliot, J. (1990). La investigación acción en Educación. Madrid: Morata. Elliot, J. (1986). Investigación acción en la escuela. Valencia: Generatlitat Valenciana. Guba, E., Lincoln, Y. (1989). Fourth generation evaluation. Nembury Park. Kerlinger, F. (1987). Investigación del comportamiento. México: Interamericana. Muñoz, J., Quintero, J., Munévar, R. (2001). Cómo desarrollar competencias investigativas en educación. Colombia: Magisterio Pérez, G. (2004). Investigación cualitativa Retos e interrogantes I. Métodos, II Técnica y análisis de datos. Madrid: La Muralla. Rosales, C. (1990). Evaluación Formativa. Madrid: Narcea Strauss, J. (2002). Bases de la investigación cualitativa. Técnicas y procedimientos para desarrollar la teoría fundamental. Medellín: Universidad de Antioquia. Thorndike, R. (1979). Test y técnicas de medición en psicología y educación. (copias mimeografiadas). Vega, R. (1979). Evaluación, Copias mimeografiadas para el Censo. Piura, s/e.