Seminario Iberoamericano de Evaluaci贸n de los niveles de alfabetismo de Personas J贸venes y Adultas 23-25 de noviembre de 2010 Asunci贸n, Paraguay
1
Estudios internacionales
Instituto de Evaluación Ministerio de Educación de España Unión Europea EECL Estudio Europeo de Competencia Lingüística
OCDE PISA (15 años). Comprensión lectora, Matemática, Científica PIAAC (16-65 años). Comprensión lectora, Matemática TALIS (profesorado) Evaluaciones IEA ICCS (14 años). Social y ciudadana PIRLS-TIMSS (9 años). Comprensión Matemática y Científica TEDS-M. Formación inicial del profesorado de matemáticas
Un Nuevo Dise帽o para una Nueva Era, OCDE
Programme for the International Assessment of Adult Competencies Programa internacional para la evaluaci贸n de las competencias de las personas adultas
Antecedentes IALS (International Adult Literacy Survey) Se llevó a cabo en 3 fases (1994, 1996 y 1998) en 20 países. Primer estudio comparativo internacional de habilidades de adultos
ALL (Adult Literacy and Life Skills Survey) En 2003 midió las competencias lingüística y matemática, la resolución de problemas e indirectamente la familiaridad con las tecnologías de la información y la comunicación. 4
Países participantes Alemania Australia Austria Bélgica Canadá
Chile
Corea Dinamarca
Irlanda Hungría Italia Japón Malta
Noruega Nueva Zelanda Países Bajos
España
Polonia
Estados Unidos Estonia Federación Rusa Finlandia Francia
República Checa República Eslovaca Reino Unido Suecia
Portugal
PIAAC … Entrevistará en sus domicilios a 5.000 personas adultas (en cada país) de edades comprendidas entre los 16 y 65 años, para medir sus competencias en comprensión lectora y matemática. Recogerá información sobre los antecedentes, resultados y contextos de desarrollo y el uso de las competencias.
6
para… Proporcionar una evaluación comprensiva del potencial del capital humano a: Las personas con alto nivel de rendimiento (mostrar hasta qué punto son capaces de aplicar sus competencias para resolver problemas difíciles que requieren dominio de la tecnología). Las personas con bajas competencias en comprensión y expresión lectora (mostrar hasta qué punto sus problemas tienen que ver con la realización de las funciones de lectura básicas o con la comprensión y aplicación).
Mostrar hasta qué punto las competencias que poseen las personas son utilizadas en el ámbito del trabajo e identificar el papel que juegan estas competencias en la mejora de las perspectivas de la población en riesgo en el mercado laboral y la ganancia social de la educación y la formación Ayudar a los gobiernos a entender mejor cómo los sistemas de educación y formación pueden desarrollar estas competencias. 7
PIAAC
Un estudio internacional multi-ciclíco de las competencias de las personasas adultas Medida de las Medida de resultados competencias de personas sociales y económicos adultas clave
Medida a través de tests en áreas donde existen metodologías Medida indirecta en otras áreas que apoyan los objetivos de PIAAC Personas
encuestadas
A través de un estudio de requisitos laborales
Personas encuestadas
Evaluación directa e indirecta
Evaluación indirecta
Personas encuestadas
Personas encuestadas
Medida de la utilización de las Evaluación competencias indirecta
ej. Preguntas sobre competencias relacionadas con el trabajo JRA
Experiencia en el mercado laboral , estatus y transiciones, salarios , aprendizaje de personas adultas y resultado social
Un cuestionario de contexto
Evaluación indirecta
Contextualizar y analizar elementos determinantes de las competencias, su desarrollo y aplicación
Plan de análisis e informes del PIAAC:
2009 - 2010
2011-2012
2013
• Estudio Piloto. Dificultades
• Estudio principal • Octubre 2011-Marzo 2012
• El primer informe internacional se publicará en septiembre de 2013
9
El proyecto en España Ministerios, departamentos y otras instituciones participantes en el GTEPIAAC: Ministerio de Educación
Instituto de Evaluación Oficina de estadística Subdirección Gral Tecnologías de la Información Subdirección Gral de Aprendizaje a lo largo de la vida
Ministerio de Trabajo e Inmigración
Subdirección General de Políticas Activas de Empleo
Ministerio de Economía y Hacienda Instituto Nacional de Estadística
10
Características de la prueba Encuesta a domicilio que se divide en dos partes: Entrevista sobre los antecedentes personales, educativos/formativos y laborales del entrevistado Ejercicios de medición de habilidades de cálculo y comprensión lectora. El test valora dos aspectos básicos, obligatorios para todos los países participantes: el grado de alfabetización y el de cálculo
Dos opciones internacionales: Componentes de la comprensión lectora (España) Resolución de problemas por ordenador 11
Formatos Dos formatos perfectamente equivalentes: Formato de cuadernillo de papel Formato informatizado La asignaci贸n de las personas de la muestra a la prueba en uno y otro formato se realiza de forma aleatoria.
12
Muestra Muestreo realizado siguiendo el procedimiento habitual de encuestas dirigidas a hogares (polietรกpico). Estudio Piloto: 1200 encuestas vรกlidas de entre una muestra de 4250 participantes Estudio principal: 6000 encuestas vรกlidas de entre una muestra de 30000 participantes
LENGUAS Castellano, valenciano.
catalán,
gallego,
euskera
y
Estudio Piloto: Laboratorio cognitivo (10-15 personas por lengua) Estudio Principal: ampliación a 6.000 casos en España por las lenguas
14
Marco de la Evaluación PIAAC Reading Component: A Conceptual Framework Marco de los componentes de lectura: Alfanumérico Decodificación y reconocimiento de palabras visual Significado de palabras (vocabulario escrito) Procesamiento de frases Comprensión de textos básicos
15
Nivel
5 650
4 575
3
Lo que saben y lo que saben hacer los alumnos en cada uno de los niveles de rendimiento
En el nivel 5 los alumnos, además de los conocimientos y destrezas de los niveles anteriores, son capaces de: • sintetizar un texto divulgativo, • elaborar un texto organizando sus partes de forma que expresen una progresión temática que permita seguir la información que se pretende dar, utilizando al mismo tiempo los mecanismos más relevantes para conseguir una cohesión léxica y gramatical, con legibilidad y presentación correctas, • resumir por escrito la información extraída de un texto, eliminando la información no relevante. En el nivel 4 los alumnos además de los conocimientos y destrezas de los niveles anteriores pueden: • organizar la información de un texto reconociendo palabras poco usuales e identificando las partes del mismo y sus relaciones, • valorar las acciones de los personajes a partir del conjunto de informaciones que aparecen aisladas a lo largo de un texto y escribe sus reflexiones, • adaptar, recrear y aplicar a otros contextos lo leído en un texto, • elaborar un texto -a partir de otro leído- con coherencia, cohesión léxica y gramatical y progresión temática de las ideas que quieren expresar. En el nivel 3 los alumnos, además de los conocimientos y destrezas de los niveles anteriores, pueden: • sintetizar información práctica que les permite actuar adecuadamente en la vida cotidiana, • buscar información en textos con mayor extensión y dificultad que los de anteriores niveles, • reflexionar sobre los valores o formas de ser de los personajes a partir de la forma de expresarse de los mismos, • organizar la información y reconociendo e identificando las relaciones entre partes concreta del
Competencia en comunicación lingüística Nivel 1
Nivel<1
Nivel 2 7
24
1
7
23
1
7
22
1
7
23
32
2
8
22
31
2
9
23
2
9
22
La Rioja
Castilla-Mancha
2
Cataluña Andalucía C. Valenciana Canarias
Total ESPAÑA
33
24
32
25
31
12
26
13
25
12
24
34
13
23
30
26
11
9
24 31
13 22
29
3
13
28
3
13
30
4
13
29
3
14
4
14
30
29
17
6
4
14
30
28
17
7
9
3
31
31
26
31
23
30 13
27
29
12
28
30
7
16
26
17
6
18
30
19
9 17
29
32
7
18
33
28
17
29
18 22
4
31
8
13
6 17
11
Nivel 5
3
6
Ceuta
Nivel 4
1
Castilla y León
Cantabria
Nivel 3
13 13 12 6
5
4 5
3
2 19 19
8 8
Competencia Matemática Dimensiones Reproducción
Procesos
Conexión Reflexión
Números y operaciones
Contenidos
La Medida Geometría
Trat.de la información, azar y prob. -100
-50
0
50
100
Competencia en Comunicación Lingüística Dimensiones Aproximación/Identificación
Organización
Comprensión
Integración y síntesis Reflexión/Valoración
Presentación/ Revisión Adecuación Coherencia Cohesión
Expresión
Resultados medios de los alumnos de acuerdo con el nivel de estudios de los padres LING
MAT
MFIS
SyC
540 520
500 480 460 440 420
No complet贸 estudios obligatorios
Estudios obligatorios (ESO,EGB)
Bachillerato,FP medio y superior
Estudios universitarios medios o superiores
Ejemplo de ítem
Llamadas internacionales Llamar a Portugal desde el extranjero: Cuando usted hace una llamada directa a Portugal desde otro país, después de marcar el número que permite el acceso al servicio internacional (que varía de país a país), debe marcar el 351 ( prefijo de Portugal) y el prefijo interurbano sin el primer 0. Ejemplo: Para llamar al 12 34 56 de Lisboa, debe marcar: Hacer llamadas internacionales desde Portugal: Las comunicaciones directas internacionales por teléfono pueden hacerse marcando el prefijo internacional y los prefijos del país y de la ciudad, seguidos del número de teléfono deseado. Ejemplo: Para llamar al número 86 47 36 de Bonn, Alemania, debe marcar: 21
Preguntas 10-14. Use la información telefónica de Portugal, de la página anterior, para responder a las preguntas 10 a la 14. 10. Identifique las dos situaciones en las que tendría que marcar el 098.
11. Escriba el número completo que tendría usted que marcar para llamar por teléfono desde Portugal al número 395613 de Luanda, Angola. 12. ¿Cuál es el prefijo de país si quiere llamar a Portugal desde otro país? 13. ¿Qué número marcaría si estuviese en Portugal y necesitase información sobre prefijos de países? 14. Rodee con un círculo el número al que llamaría para contactar con Canadá usando AT&T Canadá.
22
Ejemplo de ítem
Llamadas internacionales Pregunta 1. Aquí tiene una fotografía de botellas de bebida. 1. En total, ¿cuántas botellas hay en las dos cajas llenas?
23
Ejemplos de componentes de lectura
Instrucciones: Encierre en un círculo la palabra SÍ, si la oración tiene sentido. Encierre en un círculo la palabra NO, si la oración no tiene sentido. 1.
La niña corrió.
SÍ
NO
2.
Él nadó una pintura.
SÍ
NO
3.
El suave gato ronroneaba.
SÍ
NO
4.
Tres banderas levantaron el auto.
SÍ
NO
5.
Una serpiente se tragó al ratón gris.
SÍ
NO
6.
Él hombre más hambriento se comió una gran cena.
SÍ
NO
7.
Un buen amigo es amable y bolsillo.
SÍ
NO
8.
El gato que perseguía al ratón escribió una vela.
SÍ
NO
9.
Si la cocina está caliente, debería tocarla.
SÍ
NO
SÍ
NO
10. La mujer que fue a la biblioteca sacó algunos libros.
Estructura organizativa Board of Participating Countries
NPM
OECD Secretariat
Consortium
SMEG TAG
Reuniones Internacionales OCDEPIAAC Pr贸xima reuni贸n del Consejo (Board of Participating Countries): 15-17 de diciembre de 2010 en Washington, Estados Unidos
Pr贸xima reuni贸n de NPMs: 12-17 de diciembre de 2010 en Princeton, Estados Unidos
Cuando se puede medir aquello de lo que se habla, y expresarlo con números, sabes algo de ello(…) Lord Kelvin
¡Aguije! ¡Obrigada! ¡Gracias! Rosario Sánchez Núñez-Arenas www.institutodeevaluacón.mec.es