Consórcio Mineiro das Escolas Médicas para realização do Teste do Progresso – TEPMINAS
Teste de Progresso Elisabeth Campos de Andrade FACMED/UFJF
O que é Teste de Progresso? • Avaliação cognitiva, prova escrita • Com questões de múltipla de escolha com conteúdo de todo o curso • Abrange todas as grandes áreas (ped, clínica, cirurgia, gineco-obstetrícia, saúde coletiva e área básica • Avalia o domínio do conhecimento esperado para os estudantes ao final do curso • Aplicação simultânea a todos os alunos
O que é Teste de Progresso? • aplicado a intervalos regulares, durante todo o curso • permite a construção de curvas de desempenho do aluno ao longo do curso
• O aspecto longitudinal do TP provê uma medida demonstrável do ganho de conhecimento
Etapas para implementação do TP Construção da matriz de competências •conteúdos/objetivos de aprendizagem •cenários e níveis de atenção •nível de dificuldade
A matriz é essencial para: • validade (garante que o teste esteja de acordo com os objetivos de aprendizagem) • confiabilidade (conduzido de forma que possa ser replicável ao longo dos anos) •fazer o mapeamento (blueprint)
Exemplo de matriz de prova
Etapas para implementação do TP Construção da matriz de competências Divisão dos temas entre as áreas: •Pediatria •Clínica Médica •Cirurgia •Ginecologia/obstetrícia •Saúde coletiva •Área básica •+ Ética
Etapas para implementação do TP Elaboração de itens •treinamento dos docentes •questões ou itens de acordo com: • Diretrizes Curriculares Nacionais (DCN, 2014) • matriz de competências
Etapas para implementação do TP Elaboração de itens • Solicitação de questões para todas as áreas • Treinamento para elaboração de itens em pequenos grupos • Seleção das questões mais adequadas antes da seleção interinstitucional
Refinamento das questões
Etapas para implementação do TP Seleção das questões pelo Núcleo •Comissão de docentes das diversas áreas e de diversas escolas para revisão e seleção
Etapas para implementação do TP Divulgação do TP • Sensibilização de docentes • Sensibilização de discentes • Email institucional • Banners em pontos estratégicos • Facebook • Site da faculdade • Divulgação em sala de aula • Envolvimento do DA
Etapas para implementação do TP Análise das questões – após aplicação •Índice de dificuldade das questões: cálculo da proporção de erros na questão. •Índ. Dificuldade = 100 - % acerto 100 •Alto = item difícil •Baixo = item fácil
Índice de Dificuldade
< ou = 0,19 Item muito fácil
0,20 a 0,39
0,40 a 0,79
> 0,80
Item fácil
Item de média dificuldade
Item difícil
Edudata
Etapas para implementação do TP Análise das questões – após aplicação •Índice de Discriminação das questões: diferença entre as médias de acerto de determimado item, calculadas para os 27% que atingiram maiores escores no teste, dito grupo superior, e para os 27% com menores escores no teste, dito grupo inferior.
Etapas para implementação do TP Análise das questões – após aplicação •Índice de Discriminação: % acerto grupo sup - % acerto grupo inf 100
Índice de Discriminação
< ou = 0,19
0,20 a 0,29
0,30 a 0,39
> ou = 0,40
Item deficiente, rejeitar
Item deficiente, sujeito a reelaboração
Item bom, mas sujeito a melhoria
bom
Edudata
Índice de Discriminação 100%
90% 90%
85%
85%
80%
70%
60%
55% 50%
50%
45% 40%
40%
35%
35%
Ind Discr Boa ano 2014
30% 30%
25%
25%
20%
10%
0%
C Básicas
Ind Discr Boa ano 2013
Cirurgia
Clín Méd
GO
Pediatria
S Colet
Divulgação dos resultados aos alunos e coordenadores das escolas
Análise dos resultados
Divulgação das análises aos docentes e discentes
Discussão de estratégias de correção de possíveis fragilidades e deficiências
Análise dos Resultados do TP Nota individual: geral e por área do conhecimento Média geral do teste (todos os alunos de todas as séries/períodos) Média parcial de cada série/período Percentual de acertos por área Percentual de acertos por categoria por período Percentual de comparecimento geral e por período
Feedback para os estudantes Divigulgação de caderno de respostas no site com: •gabarito, •comentários e justificativa, •referências bibliográficas.
Resultado para o estudante no site
Comparação do desempenho em 2013 e 2014
Resultado para o estudante no site
Evolução do progresso em 2014, em comparação com 2013
Resultado para o estudante no site
Comparação com todo o grupo de estudantes do 6 ano (2014)
Feedback para a escola e para o consรณrcio
• Porcentagem de adesão: • 2013 – 95,3% - 2089 estudantes • 2014 – 74,43% - 3392 estudantes
Total de alunos avaliados: 2074 Escolas Médicas Participantes: UFJF, SUPREMA, UFU 2013
Total de alunos avaliados: 3341 Escolas Médicas Participantes: UFJF, SUPREMA, UFU, UNIFENAS BH, UNIFENAS ALFENAS E UFTM 2014
MĂŠdias gerais 2013/2014 MG
Médias TEPMINAS 2014
Distribuição das questões em relação ao grau de dificuldade TP/2014
S. COLETIVA
PEDIATRIA
GO
FÁCEIS E MTO FÁCEIS MÉDIAS DIFÍCEIS
C. MÉDICA
CIRURGIA
C. BÁSICAS
0
10
20
30
40
50
60
70
Vantagens do Teste de Progresso • Processo contínuo de avaliação • Maior importância ao progresso que à nota casual • Fonte de informação para “feedback” ao Estudante, à Disciplina/Departamento, à Escola • Boa validade, confiabilidade e comparabilidade • Baixo custo quando colaborativo • Integra disciplinas na preparação e discussão dos resultados • Desenvolvimento docente “significativo”
Vantagens para avaliação de estudantes • Auto-avaliação por parte do aluno – feedback sobre a evolução da sua aquisição do conhecimento – análise do percentual de acerto individual de questões – Comparação com o desempenho da série, identificando seus acertos e principalmente a(s) área(s) que requer (em) mais atenção (fragilidades) – orientação para correção das fragilidades por meio de estudo baseado no comentário e bibliografia indicados no gabarito (oportunidade de aprendizado)
Vantagens para avaliação de estudantes • Avaliação FORMATIVA • Previne o estudo dirigido àprova • Sigilo das notas
Vantagens para a Instituição • Avaliação do conhecimento global do seu corpo discente • Avaliação por áreas correções • Investimento na formação dos estudantes • Investimento na capacitação do corpo docente • quando realizado de forma colaborativa entre várias escolas (consórcios), há um pool de questões, troca de experiências
Desvantagens • Dificuldade de seleção/elaboração de questões diferentes a cada ano – necessidade de banco de itens • Exige questões (itens) qualificados – necessidade de definição de conteúdos/objetivos de aprendizagem • Tempo para elaboração das questões
• Não avalia habilidades ou atitudes • Necessidade de outras ferramentas de avaliação
Consórcio Mineiro das Escolas Médicas para realização do Teste do Progresso – TEPMINAS
Maio de 2013
TEPMINAS 2013 • UFJF (U. F. de Juiz de Fora) • SUPREMA (Fac. Ciências Médicas/JF) • UFU (U. F. de Uberlândia)
TEPMINAS 2014 • • • • • • • •
UFJF (U. F. de Juiz de Fora) SUPREMA (Juiz de Fora) UFU (U. F. de Uberlândia) Faculdade de Ciências Médicas de MG UNIFENAS - Alfenas UFTM (U. F. do Triângulo Mineiro) UNIFENAS-BH UFV (U. F. de Viçosa)
TEPMINAS 2015 UFJF (U. F. de Juiz de Fora) SUPREMA (Juiz de Fora) UFU (U. F. de Uberlândia) UNIFENAS- Alfenas UFTM (U. F. do Triângulo Mineiro) UNIFENAS-BH UFV (U. F. de Viçosa) UFJF/campus Governador Valadares UFOP (U. F. de Ouro Preto) UFSJD/campus Dom Bosco
TEPMINAS • 2013 • 2014 • 2015 – TP unificado
Projeto ABEM • Primeira oficina: nov de 2012 • Última oficina: abril de 2014 • Anterior ao projeto: 4 núcleos funcionando • Hoje 12 núcleos com 80 escolas médicas participantes
Preparação para o TP nacional Oficinas Nacionais dos Núcleos Interinstitucionais •janeiro de 2013 •abril de 2014 •maio de 2015 TP nacional: 30 de setembro de 2015 •8 núcleos regionais •58 escolas (57 analisadas) •24.313 estudantes, índice de ausência de 23,57%.
Atualidade do Teste de Progresso • Várias instituições nacionais e internacionais já aplicam o TP • Muitas instituições reconhecem a importância do TP, valorizando-o na Prova para ingresso na Residência Médica
Obrigada pela atenção!!!!