Guia prático de Elaboração e Validação de Questões by Fechine

GUIA PRÁTICO

ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES

GUIA PRÁTICO

ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES

Coordenação Acadêmica NUPETEC

Autores Milena Saavedra Lopes do Amaral Saulo Felipe Costa Nereide de Andrade Virgínio Gladys Moreira Cordeiro da Fonseca

1ª Edição Escola de Enfermagem Nova Esperança João Pessoa - 2018

DIRETORA FAMENE Kátia Maria Santiago Silveira VICE-DIRETOR FAMENE Eitel Santiago Silveira SECRETÁRIA GERAL Carolina Santiago Silveira Polaro Araujo SECRETÁRIO ADJUNTO Edielson Jean da Silva Nascimento COORDENADORA ACADÊMICA Nereide Andrade Viginio COORDENADORA DO CURSO DE MEDICINA-FAMENE Gladys Moreira Cordeiro da Fonseca COORDENADOR DO BANCO DE QUESTÕES Milena Saavedra Lopes do Amaral COORDENADOR DO NUPETEC Saulo Felipe Costa

REVISÃO EDITORIAL Amanda Marília da Silva Sant’Ana PROJETO GRÁFICO E DIAGRAMAÇÃO Flaviana Silva de Lima

ESCOLA DE ENFERMAGEM NOVA ESPERANÇA LTDA - FAMENE Campus: Av. Frei Galvão, 12 - Gramame, João Pessoa - PB CEP 58067-695 | Fone/Fax : (83) 2106-4777

SUMÁRIO 1.

DEFINIÇÕES E CONCEITOS 1.1.

Questão

..........................................................................5

..............................................................................................5

ESTRUTURA QUESTÃO MÚLTIPLA ESCOLHA 2.1.

Texto-base

..........................................................................................6

2.1.1 Situação-problema

.............................................5

...................................................................6

2.2.

Enunciado

...........................................................................................6

2.3.

Alternativas

.........................................................................................6

2.4.

Tipos de Questões

...............................................................................7

AUXILIANDO NO PASSO A PASSO DA CONSTRUÇÃO DA QUESTÃO

.....11

4. AUXILIANDO NA CLASSIFICAÇÃO DO GRAU DE DIFICULDADE, SEGUNDO A TAXONOMIA DE BLOOM .................................................................11 5. AUXILIANDO NA VERIFICAÇÃO BÁSICA DAS PROVAS ANTES DE APLICÁ-LAS AOS ALUNOS ......................................................................................11 6.

REFERÊNCIAS

................................................................................................12

ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES GUIA PRÁTICO

DEFINIÇÕES E CONCEITO

Tendo em vista desenvolver a habilidade de elaboração e revisão de questões, a coordenação do Banco de Questões FACENE/ FAMENE criou este Guia com as orientações básicas para a formulação de questões objetivas de múltipla escolha. Este manual apresenta definições e conceitos utilizados na área de avaliação educacional adotados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira- Inep/ME, em

seus guias de elaboração e revisão de itens, para fundamentar a elaboração de questões. A intenção não é de oferecer regras rígidas para cercear a criatividade dos elaboradores e “engessar” o formato dos itens. Ao contrário, pretende-se que os professores criem itens interessantes que estimulem o bom desempenho de quem os responde. Itens criativos, entretanto, não dispensam cuidados especiais para garantir sua eficiência como bons instrumentos de avaliação.

1.1. Questão A elaboração de questões não se restringe, entretanto, à avaliação da aprendizagem escolar, mas aplica-se às diversas modalidades e tipos de avaliação, como os processos seletivos (vestibulares e concursos públicos), os exames de certificação escolar, certificação profissional e ocupacional e as avaliações de sistema ou avaliações em larga escala(ENEM). Todas essas avaliações utilizam questões como seu principal instrumento para avaliar os conhecimentos e saberes necessários ao perfil avaliado. As questões objetivas permitem verificar tanto comportamentos simples - de memorização ou reconhecimento - como comportamentos mais complexos, envolvendo compreensão,

aplicação, análise, síntese e avaliação. Segundo Vianna (1982), as questões objetivas mostram-se menos vulneráveis aos erros de julgamento na atribuição dos escores, sendo especialmente recomendáveis nos casos em que grupos a serem avaliados são grandes, bem como quando há grande pressão para a divulgação dos resultados. Na elaboração da questão, é de suma importância estar atento para evitar o que tem se mostrado muito comum em questões utilizadas em concursos: a indução ao erro (“pegadinha”). Essa estratégia cria situações que exigem do participante atenção a detalhes que o levam a errar a questão, não porque não domina, necessariamente, a habilidade testada.

ESTRUTURA DA QUESTÃO DE MÚLTIPLA ESCOLHA

O processo de composição da questão desenvolve-se artesanalmente e a versão final será alcançada após várias revisões. A questão/item de múltipla escolha utilizada nos testes do Inep, divide-se em três partes, conforme ilustrado na Figura ao lado: GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

TEXTO-BASE ENUNCIADO ALTERNATIVAS

Devem ser observadas a coerência e a coesão entre suas partes (texto-base, enunciado e alternativas), de modo que haja uma

articulação entre elas e se explicite uma única situação- problema e uma abordagem de conteúdo.

2.1. Texto-base Essa parte inicial da questão deve apresentar as informações necessárias para resolução da situação-problema proposta, evitando a exigência de informações sim-

plesmente decoradas, como fórmulas, datas, termos, nomes, enfim, detalhes que não avaliam a habilidade, mas privilegiam a memorização.

2.1.1 Situação-problema A situação-problema deve instigar o estudante na busca pela resposta e deve estar em harmonia com o contexto e o comando da questão. É um desafio apresentado na questão que reporta o participante do teste a um contexto reflexivo e o instiga a tomar decisões, o que requer um trabalho intelectual capaz de mobilizar seus recursos cognitivos e operações mentais. A situação-problema jamais deve

conter informações que possam confundir o estudante e sim conter informações precisas e necessárias para a resolução da questão. Uma situação-problema deve estar contextualizada de maneira que permita ao participante aproveitar e incorporar situações vivenciadas e valorizadas no contexto em que se originam, para aproximar os temas acadêmicos da realidade extraescolar (BRASIL. INEP, 2003).

UMA QUESTÃO NÃO SOMENTE AVALIA, MAS TAMBÉM ENSINA.

2.2. Enunciado O enunciado deve conter uma instrução clara e objetiva da tarefa a ser realizada pelo participante do teste. Essa instrução poderá ser expressa com pergunta ou frase a ser completada pela alternativa correta. A estrutura do enunciado constitui-se de uma ou mais orações e não deve apresentar informações adicionais ou complementares

ao texto-base; ao contrário, deverá considerar exatamente a totalidade das informações previamente oferecidas. É no enunciado que se determina o nível de habilidade cognitiva avaliado, desde a simples identificação de informações explícitas, até níveis mais complexos, como a capacidade de síntese do estudante.

COLOQUE A DIFICULDADE NO CONTEÚDO E NÃO NA MANEIRA DE APRESENTAR A PERGUNTA.

2.3. Alternativas Alternativas são possibilidades de respostas para a situação-problema apre-

GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

sentado, dividindo-se em gabarito e distratores.

2.3.1. Gabarito O gabarito não pode dar margem a dúvidas, indicando, inquestionavelmente a

única alternativa correta que responde à situação-problema proposto.

2.3.2. Distratores Os distratores são as alternativas incorretas à resolução da situação-problema proposta. Além disso, essas respostas devem ser plausíveis, isto é, devem parecer corretas para aqueles participantes do teste que não desenvolveram a habilidade em questão (HALADYNA, 2004). Redigir os distratores requer atenção e dedicação do professor, muitas vezes o professor é zeloso na redação da opção de resposta correta e um

pouco descuidado na elaboração dos distratores, tornando o item de menor qualidade. Aqueles que retratam erros grosseiros ou alternativas absurdas, dentro ou não do contexto do item, tendem a induzir a identificação da alternativa correta. As opções de resposta (distratores e resposta correta) devem apresentar similaridade de estilo e complexidade de redação, mantendo um padrão homogêneo.

2.4. Tipos de Questões Há questões discursivas e de múltipla escolha. Dentre as questões de múltipla- escolha há diferentes tipos de questões, porém, todas elas trazem em comum um enunciado direto, limpo, claro e preciso referente às possibilidades de resposta entre as quais o aluno escolhe a única que responde corretamente ao problema proposto. a) QUESTÃO DE COMPLEMENTAÇÃO SIMPLES OU AFIRMAÇÃO INCOMPLETA – Apresenta o enunciado do problema ou situação-problema como uma afirmação a ser completada por uma das alternativas. Exemplo: ENADE ODONTOLOGIA/ 2013 Todo caminho da gente é resvaloso. Mas também, cair não prejudica demais. A gente levanta, a gente sobe, a gente volta! O correr da vida embrulha tudo, a vida é assim: Esquenta e esfria, aperta e daí afrouxa, sossega e depois desinquieta. O que ela quer da gente é coragem. Ser capaz de ficar aleGUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

gre e mais alegre no meio da alegria, e ainda mais alegre no meio da tristeza... ROSA, J.G. Grande Sertão: Veredas. Rio de Janeiro: Nova Fronteira, 2005. De acordo com o fragmento do poema acima, de Guimarães Rosa, a vida é a) uma queda que provoca tristeza e inquietude prolongada. b) um caminhar de percalços e dificuldades insuperáveis. c) um ir e vir de altos e baixos que requer alegria perene e coragem. d) um caminho incerto, obscuro e desanimador. e) uma prova de coragem alimentada pela tristeza. OBS: As alternativas da questão acima foram iniciadas com letra minúscula por representar uma afirmação incompleta e todas estão corretas mediante a correção linguística e a pontuação. O domínio cognitivo exigido (Interpretar) foi devidamente correlacionado ao grau de dificuldade “fácil” mediante a taxonomia de Bloom.

b) QUESTÃO DE INTERPRETAÇÃO – A questão é construída com base em texto, gráfico, tabela, gravura, fotografia, mapa, ilustração, diagrama e outros materiais para que o aluno faça interpretações, inferências, generalizações, conclusões e críticas. Todos esses tipos de situações-estímulo devem ser extraídos de fonte fidedigna e com as devidas referências.

seguir, enuncia o problema ou situação-problema na forma de pergunta ou afirmação incompleta, e apresenta uma chave de resposta, cabendo ao aluno analisar as alternativas e identificar, na chave de resposta, aquela que corresponde ao resultado da análise efetuada. Recomenda-se esse tipo de item quando se quer avaliar vários tópicos de conteúdo utilizando uma única questão.

Exemplo: Exemplo: A Lei n. 8.213/1991 assegura a contratação de pessoas com deficiência tanto no serviço público como em empresas privadas que empreguem cem trabalhadores ou mais. Todavia, ainda não é tão simples a inserção dessas pessoas no mercado de trabalho, como ilustra a figura abaixo.

Fonte: http://www.wp.clicrbs.com.br>Acesso em: 30 jul.2016 (adaptado).

Com base na imagem apresentada, assinale a opção em que se apresentam corretamente o nome do aparelho utilizado nessa competição de ginástica artística, e a medida científica que se pode realizar no momento de aterrissagem do ginasta, tendo uma plataforma de força colocada logo abaixo da área de proteção. a) b) c) d) e)

Mesa; Velocidade. Mesa; Tempo de reação. Cavalo; Velocidade de reação. Mesa; Força de reação do solo. Cavalo; Velocidade de deslocamento.

OBS: As alternativas da questão acima foram iniciadas com letra maiúscula, por representar uma questão de interpretação e todas estão corretas mediante a correção linguística e pontuação. O domínio cognitivo exigido (Conhecer) foi devidamente correlacionado ao grau de dificuldade “fácil” mediante a taxonomia de Bloom. A imagem está corretamente referenciada. c) QUESTÃO DE RESPOSTA MÚLTIPLA OU COMPLEMENTAÇÃO MÚLTIPLA OU MÚLTIPLA ESCOLHA COMPLEXA Apresenta uma situação-problema contextualizada com alternativas pertinentes a ela. A GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

A respeito da inserção, de pessoas com deficiência, no mercado de trabalho, avalie as afirmações a seguir: I. Assegurada por lei, a contratação de profissionais com deficiência é cada vez mais frequente no serviço público, contudo, a regulamentação de cotas para esses profissionais não abrange as empresas privadas. II. As pessoas com deficiência passaram a ter mais chances de inserção no mercado de trabalho, mas, em geral, elas ainda enfrentam preconceito nos locais de trabalho. III. Um dos maiores empecilhos para a inserção de profissionais com deficiência no mercado de trabalho é de natureza cultural e envolve estereótipos e discriminação. É correto o que se afirma em: a) b)

I, apenas. II, apenas.

c) d) e)

I e III, apenas. II e III, apenas. I, II e III.

(Compreender) foi devidamente correlacionado ao grau de dificuldade ”fácil” mediante a taxonomia de Bloom.

e) QUESTÃO ASSERÇÃO-RAZÃO OU ANÁLISE DE RELAÇÕES - Apresenta duas afirmativas ou asserções que podem ou não ser proposições verdadeiras ou corretas, assim como podem ou não estabelecer relações entre si (causa e efeito, proposição e justificativa, princípio e justificativa, asserção e razão). Esse tipo de questão é indicado para avaliação de habilidades complexas.

d) QUESTÃO DE RESPOSTA ÚNICA – Enuncia o problema ou situação-problema na forma de pergunta e apresenta as alternativas de resposta. O estudante deve ser capaz de identificar a resposta correta (gabarito) ao analisar cinco opções de resposta, sendo uma o gabarito e as outras quatro os distratores.

Exemplo:

Exemplo: (ENADE FISIOTERAPIA/ 2013) O ultrassom terapêutico tem ação estimulante sobre o reparo tecidual quando usado de forma não térmica. Qual mecanismo abaixo representa adequadamente essa ação? a) Fuga de líquidos abaixo do cabeçote, estimulando a redução de edema via endosmose. b) Aumento da permeabilidade da membrana aos íons de cálcio, para agir como segundo mensageiro. c) Diminuição do fluxo sanguíneo arterial, para reduzir a concentração de oxigênio nas fases iniciais do reparo. d) Aumento da extensibilidade do colágeno, principalmente o de tipo II, favorecendo o remodelamento tecidual. e) Absorção da energia mecânica pelo citocromo C oxidase, produzindo aumento de ATP e favorecendo o reparo. OBS: As alternativas da questão acima foram iniciadas com letra maiúscula, por representar uma questão de resposta única e todas estão corretas mediante a correção linguística e a pontuação. O domínio cognitivo exigido GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

Fonte: https://desenvolvimentoambiental.wordpress.com

A partir das ideias sugeridas pela charge, avalie as asserções a seguir e a relação proposta entre elas. I. A adoção de posturas de consumo sustentável, com descarte correto dos resíduos gerados, favorece a preservação da diversidade biológica. PORQUE II. Refletir sobre os problemas socioambientais resulta em melhoria da qualidade de vida. A respeito dessas asserções, assinale a opção correta: a) A asserção I é uma proposição verdadeira, e a II é uma proposição falsa. b) As asserções I e II são proposições verdadeiras, e a II não é uma justificativa correta

da I. c) A asserção I é uma proposição verdadeira, e a II é uma proposição falsa. d) A asserção I é uma proposição falsa, e a II é uma proposição verdadeira. e) As asserções I e II são proposições falsas. OBS: As alternativas da questão acima foram iniciadas com letra maiúscula, por não representar uma questão incompleta e todas estão corretas mediante a correção linguística e a pontuação. O domínio cognitivo exigido (Analisar) foi devidamente correlacionado ao grau de dificuldade “médio” mediante a taxo-

GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

nomia de Bloom. A imagem está corretamente referenciada. f) QUESTÃO DISCURSIVA - As questões deverão ser respondidas em, no máximo, 15 linhas. A questão discursiva, dissertativa, aberta, descritiva ou de resposta livre deve obedecer a uma estrutura semelhante à das outras questões, devendo conter, obrigatoriamente, um contexto/texto-base, seguido de um enunciado que permita ao aluno entender exatamente o que se espera que ele(a) escreva. Exemplo:

AUXILIANDO NO PASSO A PASSO DA CONSTRUÇÃO DA QUESTÃO

3.1. O que espero que meu aluno tenha aprendido?

3.5. É explorada a capacidade de leitura e interpretação do aluno?

Esse é o primeiro e fundamental ponto a ser especificado com clareza. Até que ponto está claro para o aluno o que ele tem de aprender, e para o professor, o que ele tem a avaliar?

Se não há textos fundamentando as questões, também não teremos como avaliar a leitura e a interpretação. Por isso, elabore enunciados que exijam um bom domínio de leitura e interpretação de texto.

3.2. Qual o objetivo dessa prova? Uma vez estabelecido que será avaliado o que os alunos aprenderam sobre o assunto dado, o próximo passo é determinar o objetivo da prova. O que, concretamente, os alunos deverão fazer na prova que assegure ao professor que o assunto foi aprendido?

4. AUXILIANDO NA CLASSIFICAÇÃO DO GRAU DE DIFICULDADE, SEGUNDO A TAXONOMIA DE BLOOM:

3.4. Existem questões com diferentes níveis de dificuldade? É importante “dosar a mão” nas questões. Quase sempre trabalhamos com salas heterogêneas e diferentes níveis de aprendizagem. Por isso, uma prova escrita deve ter um certo número de questões de nível fácil, outras de nível médio e algumas de nível mais difícil.

5. AUXILIANDO NA VERIFICAÇÃO BÁSICA DAS PROVAS ANTES DE APLICÁ-LAS AOS ALUNOS - ( CHECK-LIST). ANÁLISE

SIM NÃO

O tema abordado na questão está de acordo com a matriz curricular do curso? A questão foi contextualizada? O contexto foi colocado de forma harmônica com a situação-problema e o comando? A linguagem é acessível ao nível do aluno? A redação é precisa e apresenta correção linguística? O comando da resposta é claro?

3.3. Quais habilidades serão requisitadas dos alunos nas questões? A partir dos objetivos, fica fácil descobrir quais habilidades você deverá exigir dos seus alunos. Como exemplo, podemos exigir a habilidade de COMPARAR, IDENTIFICAR DADOS E INFORMAÇÕES, ESTABELECER RELAÇÕES... GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

O nível de dificuldade foi bem estabelecido de acordo com a taxonomia de Bloom? As alternativas de resposta são independentes e mutuamente exclusivas? Há possibilidade de acerto por exclusão? As figuras, imagens e ilustrações apresentam referência?

Reveja atentamente cada questão da prova de acordo com este check-list. Em caso de dificuldades, procure o membro da equipe do NUPETEC I responsável pelo treinamento.

NÃO HÁ NORMAS PARA GARANTIR BOAS QUESTÕES SE NÃO HOUVER CONHECIMENTO ATUALIZADO DOS CONTEÚDOS A SEREM AVALIADOS NEM A INTENÇÃO DE APRIMORAMENTO CONTÍNUO. A HABILIDADE EM FORMULAR QUESTÕES DE MÚLTIPLA ESCOLHA SE ADQUIRE COM A EXPERIÊNCIA, MAS PRINCIPALMENTE COM A CRÍTICA CONSTRUTIVA DE REVISORES QUE ANALISAM TANTO A VALIDADE DO CONTEÚDO ABORDADO PELA QUESTÃO QUANTO OS ASPECTOS TÉCNICOS E A CORREÇÃO LINGUÍSTICA.

6. REFERÊNCIAS 1. BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Prova de medicina. ENADE, 2010.

6• KHAN, S. Um mundo Uma escola – A educação reinventada. Editora Intrínseca, ed. 1, 2012.

2. BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Guia de Elaboração e Revisão de Itens. Volume 1. Brasília, 2010.

7• LUCKESI, C. C. Avaliação da aprendizagem escolar: estudos e proposições. São Paulo: Cortez, 1996.

3• DEMO, P. Avaliação sob o olhar propedêutico. Campinas: Papirus, 1996. 4• FERRAZ, A.P.C.M; BELHOT, R.V. Taxonomia de Bloom: revisão teórica e apresentação das adequações do instrumento para definição de objetivos instrucionais. Gest. Prod., São Carlos, v. 17, n. 2, p. 421-431, 2010. 5• HOFFMANN, J. Avaliação: mito & desafio, uma perspectiva construtivista. Porto Alegre: Educação & Realidade, 1991.

GUIA PRÁTICO DE ELABORAÇÃO E VALIDAÇÃO DE QUESTÕES COORDENAÇÃO ACADÊMICA FACENE/FAMENE

8• PERRENOUD, P. Avaliação da excelência à regulação das aprendizagens: entre duas lógicas. Porto Alegre: Artes Médicas, 1999. 9• SAUL, A. M. Avaliação emancipatória: desafios à teoria e à prática de avaliação e reformulação do currículo. São Paulo: Cortez, 1995. 10• VASCONCELLOS, C. dos S. Planejamento: plano de ensino-aprendizagem e projeto educativo. São Paulo: Libertad, 1995.