Definir métodos de avaliação e investigação
Pense: qual a relação entre avaliação e método?
Provavelmente você pensou algo como: “ué, avaliação precisa de um método de coleta de dados, análise, essas coisas”... Neste módulo vamos aprofundar essa relação e compreender que avaliação envolve método em outro sentido também.
Mas...
O que é método?
Método é modo pelo qual se constrói conhecimento para poder responder a uma necessidade, a uma questão, etc. Ao escolher ou construir um método, se pondera: – O que é conhecimento válido?
Conhecimento válido é aquele em que a maioria concorda
Conhecimento válido é aquele que mostra ser “eficiente” (previsão e controle)
– Como se constrói conhecimento válido? – Como responder a uma pergunta de forma considerada válida?
É preciso enunciar experiências com as quais nos reconhecemos
Quando tomamos decisões sobre métodos numa avaliação?
Considerando as seguintes etapas, em quais temos decisões sobre método? 1.Construção de acordos para iniciar uma avaliação 2.Construção do foco da avaliação 3.Realização da investigação 4.Análise e discussão dos achados 5.Encaminhamentos
De modo geral, podemos pensar em dois “lugares" ou momentos em que discutimos método numa avaliação: • ao definir “a cara” da avaliação como um todo – na construção dos acordos básicos sobre como ela vai funcionar, e • No momento da definição da investigação propriamente dita.
Método da avaliação Como a avaliação será conduzida? Refere-se à demanda e a estruturação do processo de avaliação
?
Método da investigação Como responder à pergunta de avaliação? Refere-se à demanda de informações da avaliação, o levantamento de dados.
Para definir o método da avaliação Perguntas que podem facilitar
• A qual contexto e momento institucionais a avaliação está respondendo? A que necessidades a avaliação pode responder? –
Diálogo interno
–
Construção de decisões
• Quais as perguntas de avaliação? –
Olham apenas para resultados?
–
Olham também para processos?
• Quem seria desejável envolver? –
A equipe pode se beneficiar do processo?
• Qual a visão do gestor do projeto? • Qual a perspectiva do avaliador?
Escolha de método de avaliação: Formativa? Somativa? Interna? Externa? Centrada em objetivos Centrada em uso Avaliação de impacto Participativas etc.
Para definir o método da investigação Outras perguntas...
• Qual a pergunta avaliativa? – Ela é descritiva de um fenômeno? – Olha para relação entre fenômenos? – Busca estabelecer relações de causalidade?
• Quais meus interlocutores nesta avaliação? A que linguagem eles são sensíveis? • Quais os limites de tempo, recursos e disponibilidade de informações prévias?
Métodos de investigação
O método de investigação definirá: •Os dados a serem produzidos: as menores unidades, os aspectos definidos como objeto de estudo. •A análise desses dados: as relações, comparações que se estabelecerão a partir dos dados. As perguntas de avaliação sugerem um caminho. •As estratégias para colher esses dados: as fontes de informações e os instrumentos a serem utilizados para coletar os dados.
Métodos de investigação
dados
Existem dados qualitativos e quantitativos Dado qualitativo: aspecto de um fenômeno que se expressa como nome (discurso), qualidade ou categoria. –
Por exemplo: sexo, cor dos olhos, “classe social”, grau de instrução.
Dado quantitativo: aspecto de um fenômeno que se expressa em número, numa escala de medida –
Por exemplo: peso, altura, número de cômodos de uma casa, número de beneficiários de um projeto, anos de escolarização.
Um mesmo fenômeno ou objeto de estudo, pode ser acessado a partir de dados quantitativos ou qualitativos. Por exemplo, a escolaridade: pode ser medida por categorias pelo grau de instrução ou anos de escolarização.
A questão é: O que estudar o fenômeno de uma ou outra forma te possibilita? E quais os limites de escolher essa forma de estudo do fenômeno?
Métodos de investigação
análise
E existe análise qualitativa e quantitativa... • Análise qualitativa: busca de elementos ilustrativos ou significativos de um fenômeno. –
Objetivo: compreensão, aprendizagem.
•Análise quantitativa: busca de padrões que possam revelar “leis” de funcionamento de um fenômeno. –
Objetivo: prever e operar sobre o fenômeno.
Síntese Dado/ variável Análise
Qualitativa
Quantitativa
Qualitativa
Análise qualitativa de dados quantitativos
Análise qualitativa de dados quantitativos
Quantitativa
Análise quantitativa de Análise quantitativa de dados qualitativos dados quantitativos
Exemplo Projeto que desenvolve atividades esportivas com jovens em busca de seu desenvolvimento. O projeto contribuiu para o desenvolvimento do jovem? Um dos critérios – auto-estima
Dado Análise
Qualitativo
Quantitativo
Qualitativa
Análise de discurso de jovens em busca de descobertas ou da compreensão sobre sua “auto-estima”.
Análise do sentido dos momentos de maior frequência de manifestações em aula.
Quantitativa
Codificação e análise de frequência de certas categorias no discurso do jovem. P. ex: relatos de assertividade
- Média do número de vezes que cada jovem se manifestou em aula. - Correlação dessa média por idade, sexo.
Métodos de investigação
estratégias
Métodos de investigação - Estratégias • Questionário estruturado. Auto aplicável ou aplicável por entrevistador treinado. Alternativas fechadas. Linguagem simples, clara, categorias com definição. ●
Levantamento de dados em grande quantidade, segmentação de análises por amostras, generalização.
• Questionário semi-estruturado. Semelhante, mas com algumas opções de perguntas abertas. ●
Mesmo uso, com maior complexidade de análise, que deve envolver codificação das perguntas abertas.
• Entrevistas semi-estruturadas. Entrevistas individuais com atores-chave, a partir de um roteiro de perguntas abertas. ●
Análise de discurso, de conteúdo. Pode também passar por uma análise a partir de uma codificação. Normalmente utilizada para aprofundar assuntos, sentidos, etc.
• Grupo-focal: Discussão em grupo com o intuito de aprofundar um conteúdo a partir da interação entre as pessoas. ●
Permite qualificar a compreensão de um assunto, produzir ●
conteúdo sobre ele.
• Testes/ provas: Instrumentos padronizados para testar o nível de conhecimento do público em relação a um tema. (história, habilidades específicas como escrita, etc). ●
Permite padronização e comparação. Os critérios são comuns e não singulares.
• Observação com “check-lists”: Observação de uma situação a partir de uma lista de aspectos, os quais o observador deve marcar a presença ou não, ou ainda levantar informações sobre (p. ex. observação de um espaço físico e identificar estrutura considerada “suficiente”, observação de uma situação em sala de aula e identificar aspectos específicos da interação professor-aluno, etc). ●
Permite padronização. É necessário treinar bem o observador antes e a elaboração da checklist deve ser cuidadosa, para não faltar elementos.
• Observação participante: Observação a partir da vivência do observador junto com aquilo que ele quer observar. Ele integra a situação, a vivencia e extrai informações e sentidos a partir disso. ●
Permite a vivência em profundidade, extrair sentidos. A “separação” entre sujeito que observa e “objeto” não se dá a priori.
Exemplos Um projeto que forma jovens em Luteria, Teatro e outras ações culturais, com foco na valorização do território e da cultura local. Critérios
Fonte/ Estratégia
Relações e usos do território e da cidade
Entrevistas com jovens
As atividades contribuíram para fortalecer o Temas, personagens, cenários locais passam a fazer pertencimento e a relação dos jovens com o território e parte de suas reflexões e trabalhos desenvolvidos. a cidade?
Análise dos trabalhos desenvolvidos a partir de check-lists
Entrevistas com familiares Jovens passam a frequentar de forma autônoma: Sarau e com as equipes dos autoria jovem, Casas de cultura, Cinema, Teatro,. equipamentos.
Exemplos Uma biblioteca que trabalha com ações de programação cultural, mediação de leitura, etc.
Critérios
Fonte/ Estratégia
Presença de conversas sobre livros Qual o impacto do trabalho sobre os hábitos leitores do público?
Interesse pelo estudo e assuntos culturais Busca e dá indicações de livros Manifestação de preferências Busca livros de forma autônoma Uso qualificado da internet (acesso a sites/blogs, etc. ligados à cultura e literatura)
• Questionário estruturado com o público • Entrevista com a equipe (percepção) • Observação participante
Por enquanto, ĂŠ isso.
Obrigado por acompanhar!