6 de julho de 2020
Validação de instrumentos de recolha de dados atravĂŠs de testes estatĂsticos Marta Vacas de Carvalho
Validação de instrumentos de recolha de dados através de testes estatísticos
“mede efetivamente aquilo que queremos medir, tudo o que queremos medir, e nada mais do que aquilo que queremos medir” (Thorndike e Hagen, 1977).
Validação de instrumentos de recolha de dados através de testes estatísticos
Quantitativos (variável latente) Qualitativos
Quantitativos
Validação
Validação de instrumentos de recolha de dados através de testes estatísticos
Validade interna vs. Validade Externa A validade interna é definida como a extensão em que os resultados observados representam uma verdade para a população estudada e, portanto, não se devem a
erros metodológicos. A validade externa refere-se à capacidade de generalização dos resultados obtidos com a amostra para a população-alvo de onde ela foi retirada.
Validação de instrumentos de recolha de dados através de testes estatísticos
Validade diferente de Fiabilidade (reliability) Validade se o constructo mede o que é suposto medir
Fiabilidade Se os procedimentos e medidas obtidas podem ser replicados . Mede a grau de isenção de erros aleatórios. (É uma medida que contribui para a validade de um questionário mas não é suficiente para validar o mesmo).
Validação de instrumentos de recolha de dados através de testes estatísticos
Validação
Validade de Critérios
Preditivo
Validade de Face
Concorrente
(face validity)
Validade de conteúdo
Validade do constructo
Validade discriminativa
Validade de convergência
Validação de instrumentos de recolha de dados através de testes estatísticos Validação
Validade de Critérios
Preditivo
Validade de Face
Concorrente
(face validity)
Validade de conteúdo
Validade do constructo
Validade discriminativa
O conteúdo do questionário parece adequado aos objetivos?
Validade de convergência
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Face Validity (validade facial) A validade é estabelecida quando um perito na investigação pretendida ,conclui que o instrumento mede as características de interesse (avaliação subjetiva). Outra forma de avaliar é classificar as questões com sim ou não interessam por vários peritos e determinar o coeficiente Kappa de Cohen (CKI). Considerando valor mínimo 0.6 para concordância entre classificadores (interrater reliability, DM et al, 1975)
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Face Validity (validade facial) Técnicas sugeridas: ❖ Revisão bibliográfica ❖ Avaliação dos itens por peritos e possíveis inquiridos ❖ Coeficiente Kappa de Cohen
Validação de instrumentos de recolha de dados através de testes estatísticos Validação
Validação de Critérios
Preditivo
Validade de Face
Concorrente
(face validity)
Validade de conteúdo
Validade do constructo
Validade discriminativa
Validade de convergência
O conteúdo do questionário é representativo de todas as medidas que se quer avaliar?
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade de conteúdo Definido como “o grau que os itens de um instrumento reflectem o conteúdo de um universo para o qual o instrumento será generalizado” (Straub, Boudreau et al , 2004) 1. Revisão exaustiva para formulação dos itens 2. Construir um questionarios com 3 pontos de escala ( não é necessário, util mas não necessário, essencial)
3. Enviar o questionário para peritos na mesa área de investigação 4. Estimar o Rácio da Validação de Conteúdo (CVR-Lawshe’s method) 5. Remover intens não significativos
Validação de instrumentos de recolha de dados atravĂŠs de testes estatĂsticos â?‘Validade de conteĂşdo CVR- Lawshe’s Method
Consiste numa transformação linear do nĂvel de concordância percentual com “quantosâ€? peritos consideraram o item essencial
đ??śđ?‘‰đ?‘… =
đ?‘›đ?‘’ −
đ?‘ 2
đ?‘ 2
đ?‘›đ?‘’ = đ?‘›Ăşđ?‘šđ?‘’đ?‘&#x;đ?‘œ đ?‘‘đ?‘’ đ?‘?đ?‘’đ?‘&#x;đ?‘–đ?‘Ąđ?‘œđ?‘ đ?‘žđ?‘˘đ?‘’ đ?‘–đ?‘›đ?‘‘đ?‘–đ?‘?đ?‘Žđ?‘&#x;đ?‘Žđ?‘š đ?‘ đ?‘’đ?‘&#x; đ?‘’đ?‘ đ?‘ đ?‘’đ?‘›đ?‘?đ?‘–đ?‘Žđ?‘™ đ?‘ = đ?‘›Ăşđ?‘šđ?‘’đ?‘&#x;đ?‘œ đ?‘Ąđ?‘œđ?‘Ąđ?‘Žđ?‘™ đ?‘‘đ?‘’ đ?‘?đ?‘’đ?‘&#x;đ?‘–đ?‘Ąđ?‘œđ?‘
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade de conteúdo CVR- Lawshe’s Method (Lawshe, 1975) Número de peritos
Valor mínimo (p=0,05) Para reter item
5
,99
6
,99
7
,99
8
,75
9
,62
10
,59
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade de conteúdo Técnicas sugeridas: ❖ Revisão bibliográfica ❖ Painel de avaliadores ❖ CVR
?
Validação de instrumentos de recolha de dados através de testes estatísticos Validação
Validade de Critérios
Preditivo
Validade de Face
Concorrente
(face validity)
Validade de conteúdo
Validade do constructo
Validade discriminativa
O item mede o conceito que é suposto medir?
Validade de convergência
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade do constructo Avaliação complexa devido ao caráter indireto da medição, já que nunca se mede uma variável latente. É uma avaliação do grau que o instrumento mede da variável teórica que o investigador deseja estudar.
Por exemplo: o item mede a variável latente da depressão ou apenas mede a autoestima, o humor do inquirido ou outro variável latente?
Uma medida apresenta validade do constructo, no grau em que estiver de acordo com as correlações previstas e em proposições teóricas
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade do constructo
Validade discriminativa ou divergência Existe evidência que conceitos que se suspeita não estar
relacionados de facto não estão relacionados. Discordância entre dois instrumentos que medem diferentes construtos
Validade convergência. Existe evidência que um conceito medido de diversas formas produz resultados semelhantes ou que conceitos que se suspeitavam estar relacionados de facto estão relacionados.
Concordância entre scores obtidos com dois instrumentos que medem o mesmo construto.
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade do constructo Exemplo: Para avaliar a necessidade dos indivíduos de aceitação foi elaborado um questionário com 10 itens. NBS- Need to belong scale • Como podem os investigadores saber que com estes 10 itens avaliam a necessidade de aceitação? • Apesar de os investigadores terem construído o questionário com informação de modo a estarem convencidos que estes itens traduzem a necessidade de aceitação será que tem razão? • Será que traduzem exatamente esse variável latente? E se faltar um item? • E se os inquiridos não interpretarem os itens da mesma forma que o investigador? • Como pode o investigador assumir que os scores no questionário refletem o nível de necessidade de aceitação?
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade do constructo Exemplo: Para avaliar a necessidade dos indivíduos de aceitação foi elaborado um questionário com 10 itens.NBS- Need to Belong Scale
O investigador espera associações entre os scores de NBS e os itens. Devem estar positivamente associados com algumas escalas, negativamente com outras e não associadas a outras. Ou seja realizar a
validação de convergência e divergência (discriminante)
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade do constructo ✓
Um estudo prévio com 30 a 40 respostas e avaliação de correlação entre as variáveis e scores
✓ Multitrait-multimethod matrix MTMM(Campbell, D. e Fiske, W. D. 1959). ✓ Análise factorial- Permite verificar se os itens estão na dimensão avaliada (PCA- Análise em
componentes principais) ou especificar o relacionamento entre os fatores e esses indicadores observáveis (EFA- Análise fatorial exploratória)
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade do constructo Técnicas sugeridas: ❖ MTMM, ❖ PCA, ❖ EFA (Análise fatorial exploratória -PLS PM ou PLS AVE), ❖ CFA (Análise fatorial confirmatória)
Validação de instrumentos de recolha de dados através de testes estatísticos Variável latente de segunda ordem
Variável Latente
Validação de instrumentos de recolha de dados através de testes estatísticos ❑EFA Mínimo 10 x o número de preditores ( na VL qual o número de setas) mas depois avaliar o poder do teste (Gpower )
Validação de instrumentos de recolha de dados através de testes estatísticos Validação
Os resultados obtidos em testes diferentes correspondem?
Validade de Critérios
Preditivo
Validade de Face
Concorrente
(face validity)
Validade de conteúdo
Validade do constructo
Validade discriminativa
Validade de convergência
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validade de critério Avalia o comportamento do constructo em relação a outras variáveis ou instrumento de recolha , as quais são selecionadas por meio de critérios significativos. Reflete o sucesso das medidas usadas para a
previsão ou estimativa de uma situação (Cooper e Shindler, 2006)
Exemplo: Para avaliar uma variável latente de lealdade utilizar a satisfação do cliente como critério.
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validação de critério Concorrente- São recolhidos simultaneamente os dados da escala e das variáveis e estes devem estar relacionados (clientes muito satisfeitos com restaurante devem ser frequentadores assíduos do mesmo )
Preditiva- Recolha dos dados da variável de critério obtida posteriormente á do constructo. Objetivo é prever os scores futuros de uma variável dependente a partir dos índices obtidos na avaliação de uma
variável latente. ( questionário a alunos que prevê sucesso ou insucesso)
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Validação de critério Técnicas sugeridas: Concorrente – Análise correlação Preditivo –Análise de regressão e Análise discriminante
?
Validação de instrumentos de recolha de dados através de testes estatísticos
Fiabilidade Os resultados são fidedignos?
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade
Fiabilidade reporta-se à consistência de resultados obtidos pelos mesmos indivíduos, quando inquiridos em diferentes momentos ou num determinado momento, sendo neste último caso a
fiabilidade determinada a partir de itens equivalentes (Anastasi, 1977; Freeman, 1980 cit Daniel
et al, 2015).
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade Fiabilidade, fidedignidade, precisão
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade temporal Diz-se que um instrumento apresenta estabilidade temporal (fiabilidade temporal) se os seus resultados se mantiverem constantes ao longo do tempo, ou seja, realizando-se duas vezes o mesmo
teste, a correlação entre os resultados dá-nos uma indicação acerca da estabilidade dos resultados no tempo (Laveault & Grégoire, 2002 cit Daniel et al 2015 )
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade temporal Existem 2 formas de avaliar: 1.
Duas versões do mesmo teste (test-retest) são aplicadas á mesma amostra. Se encontradas
diferenças devem ser avaliadas. (Avaliador , pessoa avaliada ou ambiente) 2.
Duas versões supostamente equivalentes e comparar resultados ( Fiabilidade de equivalência)
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade Kuder-Richardson (KR20) quando os itens tem apenas duas respostas (sim/não, certo/errado)
Pressuposto de as variâncias inter-itens serem homogéneas.
Validação de instrumentos de recolha de dados atravĂŠs de testes estatĂsticos â?‘Fiabilidade
Coeficiente Îą de Cronbach đ?‘˜
đ?‘˜ đ?‘†đ?‘–2 đ?›ź= 1−ŕˇ? 2 đ?‘˜âˆ’1 đ?‘†đ?‘Ą đ?‘–=1
K- numero de itens da escala ��2 a variância dos resultados do item na escala e ��2 Ê a variância do teste.
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade
Coeficiente α de Cronbach -
Escalas ordinais e itens com a mesma escala
-
O questionário deve estar dividido e agrupado em dimensões
-
O questionário deve ser aplicado a uma amostra significativa e heterogênea
-
A escala já deve estar validada
-
Alterar variáveis com carga negativa
-
Muitas variáveis na mesma dimensão pode levar a estimativas inflacionadas (melhor CFA)
Validação de instrumentos de recolha de dados através de testes estatísticos
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Fiabilidade
Técnicas sugeridas: ❖ Alfa de Cronbach
❖ Alfa de Cronbach ordinal ❖ Rho de Tarkkonen
❖ Omega ❖ Guttman
Validação de instrumentos de recolha de dados através de testes estatísticos
Consistência Interna (fiabilidade interna) Os itens escolhidos foram corretamente selecionados?
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Consistência interna Um instrumento de medida tem consistência interna se todos os seus itens contribuírem para a medição da mesma característica. Objetivo é avaliar uma das fontes mais importantes de erros de medição que é a seleção dos itens do
teste
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Consistência Interna Split-half reliability (cross-validation) Este método avalia o grau de consistência entre os itens, determinando a consistência interna da escala. Não mede a estabilidade temporal, mas oferece a vantagem de permitir obter uma medida de fiabilidade a partir de uma única administração e assume que todos os itens contribuem de igual forma para a mensuração de um conceito central (Anastasi, 1977; Freeman, 1980).
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Consistência interna Split-half reliability 1- dividir o teste em 2 partes ( exemplo, respostas par e respostas impar) 2- a mesma pessoa responde a todas as questões 3- Aplicar a uma amostra maior 4- Avaliar correlações entre os scores obtidos
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Consistência Interna Split-half reliability • Para testes com número de questões superiores a 100 •
Se as variáveis medem a mesma variável latente
Validação de instrumentos de recolha de dados atravĂŠs de testes estatĂsticos â?‘ConsistĂŞncia Interna Split-half reliability Conhecendo o valor de correlação entre as duas metades ( interpretĂĄvel como a correlação de Pearson mas calculada de outra forma), ĂŠ possĂvel estimar o coeficiente de correlação para toda a escala. A equação de correção ĂŠ denominada de Spearman-Brown e traduz-se no seguinte algoritmo:
đ?‘&#x;đ?‘†đ??śđ??ľ
2đ?‘&#x;đ?‘Ľđ?‘Ś = 1 + đ?‘&#x;đ?‘Ľđ?‘Ś
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Análise de sensibilidade dos níveis da escala Matriz de correlação inter-item Na diagonal da matriz deve encontrar o valor 1, já que a correlação de um item com ele próprio será
sempre igual à unidade. Os valores das restantes correlações devem ser elevados e positivos, indicando que os itens medem a mesma variável latente. Se existirem valores negativos deve verificar se os itens
em causa estavam na mesma direção conceptual dos outros itens e, se for esse o caso, deve proceder-se à sua recodificação
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Análise de sensibilidade dos níveis da escala
Coeficiente α de Cronbach Avaliar o impacto de cada item no modelo global com a medição do alfa sem esse item ou com a correlação desse item com a soma dos restantes.
Duas medidas são utilizadas: alfa item-total e a correlação item-total
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Consistência interna
Técnicas sugeridas: ❖ Split-half reliability
❖ Alfa de Cronbach ❖ Matriz de correlação inter -item
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Exemplo (Kim et al,2016) Questionário para identificar padrões de doença ( Phlegm status)de forma a decidir intervenções clinicas em medicina chinesa e coreana Avaliado por observação direta e holística
São realizadas 4 observações :Inspeção, audição e cheiro, inquirição e palpação Avalia o funcionamento dos fluidos corporais e o trato respiratório
De acordo com Zhu Zhenheng, um Famoso medico da dinastia Yuan 9 em cada 10 doenças existentes estão associados com o “phlegm” Aplicado a indivíduos saudáveis com 20 a 40 anos
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Exemplo (Kim et al,2016) Questionário é formado por 25 questões em escala likert de 7 pontos Amostra 289 indivíduos Alfa de cronbach inicial de 0,95
Scores 1 para valores de 1 a 5 na escala, 2 para valores superiores a 5 SPSS com modulo AMOS
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Exemplo (Kim et al,2016) 1.
Para avaliar se a estrutura de fatores poder ser replicada – CFA com avaliação de vários índices e critérios para determinar a qualidade de ajustamento do modelo: goodness-of-fit index (GFI), adjusted goodness-offit index (AGFI), normed fit index (NFI), Tucker-Lewis Index (TLI), comparative fit
index (CFI), and root mean square error of approximation (RMSEA). 2.
Para avaliar validade convergente- CR (construct reability)
3.
Para avaliar validade discriminante- Variância media extraída (PLS-AVE)
Nova estrutura de fatores
Validação de instrumentos de recolha de dados através de testes estatísticos
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Exemplo
4- Análise exploratória (PCA) 5 – Consistência interna com alfa de Cronbach
?
Validação de instrumentos de recolha de dados através de testes estatísticos
Questionários Qualitativos
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Questionários qualitativos Em vez de explicar, procura-se descrever. Em vez de prever, procura-se compreender .Em vez de generalizar, procura-se a possibilidade de extrapolação para situações com contextos similares
(GOLAFSHANI, 2003). A validação dos instrumentos de uma pesquisa qualitativa dá-se em função da mesma atender o que o
pesquisador se propõe a desvendar e ter como cautela a coerência dos processos metodológicos e a consistência dos resultados (OLLAIK; ZILLER, 2011; HERMINDA, 2005 cit Varanda ), e permite analisar a existência de uma lógica entre os instrumentos propostos e os objetivos da pesquisa
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Questionários qualitativos Para Mirka Koro-Ljungberg (2010), a validade em pesquisas qualitativas está fortemente relacionada com a responsabilidade no tratamento das informações obtidas e nas decisões do pesquisador, envolvendo intensa preocupação ética.
Procura-se a validação interna e não a externa
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Questionários qualitativos
Triangulação: 1.
De dados -Utilização de várias fontes de dados
2.
De investigadores ou peritos - Vários investigadores estudam o mesmo problema utilizando as mesma técnicas
3.
De teorias-Profissionais de campos distintos com perspetivas diferentes interpretam o mesmo conjunto de informações
4.
Metodológica- Utilização de métodos qualitativos e quantitativos
5.
Ambiental- Alteração do local ou outro fator ambiental
Validação de instrumentos de recolha de dados através de testes estatísticos
Validação de instrumentos de recolha de dados através de testes estatísticos
Ollaic e Ziller, 2012
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Bibliografia Campbell, D. T., e Fiske, W. D. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56, 81–105.
Daniel, F; Gomes da Silva, A e Lopes Ferreira, P (2015) Contributo para a Discussão da Avaliação da Fiabilidade de um Instrumento de Medição Revista de Enfermagem Referência Série IV - n.° 7 - out./nov./dez. 2015 Lawshe C. H. 1975. A quantitative approach to content validity. Personnel Psychology, 28, 563-575. Kim, H., Ku, B, Kim, J. e Park,Y.(2016) Hindawi Publishing Corporation Evidence-Based Complementary and Alternative Medicine Volume 2016, Article ID 2696019, Maroco, J. e Garcia-Marques, T (2006) Qual a fiabilidade do alfa de Cronbach? Questões antigas e soluções modernas? Laboratório de Psicologia, 4(1)
Validação de instrumentos de recolha de dados através de testes estatísticos ❑Bibliografia Ollaic, L. e Ziller, H (2012) Concepções de validade em pesquisas qualitativas. Educação e Pesquisa, São Paulo, v.38, n.1, 229-241 Thorndike, R. L. e Hagen, E. P. (1977). Measurement and evaluation in psychology and education (4th ed.). New York: Wiley, 623p. Straub, DW, Boudreau, M-C, Gefen, D (2004) Validation Guidelines for IS Positivist Research. Communications of The AIS, Vol. 13(Article 24): 380-427.
MUITO OBRIGADA!