Questionário de Pesquisa: os erros mais comuns

O questionário que parece pronto mas não está

Olha só: dentre os instrumentos de pesquisa mais usados na pós-graduação, o questionário é também um dos mais subestimados. Parece simples. Você lista as perguntas, organiza em seções, cria um formulário no Google Forms e sai a campo. Problema resolvido.

Mas a maioria dos problemas metodológicos que aparecem na análise de dados já estava presente na hora de construir o instrumento. E quando você percebe, os dados estão coletados, o prazo está curto e não tem como voltar.

Esse post existe para ajudar você a identificar os erros mais comuns antes de ir a campo, não depois.

Perguntas que medem mais de uma coisa ao mesmo tempo

Esse é provavelmente o erro mais frequente e o mais invisível para quem está de dentro do projeto.

Uma pergunta do tipo “Você sente que seu orientador é acessível e que a relação com ele é produtiva?” tem dois construtos diferentes numa única sentença: acessibilidade e produtividade da relação. Um respondente pode marcar “concordo totalmente” pensando na acessibilidade mas discordando da produtividade. O que o seu dado vai registrar? A média de ambos. Ou seja, nada preciso.

O nome técnico disso é “double-barreled question”, pergunta de duplo cano. A solução é imediata: cada pergunta deve medir apenas um aspecto. Se você quer medir os dois construtos, use duas perguntas.

Outro caso parecido: “Com que frequência você usa o laboratório ou a biblioteca?” Frequência no laboratório é uma coisa; na biblioteca é outra. Coloque cada uma no seu item.

Escalas mal definidas ou inconsistentes

Se você usa escala Likert, a definição dos extremos importa mais do que parece. Quando você mistura escalas diferentes no mesmo questionário, o respondente precisa recalibrar mentalmente a cada seção, o que aumenta o erro de resposta.

O mais comum é misturar: “1 = nunca, 5 = sempre” em algumas perguntas e “1 = discordo totalmente, 5 = concordo totalmente” em outras. Se as escalas mudam, ao menos sinalize isso com clareza. E prefira manter consistência sempre que possível.

Outra questão: número de pontos na escala. Escalas de 5 pontos são as mais usadas em ciências sociais e da saúde. Escalas de 4 pontos forçam uma escolha (sem ponto neutro), o que pode ser útil ou distorcivo dependendo do tema. Escalas de 7 e 10 pontos dão mais gradação, mas exigem que os respondentes façam distinções finas que nem sempre refletem diferenças reais de percepção. Escolha a escala com base no construto que você quer medir, não por hábito.

Viés de aquiescência e como ele distorce tudo

Viés de aquiescência é a tendência de respondentes concordarem com afirmações independentemente do conteúdo. Acontece mais em questionários longos, com respondentes que querem “terminar logo” ou que não querem parecer discordantes.

Uma forma clássica de reduzir esse viés é incluir itens reversos, afirmações que, para marcar de forma coerente, exigem discordância. Se você tem um item “Sinto que meu trabalho é reconhecido pela instituição”, um item reverso correspondente seria “Raramente recebo reconhecimento pelo trabalho que realizo”.

Mas atenção: itens reversos precisam ser usados com cuidado. Se o respondente não perceber a inversão, a análise fica comprometida. Na análise dos dados, você reverte a pontuação desses itens antes de calcular qualquer média ou escore total.

Ordem das perguntas que contamina respostas

A sequência das perguntas afeta as respostas. Isso é bem documentado na literatura de psicometria.

Quando você começa com perguntas muito específicas antes das gerais, o respondente ativa um frame de referência que influencia como vai responder às questões amplas. O inverso também é verdadeiro: perguntas gerais sobre satisfação no trabalho, por exemplo, podem inflar respostas positivas em perguntas específicas que vêm depois.

A recomendação clássica é ir do geral para o específico. Mas em certas situações, especialmente quando você quer captar percepções sem ancoragem, começar com perguntas mais abertas ou neutras funciona melhor.

Outro ponto de atenção: perguntas sobre temas sensíveis no meio ou no fim do questionário tendem a ter taxas menores de resposta do que no começo. Se o tema for crítico para seus objetivos, considere a posição cuidadosamente.

Linguagem inadequada para o público

Isso parece óbvio, mas aparece muito em dissertações: questionários escritos com linguagem acadêmica aplicados a populações que não têm familiaridade com esse registro.

Um questionário que pergunta “Em que medida você percebe congruência entre os valores organizacionais declarados e as práticas institucionais observadas?” está escrito para um pesquisador, não para o respondente médio. Traduzido: “Você sente que o que a organização diz que valoriza é o que ela realmente faz?”

A regra prática é escrever cada pergunta como se fosse explicar o que você quer saber para alguém de fora da sua área. Se precisar de glossário, a linguagem já está inadequada.

Faz sentido? O nível de leitura do questionário precisa estar calibrado para o perfil do seu público, não para o perfil do seu comitê de ética ou banca.

Ausência de perguntas de controle e consistência

Em questionários longos ou sobre temas onde o respondente pode preencher sem atenção, perguntas de controle ajudam a identificar respostas inconsistentes.

Uma pergunta de controle simples pode ser incluída no meio do instrumento com instrução explícita: “Esta é uma pergunta de controle. Para indicar que você está lendo com atenção, marque a opção 3.” Quem não marcou a opção 3 respondeu automaticamente, sem leitura.

Em estudos quantitativos com amostras grandes, esse tipo de filtro permite identificar e excluir respondentes que não completaram o instrumento com atenção. Isso não viola a ética da pesquisa, desde que esteja descrito no método.

Não fazer teste piloto antes de ir a campo

O erro mais cara: ir a campo sem testar o questionário antes.

Um teste piloto com 5 a 10 pessoas do mesmo perfil da amostra revela problemas que você não enxerga depois de semanas revisando o instrumento. Respondentes frequentemente interpretam perguntas de formas que o pesquisador jamais imaginaria.

No teste piloto, preste atenção especialmente em: tempo total de preenchimento, itens onde respondentes hesitam ou perguntam o que significa, itens com alta taxa de “não sei” ou campo em branco, e sequências que parecem confusas na prática.

O resultado do teste piloto não entra na amostra final, mas as revisões que ele gera podem mudar completamente a qualidade dos seus dados.

Validação: o que a banca vai perguntar

Se você chegou à qualificação com um questionário próprio sem nenhum processo de validação descrito, a banca vai perguntar sobre isso. Garantido.

Existem diferentes tipos de validade que precisam ser considerados. Validade de conteúdo se refere a se os itens cobrem adequadamente o domínio do construto, geralmente avaliada por juízes especialistas. Validade de constructo se refere a se o instrumento mede o que diz medir, verificada por métodos estatísticos como análise fatorial.

Para dissertações com prazo curto, a alternativa mais viável é usar instrumentos já validados na literatura e, quando necessário, adaptar para o contexto cultural e linguístico. A adaptação transcultural tem protocolo próprio, documentado em metodologia.

O que o Método V.O.E. enfatiza muito nessa etapa é isso: o instrumento de coleta de dados precisa estar a serviço da pergunta de pesquisa, não da conveniência do pesquisador. Cada item do questionário deve ser justificável em relação aos objetivos específicos. Se você não consegue justificar por que aquela pergunta está ali, ela provavelmente não deveria estar.

O questionário como parte de um método coerente

Construir um questionário é uma decisão metodológica, não uma tarefa operacional. A escolha pelo questionário precisa estar alinhada com seus objetivos de pesquisa, com o referencial teórico que você usa para definir os construtos e com o tipo de análise que você pretende fazer com os dados.

Questionário bem construído economiza semanas de análise. Questionário mal construído gera um volume de dados que parece grande mas responde pouco, porque os itens não estavam medindo o que deveriam.

Se você está na fase de elaboração do instrumento, vale sentar com sua orientadora e discutir cada item em relação à pergunta de pesquisa. E, claro, fazer o teste piloto. Sempre.

Para mais recursos sobre metodologia de pesquisa, confira a página de recursos.