CHERRIES: checklist para relatar para estudos que utilizam questionário on-line
Publicado por 6 de Novembro de 2024 em Estudantes para Melhores Evidências
Contexto
A Internet tem representado um ambiente potente para a coleta de dados com inúmeras características e vem sendo frequentemente utilizada para pesquisas na área da saúde. Métodos tradicionalmente adotados para obtenção de dados como pesquisas por telefone, questionários impressos e entrevistas presenciais vem sendo substituídos por questionários on-line [1].
As pesquisas do tipo survey (ou de inquéritos), incluindo aquelas que utilizam o ambiente virtual, estão sujeitas a erros amostrais (aleatórios) ou sistemáticos que podem resultar de uma amostra não representativa e do efeito do voluntariado (os próprios participantes se auto-selecionam) [2].
Com frequência, a taxa de resposta de pesquisas on-line também é consideravelmente baixa (caso o número total de visitantes da página eletrônica seja o denominador), o que aquece um debate sobre a confiança e validade destas pesquisas [3].
Isso destaca a importância de relatar como a pesquisa foi conduzida, em que contexto e a composição da amostra que escolheu respondê-la, pois ela pode ser diferente de uma amostra representativa da população em geral. Por isso é essencial descrever o conteúdo e a natureza do site onde a pesquisa foi publicada para entender o perfil das pessoas que responderam ao questionário, ou seja, para caracterizar o grupo de entrevistados [2,3].
Checklist CHERRIES
Para garantir a qualidade desses relatos, o Journal of Medical Internet Research (JMIR), idealizou uma diretriz de orientações para o relato de pesquisas que utilizam questionários ou formulários on-line, o Checklist for Reporting Results of Internet E-Surveys (CHERRIES) [3].
O CHERRIES foi publicado pela primeira vez em 2004, é um checklist análogo às listas de recomendações para ensaios clinicos (CONSORT – https://eme.cochrane.org/consort-checklist-para-relatar-um-ensaio-clinico/) e revisões sistemáticas (PRISMA, https://eme.cochrane.org/prisma-2020-checklist-para-relatar-uma-revisao-sistematica/), por exemplo.
Usar o CHERRIES para relatar um estudo contribui para que revisores e leitores entendam melhor como a amostra foi escolhida e como ela pode ser diferente de uma amostra “representativa”, entre outros aspectos da pesquisa.
Objetivos do checklist
- Padronizar o relato das pesquisas on-line são, garantindo que todos os aspectos relevantes, como os métodos e a análise dos dados, sejam adequadamente descritos.
- Promover a transparência, permitindo que os leitores entendam como os dados foram coletados, como os participantes foram selecionados, e quais ferramentas e métodos foram utilizados.
- Melhorar a qualidade e adicionando maior credibilidade e garantindo reprodutibilidade do estudo.
Componentes do checklist
Os itens do checklist CHERRIES sã agrupados em set domínios (Quadro 1).
Quadro 1. Checklist CHERRIES (tradução livre e adaptada de [3])
|
Categoria do item |
Item do checklist |
Orientações |
|
Desenho |
Desenho da pesquisa
|
Descreva a população-alvo, quadro de amostra. A amostra é uma amostra de conveniência? (em pesquisas “abertas”, isso é mais provável.)
|
| Processo de aprovação do termo de consentimento informado
|
Aprovação do comitê local
|
Se o estudo menciona aprovação por um comitê local (de ética ou de pesquisa institucional, local, regional ou nacional) |
| Consentimento informado
|
Descreva se o processo de consentimento foi informado; onde os pacientes foram informados sobre a duração e tempo de estudo; quais dados foram armazenados, onde e por quanto tempo; quem era o pesquisador, e qual o propósito do estudo.
|
|
| Proteção de dados
|
Descreva se alguma informação pessoal foi coletada ou armazenada, quais mecanismos foram usados para a proteção destes dados contra acessos não autorizados
|
|
| Desenvolvimento e pré-teste
|
Desenvolvimento e teste | Descreva como a pesquisa foi desenvolvida, incluindo se a utilidade e a funcionalidade técnica do questionário eletrônico foram testadas antes de aplicar o questionário na pesquisa em si
|
| Processo de recrutamento e descrição da população que teve acesso ao questionário | Pesquisa aberta versus pesquisa fechada
|
“Pesquisa aberta” é uma pesquisa cujo acesso do visitante ao website é livre, enquanto uma “pesquisa fechada” fica aberta apenas para uma amostra de pessoas que o pesquisador tem o conhecimento (acesso protegido por senha)
|
| Modo de contato
|
Indique se o contato inicial com os potenciais participantes foi ou não feito pela Internet (Os investigadores também podem enviar questionários pelo correio e permitir a entrada de dados baseados na web).
|
|
| Anúncio da pesquisa
|
Indique como/onde a pesquisa foi anunciada. Alguns exemplos são mídia off-line (jornais) ou on-line (listas de correspondência – se sim, quais?) ou banners (onde esses banners foram postados e como eles se pareciam?). É importante conhecer o texto do anúncio, pois ele influenciará fortemente a decisão de participar. Idealmente, o anúncio da pesquisa deve ser publicado como um apêndice.
|
|
| Administração de pesquisa
|
Website/e-mail
|
Declare o tipo de pesquisa eletrônica (por exemplo, uma publicada em um site ou uma enviada por e-mail). Se for uma pesquisa por e-mail, as respostas foram inseridas manualmente em um banco de dados ou havia um método automático para capturar respostas?
|
|
Contexto
|
Descreva o site (para lista de discussão/grupo de notícias) no qual a pesquisa foi publicada. Sobre o que é o site, quem o está visitando, o que os visitantes normalmente procuram? Discuta até que ponto o conteúdo do site pode pré-selecionar a amostra ou influenciar os resultados. Por exemplo, uma pesquisa sobre vacinação em um site anti-imunização terá resultados diferentes de uma pesquisa na Web realizada em um site do governo
|
|
|
Obrigatório/voluntário
|
Foi uma pesquisa obrigatória a ser preenchida por todos os visitantes que queriam entrar no site, ou foi uma pesquisa voluntária?
|
|
|
Incentivos
|
Foram oferecidos algum incentivo (por exemplo, monetário, prêmios ou incentivos não monetários, como uma oferta para fornecer os resultados da pesquisa)?
|
|
|
Hora/data
|
Em que período de tempo os dados foram coletados?
|
|
|
Randomização de itens do questionário |
Para evitar vieses, os itens podem estar em ordem aleatória e serem alternados. |
|
|
Questionamento adaptativo
|
Use o questionamento adaptativo (certos itens são exibidos apenas condicionalmente com base em respostas a outros itens) para reduzir o número e a complexidade das perguntas.
|
|
|
Número de Itens
|
Qual foi o número de itens do questionário por página? O número de itens é um fator importante para a taxa de conclusão.
|
|
|
Número de telas (páginas)
|
Em quantas páginas o questionário foi distribuído? O número de itens é um fator importante para a taxa de conclusão.
|
|
|
Verificação de completude
|
É tecnicamente possível fazer verificações de consistência ou integridade antes que o questionário seja enviado. Isso foi feito, e se “sim”, como (geralmente JAVAScript)? Uma alternativa é verificar a integridade após o envio do questionário (e destacar os itens obrigatórios). Se isso foi feito, deve ser relatado. Todos os itens devem fornecer uma opção de não resposta, como “não aplicável” ou “em vez de não dizer”, e a seleção de uma opção de resposta deve ser aplicada.
|
|
|
Passo de revisão
|
Declare se os entrevistados conseguiram revisar e alterar suas respostas (por exemplo, através de um botão Voltar ou uma etapa de Revisão que exibe um resumo das respostas e pergunta aos entrevistados se eles estão corretos). |
|
|
Taxas de resposta |
Visitante único do site |
Se for permitido visualizações entradas múltiplas, defina como determinado um visitante único. Existem diferentes técnicas disponíveis, com base em endereços IP, cookies ou ambos.
|
|
Taxa de visualização
|
Requer a contagem de visitantes únicos na primeira página da pesquisa, dividida pelo número de visitantes únicos do site (não visualizações de página!). Não é incomum ter taxas de visualização inferiores a 0,1% se a pesquisa for voluntária.
|
|
|
Taxa de participação |
É o número de visitantes únicos que concordaram em participar/visitantes únicos da primeira página de pesquisa. Conte o número único de pessoas que preencheram a primeira página da pesquisa (ou concordaram em participar, por exemplo, marcando uma caixa de seleção), dividido pelos visitantes que visitam a primeira página da pesquisa (ou a página de consentimentos informados, se presente). Isso também pode ser chamado de taxa de “recrutamento”.
|
|
|
Taxa de conclusão
|
O número de pessoas que enviaram a última página do questionário, dividido pelo número de pessoas que concordaram em participar (ou enviaram a primeira página da pesquisa). Isso só é relevante se houver uma página separada de “consentimento informado” ou se a pesquisa passar por várias páginas. Esta é uma medida de atrito. Observe que a “conclusão” pode envolver deixar os itens do questionário em branco. Esta não é uma medida de como os questionários foram completamente preenchidos. (Se você precisar de uma medida para isso, use a palavra “taxa de completude”.)
|
|
|
Impedindo várias entradas do mesmo indivíduo
|
Cookies
|
Indique se os cookies foram usados para atribuir um identificador de usuário exclusivo a cada computador cliente. Em caso afirmativo, mencione a página na qual o cookie foi definido e lido e por quanto tempo o cookie foi válido. As entradas duplicadas foram evitadas impedindo o acesso dos usuários à pesquisa duas vezes; ou as entradas duplicadas do banco de dados com o mesmo ID de usuário foram eliminadas antes da análise? Neste último caso, quais entradas foram mantidas para análise (por exemplo, a primeira entrada ou a mais recente)?
|
|
Verificação de IP
|
Indique se o endereço IP do computador cliente foi usado para identificar possíveis entradas duplicadas do mesmo usuário. Se assim for, mencione o período para o qual não foram permitidas duas entradas do mesmo endereço IP (por exemplo, 24 horas). As entradas duplicadas foram evitadas impedindo que os usuários com o mesmo endereço IP acessassem a pesquisa duas vezes; ou as entradas duplicadas do banco de dados com o mesmo endereço IP dentro de um determinado período foram eliminadas antes da análise? Se este último, quais entradas foram mantidas para análise (por exemplo, a primeira entrada ou a mais recente)?
|
|
|
Análise de arquivos de log
|
Indique se outras técnicas para analisar o arquivo de log para identificação de várias entradas foram usadas. Em caso afirmativo, descreva.
|
|
|
Cadastro |
Em pesquisas “fechadas” (não abertas), os usuários precisam fazer login primeiro e é mais fácil evitar entradas duplicadas do mesmo usuário. Descreva como isso foi feito. Por exemplo, a pesquisa nunca foi exibida uma segunda vez depois que o usuário a preencheu, ou o nome de usuário foi armazenado junto com os resultados da pesquisa e posteriormente eliminado? Se este último, quais entradas foram mantidas para análise (por exemplo, a primeira entrada ou a mais recente)? |
|
| Análises |
Manuseio de questionários incompletos
|
Apenas questionários preenchidos foram analisados? Os questionários que terminaram cedo (onde, por exemplo, os usuários não passaram por todas as páginas do questionário) também foram analisados?
|
|
Questionários enviados com um carimbo de data/hora atípico
|
Alguns investigadores podem medir o tempo que as pessoas precisavam para preencher um questionário e excluir questionários que foram enviados muito cedo. Especifique o prazo que foi usado como ponto de corte e descreva como esse ponto foi determinado.
|
|
|
Correção estatística |
Indique se algum método, como ponderação de itens ou pontuações de propensão, foi usado para ajustar a amostra não representativa; em caso afirmativo, descreva os métodos.
|
Autores: Erica Macedo Barbosa, Carolina Rodrigues Novais, Gabrielly Santos Pereira, Giselle Leone Távora, Hiago Henrique Paiva de Almeida, João Pedro Benevides de Oliveira. Alunos de graduação, Escola Paulista de Medicina (EPM), Universidade Federal de São Paulo (Unifesp).
Supervisora: Rachel Riera. Professora Associada, Disciplina de Medicina Baseada em Evidências, Escola Paulista de Medicina (EPM), Universidade Federal de São Paulo (Unifesp).
Citar como: Barbosa EM, Novais CR, Pereira GS, Távora GL, Almeida HHP, Oliveira JPB. CHERRIES: checklist para relatar para estudos que utilizam
questionário on-line. Estudantes para Melhores Evidências. Cochrane. Disponível em: [inserir link de acesso]. Acessado em [inserir dia, mês e ano].
Referências
- Ekman A, Litton JE. New times, new needs; e-epidemiology. Eur J Epidemiol .2007;22:285-92. Dispnível em: ttps://link.springer.com/article/10.1007/s10654-007-9119-0. Acessado em 28 de outubro de 2024.
- Schonlau Matthias. Will web surveys ever become part of mainstream research? J Med Internet Res. 2004;23;6(3):e31. doi: 10.2196/jmir.6.3.e31. http://www.jmir.org/2004/3/e31/.
- Eysenbach G. Improving the quality of Web surveys: the Checklist for Reporting Results of Internet E-Surveys (CHERRIES). J Med Internet Res. 2004;29;6(3):e34. doi: 10.2196/jmir.6.3.e34. Erratum in: doi:10.2196/jmir.2042.
