A credibilidade científica e o problema do viés de publicação

0
Tempo estimado de leitura: 5 minutos

Um tropo do comentário social contemporâneo é que a “ciência” de alguma forma se tornou “politizada”, de forma que as pessoas não mais confiam ou acreditam no que é apresentado como o consenso científico sobre importantes questões sociais, políticas e econômicas. O exemplo mais marcante até recentemente foi a mudança climática, em que vários profissionais científicos, associações, grupos de interesse e coisas assim foram retratados como buscadores da verdade puramente desinteressados, enquanto outsiders contrários foram descritos como egoístas, ideológicos ou coisa pior. Vimos isso em particular nas mídias sociais, onde pessoas de fora – muitas vezes leigos cientificamente alfabetizados e profissionais técnicos em campos adjacentes, pesquisadores independentes e outros que prestaram muita atenção à teoria e aos dados – foram descartados como “manos da tecnologia”, arrogantemente expressando opiniões sem a devida autorização. Como observei há alguns anos, esse tropo ignora o fato de que a pesquisa científica, a educação e a comunicação são instituições sociais e podem ser analisadas como qualquer outro grupo de atores humanos intencionais. O artigo de 2002 de Joe Salerno sobre o papel dos recursos, ideologia e instituições no renascimento da escola austríaca é um bom exemplo de como analisar os movimentos intelectuais e sociais de um ponto de vista institucional; A Perilous Progress, de Michael Bernstein, faz algo semelhante para o profissional de economia como um todo.

A ideia de cientistas como uma casta sacerdotal, a crítica dos quais constitui “negação da ciência” ou “disseminação de desinformação”, é obviamente central para a narrativa convencional sobre Covid-19. Muitos comentaristas temem que a discordância pública substancial sobre a natureza e a importância da pandemia Covid-19 e a eficácia das vacinas e medidas de mitigação, como lockdowns, fechamentos de fronteiras, máscaras e distanciamento social contribuam para um declínio na confiança de cientistas e até mesmo da ciência em si. Na verdade, há evidências de que a experiência com epidemias anteriores leva à redução da confiança nos cientistas e em seu trabalho (embora não seja “ciência” em abstrato).

Pouco reconhecido nessas discussões, entretanto, é o papel que os próprios cientistas, particularmente em suas comunicações públicas, têm desempenhado em erodir a confiança do público em si mesmos e em seu trabalho. A deturpação sistemática das evidências científicas sobre a Covid-19 e suas medidas de mitigação tem sido uma característica central da cobertura de notícias e comentários nas redes sociais no último ano e meio. Comunicados à imprensa de organizações científicas e agências governamentais, relatórios de notícias de artigos científicos e postagens em mídias sociais de cientistas proeminentes continuam a se concentrar em estatísticas como o número de resultados de testes positivos sem controlar o número de testes administrados, as características da população testada e o limite de ciclo (sensibilidade) para testes de PCR; apresentar medidas altamente agregadas de infecção e propagação que obscurecem a distribuição enormemente distorcida da gravidade por idade e estado de saúde; e ignorar o contexto que permitiria a comparação em locais semelhantes ou entre doenças semelhantes ao longo do tempo.

Outro problema é a ideia de que, ao abordar uma questão de política pública complexa com uma variedade de ramificações sociais, culturais e econômicas, apenas as opiniões dos epidemiologistas de doenças infecciosas (e as experiências pessoais dos profissionais de saúde) são relevantes para decidir se as cidades devem ser fechadas, as crianças devem ser impedidas de frequentar a escola, o comércio fechado e assim por diante. Questões como a constitucionalidade ou legalidade das medidas de mitigação, quais riscos as pessoas consideram razoáveis ​​e como avaliar compensações marginais entre resultados de saúde específicos e outras metas – até mesmo a ideia de trade-offs e a própria análise marginal – são consideradas irrelevantes.

Mais especificamente, há um grande abismo entre as evidências científicas sobre as medidas de mitigação – as chamadas “intervenções não farmacêuticas” ou INF – e a forma como essas evidências foram descritas. Na primavera de 2020, quando essas medidas de mitigação começaram a ser impostas, eu fiz minha própria mini-revisão da literatura científica sobre a eficácia das INF na propagação de doenças infecciosas, particularmente vírus respiratórios. Concentrei-me no punhado de estudos que apresentavam ensaios clínicos randomizados ou experimentos quase naturais em um cenário do mundo real. O consenso dessa literatura pré-Covid é que máscaras, lavagem e higienização frequentes das mãos, distanciamento e similares tiveram efeitos muito pequenos ou nenhum efeito na gravidade ou disseminação da doença. Isso foi na época em que lojas, restaurantes, escolas e escritórios estavam começando a exigir máscaras e distanciamento social, instalando barreiras plásticas e filtros HEPA, adicionando limpeza e higienização extras e outras intervenções – presumivelmente com base em evidências científicas sólidas. Mas essa evidência estava faltando. Eu não vi até muito tempo depois, mas a Slate Star Codex publicou uma revisão de estudos de máscara que cobre muitos dos mesmos documentos e chega às mesmas conclusões que eu.

E agora, mais de um ano após a pandemia Covid-19? Surpreendentemente, a maioria das evidências oferecidas por agências governamentais é baseada em simulações de computador ou laboratório do movimento de partículas (ou anedotas). Os estudos de campo mais elogiados são observacionais (ou seja, não há grupos de tratamento e controle, o que torna impossível atribuir causalidade). Dado que o establishment científico (e científico-social) tem mantido por décadas que os ensaios clínicos randomizados são o “padrão ouro” para atribuição de causalidade, a ausência de evidências de RCT em máscaras e outras INFs é surpreendente. Aqui está uma revisão recente do que sabemos. A maioria das evidências é que máscaras, distanciamento, barreiras plásticas e semelhantes desempenharam, na melhor das hipóteses, um papel muito pequeno, e provavelmente nenhum papel, na mitigação da disseminação de Covid-19. A evidência está quase totalmente em desacordo com a mensagem apresentada ao público.

Os próprios cientistas têm desempenhado um papel na disseminação dessa desinformação, em parte por meio do “problema do viés de publicação”, no qual resultados experimentais que apoiam a narrativa preferida são divulgados e promovidos, enquanto aqueles que refutam a narrativa são minimizados ou ignorados. Um bom exemplo é um estudo recente em grande escala conduzido pelos Centros de Controle de Doenças dos Estados Unidos sobre a eficácia das máscaras na escola. Os meios de comunicação e o próprio CDC elogiaram sem parar a descoberta de que a exigência de máscara para professores não vacinados, junto com a melhoria da circulação de ar, tiveram um efeito pequeno e negativo na transmissão do vírus nas escolas. No entanto, o resumo executivo e praticamente todas as notícias deixaram de mencionar que o estudo também analisou o uso de máscaras pelos alunos, requisitos de distanciamento, ensino híbrido, barreiras físicas em sala de aula e a instalação de filtros HEPA e descobriu que não tiveram efeito estatisticamente significativo na transmissão.

Como escolas (e faculdades) em todo o mundo estão debatendo acaloradamente as exigências de máscaras, o fato de que o estudo experimental mais abrangente até agora descobriu que as máscaras não têm efeito na transmissão é completamente ignorado – porque poucas pessoas sabem sobre essa descoberta. (Parabéns a David Zweig e à New York Magazine por cobrirem a história em um grande artigo esta semana: “Ao longo de várias semanas, também me correspondi com muitos especialistas – epidemiologistas, especialistas em doenças infecciosas, um imunologista, pediatras e um médico ativo publicamente em questões relacionadas ao COVID – pedindo as melhores evidências de que eles estavam cientes de que as exigências de máscara para os alunos eram eficazes. Ninguém foi capaz de encontrar um conjunto de dados tão robusto quanto os resultados da Geórgia [que não encontraram nenhum efeito] – ou seja, um grande estudo de coorte que analisa diretamente os efeitos da exigência de uma máscara.”) Entre a população em geral, o estudo experimental de grande N mais abrangente sobre máscaras até o momento é o ECR dinamarquês, que não encontrou nenhum efeito do uso de máscara na transmissão – um estudo que foi completamente arquivado.

Se os cientistas estão preocupados com a diminuição da confiança do público em seu trabalho e com a posição da pesquisa científica em geral, eles devem olhar não para os “trolls do Twitter”, mas para a forma como os próprios cientistas apresentaram suas descobertas e a magnitude e a importância de seu trabalho. A ciência é um processo de investigação, não um corpo de verdade revelada, e os cientistas são participantes da comunidade de exploração, descoberta, análise e comunicação, não árbitros de “desinformação”. Posicionando-se como guardiões da verdade e a única autoridade legítima em questões políticas complexas, certos segmentos da comunidade científica criaram em grande parte os próprios problemas que agora deploram.

 

Artigo original aqui