Publicado na Phys
Pesquisadores modelam como o ‘viés de publicação’ afeta – e não – a ‘canonização de fatos na ciência.
Argumentando em um tribunal de Boston em 1770, John Adams faz seu famoso pronunciamento “Fatos são coisas teimosas” que não podem ser alterados “por nossos desejos, nossas inclinações ou os ditames da nossa paixão”.
Mas os fatos, por teimosos que sejam, devem passar pelas provações da percepção humana antes de serem reconhecidos – ou “canonizados” – como fatos. Dado isto, alguns podem ser perdoados por olhar para debates apaixonados sobre a cor de um vestido e se perguntando se os fatos estão à altura do desafio.
Carl Bergstrom acredita que os fatos têm uma chance de persistir, especialmente se tem a ciência em suas costas. Professor de biologia na Universidade de Washington, ele usou modelagem matemática para investigar a prática da ciência e como a ciência poderia ser moldada pelos preconceitos e incentivos inerentes às instituições humanas.
“A ciência é um processo de revelar fatos através da experimentação”, disse Bergstrom. “Mas a ciência é também um empreendimento humano, construído sobre as instituições humanas. Cientistas procuram status e respondem a incentivos como qualquer outra pessoa. Por isso, vale a pena perguntar – com perguntas precisas e respondíveis – se, quando e como esses incentivos afetam a prática de Ciência.”
Em um artigo publicado em 20 de dezembro na revista eLife, Bergstrom e coautores apresentam um modelo matemático que explora se o “viés de publicação” – a tendência das revistas de publicar preferencialmente resultados positivos – influencia o modo como os cientistas canonizam os fatos. Seus resultados oferecem um aviso de que a partilha de resultados positivos vem com o risco de que uma alegação falsa poderia ser canonizada como fato. Mas suas descobertas também oferecem esperança, sugerindo que mudanças simples nas práticas de publicação podem minimizar o risco de falsa canonização.
Essas questões tornaram-se particularmente relevantes na última década, como artigos proeminentes questionaram a reprodutibilidade de experimentos científicos – uma marca de validade para as descobertas feitas usando o método científico. Mas nem Bergstrom nem a maioria dos cientistas envolvidos nesses debates estão questionando a validade de verdades científicas muito estudadas e completamente demonstradas, como a evolução, a mudança climática antropogênica ou a segurança geral da vacinação.
“Estamos modelando as chances de ‘falsa canonização’ de fatos em níveis inferiores do método científico”, disse Bergstrom. “A evolução acontece e explica a diversidade da vida, a mudança climática é real, mas queremos modelar se o viés de publicação aumenta o risco de falsa canonização nos níveis mais baixos de aquisição de fatos”.
Bergstrom cita um exemplo histórico de falsa canonização na ciência que está perto de nossos corações – ou especificamente, abaixo deles. Biólogos uma vez postularam que as bactérias causavam úlceras estomacais. Mas na década de 1950, gastroenterologista E.D. Palmer relatou evidências de que as bactérias não poderiam sobreviver no intestino humano.
“Essas descobertas, apoiadas pela eficácia dos antiácidos, apoiaram a ‘teoria química alternativa do desenvolvimento da úlcera’, que foi posteriormente canonizada”, disse Bergstrom. “O problema era que Palmer estava usando protocolos experimentais que não detectariam Helicobacter pylori, a bactéria que sabemos hoje provoca úlceras. Demorou meio século para corrigir essa falsidade”.
Embora a ideia de falsa canonização em si possa causar dispepsia, Bergstrom e seu autor principal Silas Nissen, do Instituto Niels Bohr, na Dinamarca, e os coautores Kevin Gross, da Universidade Estadual da Carolina do Norte, e Tali Magidson, estudante de graduação em UW, Os riscos de falsa canonização dado o fato de que os cientistas têm incentivos para publicar apenas seus melhores resultados positivos. Os chamados “resultados negativos”, que não mostram conclusões claras e definitivas ou simplesmente não afirmam uma hipótese, são muito menos prováveis de serem publicados em revistas com revisão por pares.
“O efeito líquido do viés de publicação é que os resultados negativos são menos prováveis de serem vistos, lidos e processados por pares científicos”, disse Bergstrom. “Isso é enganador o processo de canonização?”
Para seu modelo, a equipe de Bergstrom incorporou variáveis como as taxas de erro em experimentos, quantas evidências são necessárias para canonizar uma afirmação como fato e a freqüência com a qual os resultados negativos são publicados. Seu modelo matemático mostrou que quanto menor a taxa de publicação é para resultados negativos, maior o risco de falsa canonização. E de acordo com seu modelo, uma possível solução – elevar a barreira para a canonização – não ajudou a aliviar esse risco.
“Acontece que exigir mais evidências antes de canonizar uma reivindicação como fato não ajudou”, disse Bergstrom. “Em vez disso, nosso modelo mostrou que você precisa publicar resultados mais negativos – pelo menos mais do que provavelmente estamos agora.”
Desde que a maioria de resultados negativos não emerge da sua obscuridade nas páginas de cadernos do laboratório, é difícil quantificar a relação que é publicada. Mas os ensaios clínicos, que devem ser registrados com a Administração de Alimentos e Medicamentos dos Estados Unidos antes de começarem, oferecem uma janela para ver quantas vezes os resultados negativos aparecem na literatura revisada por pares. Uma análise de 2008 de 74 ensaios clínicos para antidepressivos mostrou que pouco mais de 10 por cento dos resultados negativos foram publicados, em comparação com mais de 90 por cento para os resultados positivos.
“Os resultados negativos são provavelmente publicados em taxas diferentes em outros campos da ciência”, disse Bergstrom. “E as novas opções de hoje, como a autopublicação de artigos on-line e a ascensão de revistas que aceitam alguns resultados negativos, podem afetar isso, mas, em geral, precisamos compartilhar resultados negativos mais do que estamos fazendo hoje”.
O modelo também indicou que os resultados negativos tiveram o maior impacto ao abordar o ponto de canonização. Esse achado pode oferecer aos cientistas uma maneira fácil de evitar a falsa canonização.
“Ao analisar mais de perto as reivindicações à medida que elas alcançam uma aceitação mais ampla, poderíamos identificar alegações falsas e evitar que elas sejam canonizadas”, disse Bergstrom.
Para Bergstrom, o modelo levanta questões válidas sobre como os cientistas escolhem publicar e compartilhar suas descobertas – tanto positivas como negativas. Ele espera que suas descobertas preparem o caminho para uma exploração mais detalhada do viés nas instituições científicas, incluindo os efeitos das fontes de financiamento e os diferentes efeitos dos incentivos em diferentes campos da ciência. Mas ele acredita que uma mudança cultural é necessária para evitar os riscos de viés de publicação.
“Como uma comunidade, nós tendemos a dizer, ‘Droga, isso não funcionou, e eu não vou escrever isso”, disse Bergstrom. “Mas eu gostaria que os cientistas reconsiderassem essa tendência, porque a ciência só é eficiente se publicarmos uma fração razoável de nossas descobertas negativas”.
Artigo original: Silas Boye Nissen et al, Publication bias and the canonization of false facts, eLife (2016). DOI: 10.7554/eLife.21451
