Num enorme exercício para examinar a reprodutibilidade, mais de 200 biólogos analisaram os mesmos conjuntos de dados ecológicos — e obtiveram resultados amplamente divergentes. O primeiro estudo abrangente deste tipo em ecologia demonstra o quanto os resultados neste campo podem variar, não devido a diferenças no ambiente, mas devido às escolhas analíticas dos cientistas.

“Pode haver uma tendência para tratar as descobertas de artigos individuais como definitivas”, diz Hannah Fraser, meta-investigadora em ecologia da Universidade de Melbourne, na Austrália, e co-autora do estudo. Mas os resultados mostram que “não podemos realmente confiar em nenhum resultado individual ou em qualquer estudo individual para nos contar toda a história”.

A variação nos resultados pode não ser surpreendente, mas quantificar essa variação num estudo formal poderia catalisar um movimento maior para melhorar a reprodutibilidade, diz Brian Nosek, diretor executivo do Centro de Ciência Aberta em Charlottesville, Virgínia, que tem conduzido discussões sobre a reprodutibilidade nas Ciências Sociais.

“Este artigo pode ajudar a consolidar o que é uma comunidade relativamente pequena e reformista na ecologia e na biologia evolutiva num movimento muito maior, da mesma forma que o projeto de reprodutibilidade que fizemos na psicologia”, diz ele. Seria difícil “para muitos neste campo não reconhecerem as implicações profundas deste resultado para o seu trabalho”.

O estudo foi publicado como pré-impressão em 4 de outubro. Os resultados ainda não foram revisados ​​por pares.

Raízes dos estudos de replicação

O método de “muitos analistas” foi pioneiro por psicólogos e cientistas sociais em meados da década de 2010, à medida que se tornavam cada vez mais conscientes dos resultados no campo que não podiam ser replicados. Esse trabalho fornece a vários pesquisadores os mesmos dados e as mesmas questões de pesquisa. Os autores podem então comparar como as decisões tomadas após a coleta de dados afetam os tipos de resultados que eventualmente serão publicados.

O estudo de Fraser e seus colegas traz o método de muitos analistas para a ecologia. Os pesquisadores deram aos cientistas participantes um de dois conjuntos de dados e uma pergunta de pesquisa que os acompanha: “Até que ponto o crescimento de chapins-azuis filhotes ( Cyanistes caeruleus ) é influenciado pela competição com irmãos?” ou “Como a cobertura de grama influencia o recrutamento de plântulas de Eucalyptus spp.?”

A maioria dos participantes que examinaram os dados do chapim-azul descobriram que a competição entre irmãos afeta negativamente o crescimento dos filhotes. Mas eles discordaram substancialmente sobre o tamanho do efeito.

As conclusões sobre a intensidade com que a cobertura de gramíneas afeta o número de mudas de eucalipto mostraram uma disseminação ainda maior. Os autores do estudo calcularam a média dos tamanhos dos efeitos para esses dados e não encontraram nenhuma relação estatisticamente significativa. A maioria dos resultados mostrou apenas efeitos negativos ou positivos fracos, mas houve valores discrepantes: alguns participantes descobriram que a cobertura de erva diminuiu fortemente o número de plântulas. Outros concluíram que melhorou drasticamente a contagem de mudas.

Os autores também simularam o processo de revisão por pares, fazendo com que outro grupo de cientistas revisasse os resultados dos participantes. Os revisores deram notas baixas aos resultados mais extremos na análise do Eucalyptus , mas não na do chapim-azul. Mesmo depois de os autores terem excluído as análises mal avaliadas pelos revisores, os resultados coletivos ainda mostraram uma grande variação, diz Elliot Gould, modelador ecológico da Universidade de Melbourne e coautor do estudo.

Certo versus errado

Apesar da ampla gama de resultados, nenhuma das respostas está errada, diz Fraser. Em vez disso, a dispersão reflete fatores como a formação dos participantes e a forma como definem os tamanhos das amostras.

Então, “como você sabe qual é o verdadeiro resultado?” Gould pergunta. Parte da solução poderia ser pedir aos autores de um artigo que exponham as decisões analíticas que tomaram e as potenciais advertências dessas escolhas, diz Gould.

Nosek diz que os ecologistas também poderiam usar práticas comuns em outras áreas para mostrar a amplitude dos resultados potenciais de um artigo. Por exemplo, os testes de robustez, que são comuns em economia, exigem que os investigadores analisem os seus dados de diversas maneiras e avaliem a quantidade de variação nos resultados.

Mas compreender como a variação analítica influencia os resultados é especialmente difícil para os ecologistas devido a uma complicação inerente à sua disciplina. “Os fundamentos deste campo são observacionais”, diz Nicole Nelson, etnógrafa da Universidade de Wisconsin-Madison. “Trata-se de sentar e observar o que o mundo natural joga em você – o que gera uma grande variação.”