Por Cathleen O’Grady
Publicado na Science
Em 2011, um estudo de psicologia impressionante fez sucesso nas mídias sociais, notícias e no meio acadêmico: as pessoas usavam a Internet como uma forma de memória “externa”, dizia o estudo, contando com ela para obter informações em vez de relembrar fatos. Em 2018, uma descoberta importante daquele estudo não se reproduziu quando uma equipe de psicólogos o testou, junto com 20 outros estudos de ciências sociais de alto nível.
Porém, o estudo original foi citado 1417 vezes – com mais de 400 dessas citações vindo após o projeto de replicação de 2018. Isso é muito mais, em média, do que os estudos que foram replicados em projetos. Agora, um novo estudo reforça a popularidade de estudos não confiáveis: estudos de ciências sociais que não foram replicados acumularam 153 citações a mais, em média, do que estudos que foram replicados com sucesso.
Este último resultado é “bastante contundente”, disse o cientista cognitivo Michael Dougherty da Universidade de Maryland, College Park (EUA), que não esteve envolvido na pesquisa. “O número de citações há muito tempo são tratados como um representante da qualidade da pesquisa”, disse ele, portanto, a descoberta de que pesquisas menos confiáveis são citadas mais aponta para um “problema fundamental” com a forma como esse trabalho é avaliado.
Na Universidade da Califórnia, em San Diego (EUA), os economistas Marta Serra-Garcia e Uri Gneezy estavam interessados em ver se ideias de pesquisa cativantes receberiam mais atenção do que as mundanas, mesmo que fossem menos prováveis de serem verdadeiras. Então, eles reuniram dados em 80 estudos de três projetos diferentes que tentaram replicar importantes descobertas nas ciências sociais, com níveis variados de sucesso.
O número de citações no Google Acadêmico foi significativamente maior para os estudos que não foram replicados, relataram eles essa semana na Science Advances, com um aumento médio de 16 citações extras por ano. É um número grande, disseram Serra-Garcia e Gneezy – estudos em periódicos de alto impacto no mesmo período acumularam um total de cerca de 40 citações por ano em média.
E quando os pesquisadores examinaram citações em estudos publicados após projetos de replicação de referência, eles descobriram que os estudos raramente reconheciam a falha na replicação, mencionando-a apenas 12% das vezes.
Uma replicação com falha não significa necessariamente que a descoberta original era falsa, aponta Serra-Garcia. Mudanças nos métodos e hábitos em evolução entre os participantes – como a mudança nos padrões de uso da Internet – podem explicar por que um resultado de um estudo pode não se sustentar. Mas ela acrescenta que suas descobertas apontam para um problema fundamental na pesquisa: os cientistas querem que seu trabalho seja preciso, mas também querem publicar resultados que chamem a atenção. Pode ser que os revisores relevem seu nível de evidência quando os resultados são particularmente surpreendentes ou estimulantes, disse ela, o que pode significar que resultados surpreendentes e evidências mais fracas frequentemente andam de mãos dadas.
A diretriz de que “alegações extraordinárias requerem evidências extraordinárias” parece suavizar quando se trata de decisões na publicação, concorda o biólogo computacional da Universidade Massey, da Nova Zelândia, Thomas Pfeiffer, que estuda questões de replicação, mas que não estava envolvido neste trabalho. Isso aponta para a necessidade de resguardos extras para reforçar a credibilidade do trabalho publicado, disse ele – como um limite mais alto para o que conta como uma boa evidência e mais esforço para se concentrar em questões e métodos de pesquisa sólidos, em vez de descobertas chamativas.
“A descoberta é atraente para defensores da mudança cultural [nas pesquisas] como eu”, disse Brian Nosek, um psicólogo da Universidade da Virgínia (EUA), que liderou uma série de projetos de replicação e foi coautor em dois dos três projetos de replicação que Serra-Garcia e Gneezy participaram. Mas antes de levar isso muito a sério, vale a pena ver se essa descoberta pode ser replicada usando diferentes amostras de estudos, disse ele.
O resultado está de acordo com estudos anteriores que sugerem que a pesquisa popular é menos confiável. Um estudo de 2011 na Infection and Immunity, por exemplo, descobriu que periódicos de alto impacto têm taxas de retratação mais altas do que os de menor impacto. E a pesquisa de Dougherty – atualmente, uma pré-publicação não revisada – descobriu que os estudos mais citados foram baseados em dados mais fracos, disse ele. Mas um estudo de 2020 nos Proceedings of the National Academy of Sciences que examinou uma amostra diferente de estudos não encontrou nenhuma relação entre citação e replicação. Isso sugere que a amostra de estudos pode realmente ser importante, disse Pfeiffer – por exemplo, o efeito pode ser particularmente forte em periódicos de alto impacto.
Nosek acrescenta que estudos mais sólidos, mas menos sensacionais, ainda podem acumular mais citações a longo prazo, se o concurso de popularidade de resultados impressionantes se esgotar: “Todos nós vimos filmes adolescentes o suficiente para saber que o garoto popular perde no final para o cérebro geek. Talvez as descobertas científicas funcionem da mesma maneira: as confiáveis não são tão notadas, mas persistem e vencem no final”.
